寻找最优解决方案去处理HIS系统的卡顿问题

2018-12-21 14:24:23 爱德腕带 阅读

导读:信息系统运行多年后,主机会出现性能瓶颈,导致系统整体运行缓慢卡顿,这是很多医院都会出现的问题。本文提供了一个三甲医院的案例——信息中心自主完成核心业务系统的分离、切换、迁移,成功解决了系统缓慢的问题。

2018年即将结束,回顾过去的一年,最大的感受之一是让临床“忘记”了我们的存在。每次下科室,我总是习惯性地问正在使用信息系统的医护人员:最近有没有什么问题?今年系统运行情况怎么样?收到普遍的回答是:今年的系统运行很流畅,比年初好多了。

出现卡顿,寻找原因

2018年年初时,信息中心陆续收到各业务科室的信息,包括临床科室医生、门诊医生、临床护士、医技等部门的抱怨,医院信息系统近期运行不太流畅、有卡顿现象,周一上午高峰期表现更为严重。相比较平时的流畅感,任何一个微微的“卡顿”都是不可忍受的。

临床就是生命!信息中心即刻行动起来,暂停了手头的开发任务、系统建设任务。内部进行了反复听取意见,并分析存在的问题。发现问题只存在HIS和EMR的业务主线,与其他业务包括LIS/PACS等系统无关。我把工作安排成两部分:一是软件组负责尽快对HIS/EMR的系统数据库、数据交互接口程序等进行性能侦测,提交侦测报告;二是系统集成组尽快对HIS/EMR运行的主机环境、网络环境等进行性能评估,提交评估报告。

经过信息科连续几天的持续作战,两个部门的报告都非常详尽。软件开发组认为:HIS/EMR系统数据库和接口交互程序总体运行正常,近期也未更新过会影响运行性能的程序。索引需重建的也重建了,接口能优化的也优化了,虽有一定的改进,但总体变化不大,未能从根本上解决问题。结论是:还需要继续找问题。

系统集成组认为:近期上夜班的同志晚上要对HIS系统进行解锁操作,不像原来系统会自动解锁。排除了CDP、杀毒软件等其他应用软件互相干扰的问题,经过OS性能分析器跟踪,系统运行缓慢迟钝与数据库系统的大量读写有关。同时,HIS/EMR服务器也运行近5年了,这5年内又是各种业务系统建设的高峰期。结论是:系统整体运行环境建议调整优化。

我们综合两个专业组的意见认为:由于HIS/EMR为同一家系统提供商,系统建设初期为方便系统配置和统一数据管理,安装在同一台服务器物理主机上,数据库实时备份同步到虚拟化环境里。运行至今,数据库极其庞大,数据从2002年累积至今,已达16年之久。当系统处于高峰期运行时,HIS/EMR在数据库进程中表现为个数最多。当大量数据读写时,极易引起数据库锁死,进而导致系统运行出现“卡顿”现象。

系统运行环境为:HP服务器AMD Opteron 4颗16核心的CPU,128G内存,硬盘空间足够。

寻找最优解决方案

要解决问题,我们的建议方案如下:

1、对服务器性能进行优化,直接升级服务器主机或增加配件;

2、整体迁移到虚拟化环境,动态分配性能;

3、对HIS和EMR的数据库和主机进行彻底分离。

由于其时已接近春节,医院业务不能停顿。时间不等人,我们立即对三个方案进行分析,无论哪个方案都有一个条件:迁移切换过程中要确保临床科室不受影响,或影响最小,最好保证系统持续在线,动静越小越好。

方案一:需采购服务器主机或主要配件,整个流程漫长复杂,由于其时已接近春节,IT系统集成公司即将放假,不可取。

方案二:目前虚拟化环境为信息科自主建设部署,虽然其他应用均迁移至虚拟化环境,但如果整个HIS和EMR同时迁移到虚拟化,性能压力太大,总体性能不足,风险较大。

方案三:现主机保持运行HIS,EMR迁移到物理主机或虚拟化。EMR进程和性能相对较小,虚拟化环境的存储和性能都能满足。但要解决两个大问题:一是如何在不影响HIS的情况下,确保实时单独迁移EMR;二是所有用户终端,原来统一链接到HIS和EMR,如何保证HIS和EMR主机及数据库分离后,1000多台终端还能智能地立即链接到不同的主机?

由于我院信息中心很早就成立了专业的系统集成组和软件开发组,经多年培养,具有行业内较强的自主动手作战能力和解决问题能力,对系统集成工具和开发环境都较为熟练,两个组一致认为方案三有操作性,风险虽然很高,但是都在可控范围。万一不成功,维持现状也是个退路。

具体解决办法为:系统集成组负责解决HIS/EMR的数据库在线分离,软件开发组负责终端的统一链接池配对。由于分离切换方案没有演练的条件,华山一条路,只能往前走,必须一次成功!不成功就只能回退。

核心业务系统“手术”成功

2018年1月21日凌晨,信息中心灯火通明,按照之前制定的详细迁移分离方案,信息中心自行对医院最核心的业务系统进行了一次超级“大手术”。

首先从虚拟化里克隆好环境主机,升级好Server Pack,安装好杀毒软件,配置好网络,安装好CDP,一气呵成!EMR数据实时备份同步完毕,全程无报错。

软件组在后台详细地核对最近一次的电子病历记录数据,不对,差了数据。大家再次紧张起来,期间又有上夜班的医护打电话来说,系统太慢了!!再次让我们神经高度紧绷,咬紧牙关再次检查环境,再次同步,CDP没有报错,一切正常,后台核对数据,这次完全同步了,两边数据字节几乎一致(临床还在使用中),大家都松了口气。经测试,链接池链接成功,试着写了一份病历,数据保存成功。

于是,进行最后的在线分离,CDP上启动云里面的备机实时进行切换,接着全院所有终端连接池一次性修改成最新的主机环境信息。经测试,OK。

然后,所有人都迫不及待地分别进行了系统使用测试,情况非常喜人,系统一下子变得极其流畅,回到了当初的运行状态!

接着,不断有夜班的医护打电话来说系统掉线了,我们答复只要重新进一次系统即可。电话越来越少,而且再也没有重复的科室打电话来求救,大家兴奋击掌之余,东方已经露出了鱼肚白!

由我院信息中心自行完成的在线式核心业务系统迁移,使得HIS和EMR成功分离。运行超过11个月,分离的HIS和EMR还从未掉过线,使得医院系统运行流畅稳定,几乎让临床“忘记了”我们的存在。解决问题的初期总有医护跟我们说“最近系统好用了嘛”,我们都是微微一笑。他们并不知道,那是因为信息科对系统动了个“大手术”。

这样的“大手术”其实很少有医院信息中心可以自行完成,因为风险极高。不但要解决原来的系统运行缓慢问题,还要确保临床工作不受影响,保证持续在线运行,还得考虑分离切换一瞬间的数据连续、一致、安全等问题。要完成以上技术工作,要求信息中心熟练掌握多项系统集成和软件开发的技术应用,包括数据迁移工具使用、数据库配置、数据一致性校对、虚拟化安装配置、HIS和EMR环境配置等,结合专业、担当、耐心、细致等因素,才能最终完成这项工作。


点击这里给我发消息
点击这里给我发消息