三軍總醫院運用微軟多種 AI 技術加速推動智慧醫療與精準醫學

三軍總醫院運用多種微軟 AI 技術提升報告的正確辨識率，並能自動產生護理紀錄及專業影像報告，未來將推展到全國軍醫院加速推動智慧醫療與精準醫學的發展。



人工智慧(AI)近期突破性的發展，各行各業多少都能看到AI 帶來的改變，就算是一般企業的員工，也能利用它來提升工作效率。在醫療體系當中，醫生與護理人員除了診療或是照護病患之外，更有許多報告與記錄，利用 AI 將可提升正確性並降低從業人員的工作負擔。

國防部軍醫局宣布在智慧醫療與精準醫學研究邁入全新里程碑，並宣示中英文醫療專業語音及醫療專業影像自動產生文字報告的願景。而未來也將透過醫療大數據的分析，協助醫師執行醫療的決策，提升醫療品質與效率。研究成果後續將由國防醫學院三軍總醫院(以下簡稱三軍總醫院)醫療資訊技術團隊推展到全國軍醫院的護理紀錄、醫師門診、巡房及手術紀錄等，加速推動智慧醫療與精準醫學的發展，提升醫療決策與病患的照護品質。


三軍總醫院院長洪乙仁少將

COVID-19 疫情對各種行業帶來衝擊，特別是第一線醫療及護理人員的工作量及心理壓力大幅增加。為了降低醫護人員行政作業的負荷，軍醫局、三軍總醫院與微軟台灣研發中心於 2023年7月啟動「醫療大數據訓練分析平台專案」，以提升國軍醫療資訊研發能量。此專案採用微軟的語音辨識、自然語言處理、電腦視覺等人工智慧技術，在三軍總醫院與微軟的合作下，提升文字報告的正確辨識率，自動產生中英文護理紀錄及英文專業影像報告，大幅節省護理人員撰寫報告時間，也縮短放射科醫師完成影像報告的時間。


微軟台灣研發中心總經理張仁炯

運用微軟的語音辨識和自然語言處理技術，可協助護理人員將照護病人後記錄報告以語音轉換成結構化文字，再儲存到資料庫中，可減少護理人員手動輸入的時間和精力而更專注於病人的需求。未來這個功能也會擴展到醫師門診、查房和手術等場景，讓醫師管理病歷和治療方案更有效率。

而使用微軟的電腦視覺和深度學習技術，則可分析與評估各種醫療影像資料，並產生文字報告。這些報告不僅具有影像的描述和解釋，還包括過去的醫療病歷和資料的比對，並會對影像中的病理徵兆和病程發展提供預測和建議，不僅能協助放射科醫師減少撰寫報告的負擔，也能幫助主治醫師更快做出診斷和治療決策，提高醫療品質和效率。

三軍總醫院院長洪乙仁少將表示：「此專案是軍醫與微軟的跨領域合作，結合軍醫的醫療資源與微軟的 AI 科技與研發資源，展現國軍醫院在推動智慧醫療與精準醫學方面的決心與能力。透過 AI 科技應用與微軟先進技術資源，讓醫生及護理人員可減少撰寫報告的負擔，更專注在醫療照護，同時也提供更精準的影像分析及醫療診斷建議，幫助醫師做出更好的治療決策，進而提升國軍及民眾的健康。」


微軟台灣研發中心技術長陳佩君

微軟台灣研發中心總經理張仁炯指出，微軟的使命是運用科技賦能地球上每個人以及每個組織都能實現更多、成就非凡。加速醫療數位轉型一直是微軟努力的目標，此次與三軍總醫院的研究合作，是提升醫師與護理人員行政效率非常重要的計畫，現在透過人工產出的紀錄與報告等繁瑣作業。透過 AI 結合微軟的大型語言模型及微軟台灣研發中心的技術支援，將能夠藉由 AI 自動產生，讓醫師及護理人員提升療療診斷與照護品質。微軟台灣研發中心將持續與三軍總醫院合作以便嘉惠更多的醫院。

三軍總醫院是國內最大的醫學教學醫院之一，每年有超過200萬人次的門診及住院服務，醫護人員的工作量非常大。三軍總醫院研究副院長葉啓斌上校指出：「透過此研究專案，三軍總醫院未來可減少護理人員撰寫紀錄的時間，減少放射科醫師完成影像報告的時間，並提供更精準的診斷建議，讓醫護人員可以更專注在照護病人，讓主治醫師能夠更有效地制定治療方案，不僅提升三軍總醫院的醫療品質，也提高病人的滿意度。」


三軍總醫院 AIoT 中心執行長方文輝

三軍總醫院 AIoT 中心執行長方文輝表示此專案的技術難度很高，因為中英文及醫療專業語音辨識的準確度要求高，而且要考慮到不同的口音、語速、背景雜音等因素。三軍總醫院與微軟密切合作下，利用微軟在大型語言模型、生成式 AI、Azure OpenAI 等優勢，才能克服這些挑戰，創造出令人驚豔的成果。

台灣微軟公共業務事業群總經理陳守正則表示，微軟致力推動數位轉型與創新，在醫療領域亦有多項合作案例。此專案展現台灣微軟在智慧醫療領域的努力，以及與政府單位、學術機構、產業夥伴等不同領域合作的能力，台灣微軟期待未來能夠持續在智慧醫療與精確醫學方面創造更多的價值與影響力。

此次與微軟合作的專案中，三軍總醫院提供專業的醫療場所與實務需求，加上微軟電腦科技與 AI 技術能力，未來將持續進行測試及驗證效能。三總醫療資訊團隊將其技術發展開發後擴展到醫師查房、門診及手術的紀錄報告，醫療影像辨識產生報告及預測診斷的研究成果將分享至其它13家軍醫院，期望藉由科技提升醫療品質與效率，加速智慧醫療與精準醫學發展。