慧與科技宣布與東海大學合作採用 HPE ProLiant DL385 Gen11 伺服器搭配 NVIDIA H100 建置 LLM 校園學習平台,以推動 AI 教育並加速人才的培育。
![]()
隨著現今 AI 的熱門話題,各種新應用不斷出現,許多人都感受到 AI 帶來的種種改變與問題。其中為了讓學子更早瞭解與各種 AI 應用,臺灣許多各級學校也加入相關課程,特別是大學更開設有許多 AI 課程,也有學校建立自己的 AI 運算平台。
慧與科技 ( Hewlett Packard Enterprise,簡稱 HPE )宣布與東海大學合作建置 LLM 校園學習平台,以推動 AI 教育並提升台灣青年人才的技術實力。加入教育部臺灣大專院校人工人智慧學程聯盟(TAICA)的東海大學,已經擁有多元的 AI 課程,同時在校內也擁有許多應用及服務,此次與慧與科技合作,主要建置本地端大型語言模型(LLM)主機以做為校園學習平台。
![]()
HPE 台灣暨香港董事長王嘉昇
目前臺灣的 AI 教學領域上面臨不少挑戰,包括從標準化 AI 介面轉向開發 AI 模型、運算資源不足以及跨領域資料庫不足。其中許多教學介面仍停留在網頁或呼叫 API,大部分學校也僅使用單一 GPU 運算,其運算能力大幅低於企業級 GPU 叢集。此次東海大學與 HPE 合作,便希望打造 LLM 校園學習平台解決這些問題,以成為臺灣首間在校園內建置統一平台的大學。
HPE 台灣暨香港董事長王嘉昇表示:「HPE 很榮幸與東海大學合作,推動學生的AI教育,並為教師們提供創新工具,以提升教學成效。HPE 先進伺服器提供多元且穩定的 AI運算,讓東海大學學生能夠自主開發 AI 代理與應用程式。」
![]()
東海大學校長張國恩
東海大學建立的校園學習平台即是建立本地瑞的大型語言模型主機,即擁有自己的 AI 算力,平台採用二組具有 AMD EPYC 9124 處理器的 HPE ProLiant DL385 Gen11 伺服器,每台伺服器皆具有二組 NVIDIA H100 NVL 94GB GPU,即共有四組 H100。同時為了容納模型、資料以及使用者的檔案等,也配置總計達 18TB 的 SSD,加速運算時所需資料的存取。在二台主要運算伺服器之外,還搭配一台 HPE ProLiant DL385 Gen10 Plus 做為大型語言模型 API 管理主機。
在 LLM 校園學習平台建置僅六個月內,即產出兩項具有商業價值的專案。第一項為基於檢索增強生成(Retrieval-Augmented Generation, RAG) 技術的課程學習助理,透過資料庫整合提升 AI 回應品質。第二項則是將醫療囑咐轉換為護理紀錄的醫療助理系統。東海大學計劃進一步強化該系統,並將AI 聊天機器人對外開放,推動AI創新與社會影響力。
東海大學校長張國恩表示:「此次與 HPE 策略合作,讓東海大學開創新的里程碑。我們正積極將更多 AI 工具整合到教育與研究中,並致力將 AI 擴展至智慧校園與教學資源管理等更廣泛的應用層面,加速AI數位轉型與教育科技發展。目前這些模型已應用於 PrivNurse AI 系統,這是在保護資料隱私下處理病歷資料的 AI 護理助理,以及產生心臟超音波報告的系統,未來仍可能開發更多的應用。」
HPE 致力於搭建產業與學術界之間的橋樑,此次與東海大學合作正是是臺灣 AI 教育與產學合作最佳案例,希望透過協作研究、專業知識共享以及培育下一代人才,打造出讓 AI 創新蓬勃發展的生態系統。 |