Red Hat 建議企業從小型模型開始再遂步升級至 OpenShift AI 以循序漸進採用 AI 應用

企業面對 AI 浪潮時，卻不知如何投資與進入，Red Hat 特別建議企業可以從在一般電腦運作的小型 AI 模型開始運作及測試，再隨著需求逐漸擴大規模採用 AI 應用。



隨著生成式 AI 崛起帶來的熱潮，許多人都想利用 AI，企業更是想要利用 AI 來提升效率與創新。然而企業如何引進 AI 應用卻也是個大問題，看到市場上不少 AI 解決方案都需要極具運算能力的基礎設施，包括高性能伺服器加上數量不一的 GPU、雲端服務等投資，可能就讓企業主望之卻步。


(左起)Red Hat 台灣區總經理孫媛音、全球副總裁暨大中華區總裁曹衡康、首席資深解決方案架構經理游政杰

以 Open Source(開放原始碼／開源) 相關產品著稱的 Red Hat，在面對 AI 浪潮下，特別宣布支援開源 AI，因為使用開源的 AI 即是運用開放生態，在眾多人的審視之下反而更為安全，而且在眾人合作之下更能加速創新。更重要是其技術也不是私有或是鎖定特定用途，擁有更低的技術門檻以及成本。


企業傾向使用更具成本效益並適合特定目的 AI 模型

由於較大規模的 AI 應用除了地端本地的運算系統之外，當然也得利用雲端服務來強化。Red Hat 認為未來的 AI 模型及運用需要部署橫跨雲、地及端點，包括行動裝置及邊緣運算等，AI 的應用當然也得在這種混合架構中運作才行。


混合雲和 AI 可共同造更多價值

在混合雲運作 AI 有多種優勢，尤其混合雲架構能夠結合各種技術，擁有更高效的資源調度和更靈活的部署加速創新。在混合架構之下，可依照需要在地端或裝置執行 AI 而不一定要全部上雲以擁有最佳的運作效率。

根據調查，目前企業雖然開始使用生成式 AI，但絕大部分的企業仍在探索與測試，僅有部分企業在生產環境中部署生成式 AI，而且大部分管理階層認為還需要數年才能從生成式 AI 獲得回報。在成本與性能考量之下，企業通常選擇特定用途的 AI 模型加上開源做為創新平台，也加速創新速度。


想要引進 AI 應用的企業可以參考三步驟逐步使用

因此 Red Hat 認為開放混合 AI 模式將成為下一步 AI 技術發展的主流趨勢，對於想要引進 AI 應用的企業，Red Hat 也提供建議以開源的方法將 AI 帶進企業。首先初步引進時，建議開發人員可以用小型系統上使用小資料集進行實驗性訓練，並可透過容器化在筆記型電腦上開發 AI 應用，並可使用 Red Hat 的 InstructLab 工具進行模型創建和微調。

InstructLab 是 Red Hat 和 IBM 推出的免費社群開源專案，因為考量到基礎模型來源眾多，但使用者不一定能提供意見，也無法貢獻訓練資源，但透過 InstructLab 工具便能貢獻知識並上傳至 GitHub 服務，使用者的資料就有機會變成訓練資源，而這些資源並不用於重建和重新訓練整個模型，而是加入新功能和知識來強化模型。


建議企業可使用 InstructLab 進行學習與實驗

使用 InstructLab 最大的好處是隨著演算法改進，使用者可透過簡化的工具進行模型微調，不需要昂貴的 GPU 即可在一般筆記型電腦執行，並完成基礎 Chatbot 等應用的初步驗證。

當建置的模型在地端裝置上通過驗證，開發人員便能將它送到較大的伺服器上運作，如 Red Hat Enterprise Linux AI（RHEL AI）。RHEL AI 平台透過完整的資料生成技術以及相對複雜的「教師模型、學生模型」訓練方法，可以針對已經完成的基礎模型，接著進行生產化的模型訓練。

接下來便可在更龐大的分散式叢集環境中繼續生產級的模型訓練，透過 Red Hat OpenShift AI 實施，將模型訓練環境擴大至叢集，充分利用 Kubernetes 擴展、自動化和 MLOps 服務的功能。OpenShift AI 是通用 的 AI 應用 DevOps 平台，使用者可在平台上開發、測試、調整、上線與執行 AI 應用程式，讓企業可完成包括模型、應用和資源控制等所有內容。


Red Hat OpenShift Virtualization 讓虛擬化應用更為現代化

Red Hat OpenShift Virtualization 是 Red Hat OpenShift 的其中一個功能，無需額外購買即可使用，利用 Red Hat OpenShift Virtualization 其一致的管理工具與使用方式，效態與穩定性兼具，加上含有 Red Hat Enterprise Linux 與支援 Windows等特性，可讓虛擬化應用更為現代化。


事件驅動的 Ansible 強化自動化能力

此外，事件驅動的 Ansible 強化自動化能力，讓過去需要先用應用程式或人為判斷，等待使用者呼叫執行與修復的情況，現在只要透過 Event-Driven Ansible 便可讓使用者事先定義來源和決策，一但符合條件就自動執行。從被動等待轉為主動且支援程度廣，搭配 Ansible Automation Platform，就能具有更廣泛的自動化能力且安全可控，縮短人為判斷時間差，使系統更具有韌性。