ServiceNow、Hugging Face 和 NVIDIA 共同推出全新開放式大型語言模型 StarCoder2

ServiceNow、Hugging Face 和 NVIDIA 今天宣布推出 StarCoder2，這是一系列開放存取的大型語言模型，用於程式碼生成，為效能、透明度和成本效益方面設立了新標準。

StarCoder2 是與 BigCode 社群合作開發，該社群由 ServiceNow 和 Hugging Face管理，ServiceNow 是領先的數位工作流程公司，致力於讓全球工作變得更加順暢，而 Hugging Face 則是最常用的開源平台，機器學習社群在該平台上共同協作開發模型、資料集和應用。

StarCoder2 經過 619 種程式語言的訓練，可以進一步在企業應用中進行訓練和嵌入，執行特定任務，例如應用原始程式碼生成、工作流程生成、文章摘要等等。開發人員可以利用其程式碼自動完成、先進程式碼摘要、程式碼片段擷取等功能，加速創新並提高生產力。

StarCoder2 提供三種模型大小：由 ServiceNow 訓練的 30 億參數模型；Hugging Face 訓練的 70 億參數模型；以及由 NVIDIA 使用 NVIDIA NeMo構建並在 NVIDIA 加速基礎設施上進行訓練的 150 億參數模型。較小的變體在提供強大效能的同時，也節省了運算成本，因為較少的參數在推論過程中需要更少的運算。事實上，新的 30 億參數模型與原始 StarCoder 的 150 億參數模型的效能相當。


StarCoder2 模型增強客製化應用開發

StarCoder2 模型採用最先進的架構，並使用來自 BigCode 精心整合的資料源，優先考慮透明度和開放治理，以實現大規模負責任的創新。

StarCoder2 提升了未來AI驅動的程式碼應用潛力，包括從文字轉程式碼和文字轉工作流程等功能。透過更廣泛、更深入的程式設計訓練，它為儲存庫提供上下文，從而實現準確且由情境感知的預測行為。這些先進功能也適用於經驗豐富的軟體工程師和公民開發者，加速商業價值和數位轉型。

StarCoder2 的基礎是一個名為 Stack v2的新程式碼資料集，它比 Stack v1 大 7 倍以上。除了先進資料集之外，新的訓練技術還可以幫助模型理解低資源程式語言（例如 COBOL）、數學和程式原始碼討論。


利用特定業務資料微調進階功能

使用者可以使用 NVIDIA NeMo 或 Hugging FaceTRL等開源工具，根據產業或組織特定的資料對開放式的 StarCoder2 模型進行微調。他們可以創建先進聊天機器人來處理更複雜的摘要或分類任務，開發個人化的程式設計助手來快速輕鬆地完成程式設計任務，檢索相關程式碼片段，並啟用文字轉工作流程的功能。

組織已經開始微調 StarCoder 基礎模型，為其業務創建專門的任務特定功能。

ServiceNow的文字轉程式碼 Now LLM 建置在具有 150 億參數的 StarCoder 大型語言模型的專門版本上，並針對其工作流程模式、用例和流程進行微調和訓練。Hugging Face 也使用該模型創建 StarChat 助手。


BigCode促進AI領域的開放科學合作

BigCode 代表了由 Hugging Face 和 ServiceNow 領導的開放式科學合作，致力於負責任地開發用於程式碼的大型語言模型。

BigCode 社群透過工作小組和任務小組積極參與 StarCoder2 計畫的技術工作，利用 ServiceNow 的 Fast LLM 框架訓練 30 億參數模型、Hugging Face 的 nanotron 框架訓練 70 億參數模型，以及 NVIDIA NeMo 雲原生框架和 NVIDIA TensorRT-LLM 軟體來訓練和最佳化150億參數模型。

促進負責任的創新是 BigCode的核心宗旨，BigCode 開放治理、透明供應鏈、開源軟體的使用，以及開發人員具備從訓練中排除特定資料的能力都體現了這一點。StarCoder2 是在 Inria託管的 Software Heritage數位共享授權下使用來源可靠的資料進行建構。

StarCoder2 與其前身都在 BigCode Open RAIL-M 許可下提供，允許免版稅存取和使用。為了進一步促進透明度和協作，該模型的支援程式碼將繼續存放在 BigCode 專案的 GitHub 頁面上。

所有 StarCoder2 模型也可從 Hugging Face 下載，且 StarCoder2 的 150 億參數模型可在 NVIDIA AI Foundation 模型上獲得，供開發人員直接從瀏覽器或透過API端點進行實驗。

欲了解更多有關 StarCoder2 的相關訊息，請參考：https://huggingface.co/bigcode。