ServiceNow、Hugging Face 和 NVIDIA 共同推出全新開放式大型語言模型 StarCoder2
https://news.xfastest.com/wp-content/uploads/2024/03/NVIDIA35.jpgServiceNow、Hugging Face 和 NVIDIA 今天宣布推出 StarCoder2,這是一系列開放存取的大型語言模型,用於程式碼生成,為效能、透明度和成本效益方面設立了新標準。
StarCoder2 是與 BigCode 社群合作開發,該社群由 ServiceNow 和 Hugging Face管理,ServiceNow 是領先的數位工作流程公司,致力於讓全球工作變得更加順暢,而 Hugging Face 則是最常用的開源平台,機器學習社群在該平台上共同協作開發模型、資料集和應用。
StarCoder2 經過 619 種程式語言的訓練,可以進一步在企業應用中進行訓練和嵌入,執行特定任務,例如應用原始程式碼生成、工作流程生成、文章摘要等等。開發人員可以利用其程式碼自動完成、先進程式碼摘要、程式碼片段擷取等功能,加速創新並提高生產力。
StarCoder2 提供三種模型大小:由 ServiceNow 訓練的 30 億參數模型;Hugging Face 訓練的 70 億參數模型;以及由 NVIDIA 使用 NVIDIA NeMo構建並在 NVIDIA 加速基礎設施上進行訓練的 150 億參數模型。較小的變體在提供強大效能的同時,也節省了運算成本,因為較少的參數在推論過程中需要更少的運算。事實上,新的 30 億參數模型與原始 StarCoder 的 150 億參數模型的效能相當。
StarCoder2 模型增強客製化應用開發
StarCoder2 模型採用最先進的架構,並使用來自 BigCode 精心整合的資料源,優先考慮透明度和開放治理,以實現大規模負責任的創新。
StarCoder2 提升了未來AI驅動的程式碼應用潛力,包括從文字轉程式碼和文字轉工作流程等功能。透過更廣泛、更深入的程式設計訓練,它為儲存庫提供上下文,從而實現準確且由情境感知的預測行為。這些先進功能也適用於經驗豐富的軟體工程師和公民開發者,加速商業價值和數位轉型。
StarCoder2 的基礎是一個名為 Stack v2的新程式碼資料集,它比 Stack v1 大 7 倍以上。除了先進資料集之外,新的訓練技術還可以幫助模型理解低資源程式語言(例如 COBOL)、數學和程式原始碼討論。
利用特定業務資料微調進階功能
使用者可以使用 NVIDIA NeMo 或 Hugging FaceTRL等開源工具,根據產業或組織特定的資料對開放式的 StarCoder2 模型進行微調。他們可以創建先進聊天機器人來處理更複雜的摘要或分類任務,開發個人化的程式設計助手來快速輕鬆地完成程式設計任務,檢索相關程式碼片段,並啟用文字轉工作流程的功能。
組織已經開始微調 StarCoder 基礎模型,為其業務創建專門的任務特定功能。
ServiceNow的文字轉程式碼 Now LLM 建置在具有 150 億參數的 StarCoder 大型語言模型的專門版本上,並針對其工作流程模式、用例和流程進行微調和訓練。Hugging Face 也使用該模型創建 StarChat 助手。
BigCode促進AI領域的開放科學合作
BigCode 代表了由 Hugging Face 和 ServiceNow 領導的開放式科學合作,致力於負責任地開發用於程式碼的大型語言模型。
BigCode 社群透過工作小組和任務小組積極參與 StarCoder2 計畫的技術工作,利用 ServiceNow 的 Fast LLM 框架訓練 30 億參數模型、Hugging Face 的 nanotron 框架訓練 70 億參數模型,以及 NVIDIA NeMo 雲原生框架和 NVIDIA TensorRT-LLM 軟體來訓練和最佳化150億參數模型。
促進負責任的創新是 BigCode的核心宗旨,BigCode 開放治理、透明供應鏈、開源軟體的使用,以及開發人員具備從訓練中排除特定資料的能力都體現了這一點。StarCoder2 是在 Inria託管的 Software Heritage數位共享授權下使用來源可靠的資料進行建構。
StarCoder2 與其前身都在 BigCode Open RAIL-M 許可下提供,允許免版稅存取和使用。為了進一步促進透明度和協作,該模型的支援程式碼將繼續存放在 BigCode 專案的 GitHub 頁面上。
所有 StarCoder2 模型也可從 Hugging Face 下載,且 StarCoder2 的 150 億參數模型可在 NVIDIA AI Foundation 模型上獲得,供開發人員直接從瀏覽器或透過API端點進行實驗。
欲了解更多有關 StarCoder2 的相關訊息,請參考:https://huggingface.co/bigcode。
頁:
[1]