Seagate 與 Dropbox 認為硬碟仍可為大規模 AI 的資料儲存提供高成本效益並具永續性
Seagate 與 Dropbox 共同探討因應 AI 創新時代的儲存需求,以及在現代資料中心的關鍵角色,並認為高容量硬碟產品正是 AI 時代下大規格資料儲存的最佳選擇。
https://p.xfastest.com/~kenny.kuan/2024/20241106/seagate_01.jpg
隨著 AI 爆發性的發展,許多企業都想運用 AI 來進來創新或提升營運效率。在許多 AI 的應用當中,除了部分端點或是邊緣裝置具有自行運算的能力外,大都需要後端伺服器來提供服務,不論是語言模型或是產生影像,都需要許多資料來訓練,在尚未整理、清理前,資料量更多,當然就需要儲存裝置來存放資料,因此在 AI 快速進步時,儲存裝置與 CPU 及 GPU 同樣重要。
全球主要儲存裝置供應商之一的 Seagate 特別與雲端儲存供應商 Dropbox 共同探討因應 AI 創新時代的資料儲存需求,以及如何在現代資料中心發揮關鍵作用並以資料推動 AI 進步。
AI 應用範圍日益廣泛、效能持續提升且漸受信賴,但也帶動資料爆炸性成長,現在 AI 不再只是資料消耗者,還成為強大的資料創造者。預估未來四年內,AI 產生的圖片和影像創作量將增加 167 倍,也會產生數百 ZB 的新資料。為了讓 AI 模型持續演進,AI 將仰賴更豐富的資料、進行更多複製,也需要更長久的保留期,以提升訓練流程、減少偏差,同時提高整體的準確性和可靠度。
https://p.xfastest.com/~kenny.kuan/2024/20241106/seagate_02.jpg
Dropbox 基礎架構副總裁 Ali Zafar
Dropbox 基礎架構副總裁 Ali Zafar 特別指出各產業產生的資料量呈指數成長,像 Dropbox 客戶所產生和儲存的資料亦是如此,包括圖像、影像和多模態資料等豐富多樣的內容。組織若能取得更多資料,將有助於做出更有利的決策並減少偏差,更公正且準確的結果對於醫療保健和財務等敏感領域最為重要。
https://p.xfastest.com/~kenny.kuan/2024/20241106/seagate_03.jpg
Seagate 亞太及日本區業務副總裁 Futoshi Niizuma
Seagate 亞太及日本區業務副總裁 Futoshi Niizuma 也藉由檢視 AI 如何在產生資料和消耗的無限循環中運作,分析資料儲存在應對資料增長態勢中的角色。輸入高品質的資料有助於 AI 進行學習和持續改善,建立更具智慧的模型並產生更佳的結果,而輸出資料豐富多元,會不斷強化 AI 的可信度。隨著資料循環持續增加,為了因應 AI 成 長需求,儲存容量也必須隨之擴充。
處理快速成長資料的重要關鍵是有效規劃儲存容量和資源,而瞭解正確的儲存架構,更是管理大型語言模型訓練和資料密集型工作負載的必要條件。資料中心目前 90% 的 EB 級資料量和企業工作負載是儲存於硬碟,此趨勢會因 AI 最佳化架構而延續。AI 運算叢集仰賴記憶體和 SSD 來滿足即時需求,而網路 AI 儲存叢集則依靠更具成本效益的硬碟來儲存長期且龐大的資料量,而多數資料跨越不同儲存層級後,最終會以硬碟儲存。
Seagate 和 Dropbox 皆採用這類混合方式,其中 Dropbox 的多 EB Magic Pocket 基礎架構高度正仰賴 Seagate 高容量硬碟,利用先進的儲存技術,在成本、容量和效能間取得平衡,以滿足不同的工作負載需求。而 Seagate 的資料中心則採用混合式與硬碟儲存系統,不但提高效能並可擴充儲存容量,進而滿足 AI 和資料分析的需求,且具最佳成本和能源效率。
Seagate 的 Mozaic 3+ 平台具有熱輔助磁性記錄技術 (HAMR),提供極高的磁錄密度,讓資料中心能在相同的佔地面積儲存三倍容量,而每 TB 能源效率提高 2.6倍,每 TB 的隱含碳量則降低 3.5 倍。即大規模的 AI 資料中心能具有更高的儲存容量,但所需的空間、能源消耗和整體成本卻更低。
Ali Zafar 表示:「Dropbox 始終是儲存創新的先鋒,隨時準備滿足現代資料密集型工作負載以及自有的 AI 應用程式的儲存需求。我們與 Seagate 長期合作並廣泛運用其近線硬碟,讓 Dropbox 能在 AI 時代保持領先地位。」
Futoshi Niizuma 補充說明:「資料是 AI 成功的基石,Seagate 與 Dropbox 的合作正展現儲存技術創新對於企業發揮 AI 潛力的重要性。Mozaic 3+ 平台將創資料儲存能力的巔峰,運用硬碟實現必要的容量和成本效益,成為資料密集型 AI 工作負載有力的後援。」
頁:
[1]