蘋果正在探索在快閃記憶體上儲存LLM，以便將該技術無縫導入手機、筆記型電腦

sxs112.tw · 發表於 2023-12-22 15:37:09

大型語言模型 (LLM) 對CPU和記憶體的資源極為密集，但據說蘋果正在嘗試將這項技術儲存在快閃記憶體上，可能會使其在多個裝置上輕鬆存取。然而這家科技龍頭也希望讓LLM在其 iPhone和Mac系列中無處不在，並正在探索實現這一目標的方法。

在典型情況下大型語言模型需要人工智慧加速器和高DRAM儲存容量。根據TechPowerUp報導蘋果正在努力將相同的技術導入記憶體容量有限的設備中。在一篇新發表的論文中，蘋果發表了一篇論文旨在將LLM導入記憶體容量有限的裝置。iPhone的記憶體也有限，因此蘋果研究人員開發了一種使用快閃記憶體晶片來儲存人工智慧模型資料的技術。

由於蘋果的iPhone和Mac電腦上有大量快閃記憶體，因此有一種方法可以透過一種稱為視窗化的技術來繞過此限制。在這種方法中AI模型重複使用了一些已經處理過的數據，減少了對連續記憶體獲取的需求，並使整個過程更快。第二種技術是行列捆綁；數據可以更有效地分組，使人工智慧模型能夠更快地從快閃記憶體讀取資料並加快其理解能力。

這兩種技術和其他方法都將允許AI模型運行高達iPhone可用RAM大小的兩倍，從而使標準處理器上的速度提高多達5倍，在顯示處理器上提高多達25倍。有大量證據表明蘋果對人工智慧很認真，首先是它自己的聊天機器人，內部稱為Apple GPT。據傳明年的iPhone 16還將配備升級的麥克風，這對該公司來說成本高昂，但可以改進語音輸入，這對於Siri執行多項任務是必要的。

還有傳言稱某種形式的生成式人工智慧將在明年正式發佈時融入iOS 18中，因此儘管蘋果一直落後於OpenAI、Google、Amazon等公司，但這種差距到2024年可能會大幅縮小。將這項技術導入記憶體有限的iPhone、iPad和Mac可能會為這些設備帶來獨特的賣點，但我們必須首先看看存儲在快閃記憶體上的LLM的表現如何。

消息來源

文章分享：

+ MORE精選文章：

+ MORE活動推薦：

極致效能為遊戲而生 990 PRO SSD 玩家體驗

Micron Crucial PRO D5 6400超頻版玩家開

O11 VISION COMPACT 玩家開箱體驗分享活動

2024 三星SD記憶卡玩家開箱體驗分享活動

[處理器主機板] 蘋果正在探索在快閃記憶體上儲存LLM，以便將該技術無縫導入手機、筆記型電腦

文章分享：

+ MORE精選文章：

+ MORE活動推薦：

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

Micron Crucial PRO D5 6400超頻版 玩家開

O11 VISION COMPACT 玩家開箱體驗分享活動

2024 三星SD記憶卡 玩家開箱體驗分享活動

[處理器 主機板] 蘋果正在探索在快閃記憶體上儲存LLM，以便將該技術無縫導入手機、筆記型電腦

極致效能為遊戲而生 990 PRO SSD 玩家體驗

Micron Crucial PRO D5 6400超頻版玩家開

2024 三星SD記憶卡玩家開箱體驗分享活動

[處理器主機板] 蘋果正在探索在快閃記憶體上儲存LLM，以便將該技術無縫導入手機、筆記型電腦