找回密碼註冊
作者: sxs112.tw
查看: 4016
回復: 0

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

打印 上一主題 下一主題

[業界新聞] Intel將其NPU加速程式庫開源,使開發人員能夠優化人工智慧應用

[複製鏈接]| 回復
跳轉到指定樓層
1#
Intel終於開源了其NPU加速庫,允許開發人員和愛好者調整他們的應用,以最好地與Intel的人工智慧引擎配合使用。

這項消息來自Intel技術傳播者Tony Mongkolsmai,他首先揭露了該公司新的開源程式庫。透過這一步,NPU加速庫將幫助開發者受益於Meteor Lake Core Ultra系列等CPU陣容中現有的NPU 。它採用 Python,透過提供高級介面簡化了開發,並支援TensorFlow和PyTorch等流行框架,使開發人員能夠利用該程式庫的功能來提高AI相關服務的效率。
Intel-Meteor-Lake-Arrow-Lake-VPU-NPU (1).png

Tony 一直在配備Intel Core Ultra CPU的MSI Prestige 16 AI Evo筆記型電腦上執行NPU加速程式庫。他可以在機器上運行TinyLlama和Gemma-2b-it LLM模型而不會造成效能中斷,這表明Intel NPU的潛力以及它們如何為開發人員促進邊緣AI環境。以下是Intel開發團隊自己對該程式庫的描述:

Intel NPU加速程式庫是一個Python函式庫,旨在利用Intel神經處理單元 (NPU) 的強大功能在相容硬體上執行高速運算,從而提高應用程式的效率。,我們正在努力實現一系列關鍵功能,包括:
  • 8-bit quantization
  • 4-bit Quantization and GPTQ
  • NPU-Native mixed precision inference
  • Float16 support
  • BFloat16 (Brain Floating Point Format)
  • torch.compile support
  • LLM MLP horizontal fusion implementation
  • Static shape inference
  • MHA NPU inference
  • NPU/GPU hetero compute
  • Paper

很高興看到NPU加速程式庫的開源,因為它最終將增強在Intel專用AI引擎上運行的AI應用程式的實現。

消息來源
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-13 13:25 , Processed in 0.977949 second(s), 33 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表