Intel終於開源了其NPU加速庫,允許開發人員和愛好者調整他們的應用,以最好地與Intel的人工智慧引擎配合使用。
這項消息來自Intel技術傳播者Tony Mongkolsmai,他首先揭露了該公司新的開源程式庫。透過這一步,NPU加速庫將幫助開發者受益於Meteor Lake Core Ultra系列等CPU陣容中現有的NPU 。它採用 Python,透過提供高級介面簡化了開發,並支援TensorFlow和PyTorch等流行框架,使開發人員能夠利用該程式庫的功能來提高AI相關服務的效率。
Tony 一直在配備Intel Core Ultra CPU的MSI Prestige 16 AI Evo筆記型電腦上執行NPU加速程式庫。他可以在機器上運行TinyLlama和Gemma-2b-it LLM模型而不會造成效能中斷,這表明Intel NPU的潛力以及它們如何為開發人員促進邊緣AI環境。以下是Intel開發團隊自己對該程式庫的描述:
Intel NPU加速程式庫是一個Python函式庫,旨在利用Intel神經處理單元 (NPU) 的強大功能在相容硬體上執行高速運算,從而提高應用程式的效率。,我們正在努力實現一系列關鍵功能,包括:
- 8-bit quantization
- 4-bit Quantization and GPTQ
- NPU-Native mixed precision inference
- Float16 support
- BFloat16 (Brain Floating Point Format)
- torch.compile support
- LLM MLP horizontal fusion implementation
- Static shape inference
- MHA NPU inference
- NPU/GPU hetero compute
- Paper
很高興看到NPU加速程式庫的開源,因為它最終將增強在Intel專用AI引擎上運行的AI應用程式的實現。
消息來源
|