Intel將其NPU加速程式庫開源，使開發人員能夠優化人工智慧應用
Intel終於開源了其NPU加速庫，允許開發人員和愛好者調整他們的應用，以最好地與Intel的人工智慧引擎配合使用。這項消息來自Intel技術傳播者Tony Mongkolsmai，他首先揭露了該公司新的開源程式庫。透過這一步，NPU加速庫將幫助開發者受益於Meteor Lake Core Ultra系列等CPU陣容中現有的NPU 。它採用 Python，透過提供高級介面簡化了開發，並支援TensorFlow和PyTorch等流行框架，使開發人員能夠利用該程式庫的功能來提高AI相關服務的效率。
Tony 一直在配備Intel Core Ultra CPU的MSI Prestige 16 AI Evo筆記型電腦上執行NPU加速程式庫。他可以在機器上運行TinyLlama和Gemma-2b-it LLM模型而不會造成效能中斷，這表明Intel NPU的潛力以及它們如何為開發人員促進邊緣AI環境。以下是Intel開發團隊自己對該程式庫的描述：
Intel NPU加速程式庫是一個Python函式庫，旨在利用Intel神經處理單元 (NPU) 的強大功能在相容硬體上執行高速運算，從而提高應用程式的效率。，我們正在努力實現一系列關鍵功能，包括：
[*]8-bit quantization
[*]4-bit Quantization and GPTQ
[*]NPU-Native mixed precision inference
[*]Float16 support
[*]BFloat16 (Brain Floating Point Format)
[*]torch.compile support
[*]LLM MLP horizontal fusion implementation
[*]Static shape inference
[*]MHA NPU inference
[*]NPU/GPU hetero compute
[*]Paper
很高興看到NPU加速程式庫的開源，因為它最終將增強在Intel專用AI引擎上運行的AI應用程式的實現。
消息來源
頁:
[1]