Intel Gaudi 2 AI加速器能夠使用參數高達70B的Llama 2模型文字生成

Intel的Gaudi 2 AI加速器是NVIDIA晶片最可行的替代品，Hugging Face已使用Llama 2展示了其文字生成功能。

隨著Intel擴展其人工智慧軟體生態系統，該公司瞄準了最受歡迎的人工智慧工作負載，其中包括LLM（大型語言模型）。這項工作是透過使用Habana Optimum（充當介面變壓器和擴散器庫）以及Intel Habana Gaudi處理器（例如Gaudi 2）來實現的。該公司已經針對NVIDIA的A100 GPU展示了其Gaudi 2處理器的AI功能和性能。在市場上流行的選項中，Gaudi 2在以有競爭力的TCO提供更快的性能方面做得值得稱讚。

在最新展示中Hugging Face展示了使用相同的Optimum Habana管道和Intel Gaudi 2 AI加速器，使用Llama 2（7b、13b、70b）生成文字的輕鬆性。最終結果表明Gaudi 2晶片不僅能夠接受單一/多個提示，而且非常易於使用，還可以處理腳本中的自訂插件。

隨著生成式人工智慧 (GenAI) 革命的全面展開，使用Llama 2等開源Transformer模型生成文字已成為熱門話題。人工智慧愛好者和開發人員正在尋求利用此類模型的生成能力來實現自己的用例和應用程式。本文展示了使用Optimum Habana和自訂管道類別透過Llama 2系列模型（7b、13b和70b）產生文字是多麼容易 - 您只需幾行程式碼就可以運行模型！

此自訂管道類別旨在提供極大的靈活性和易用性。此外它提供了高水準的抽象並執行涉及預處理和後處理的點到點文字生成。使用管道的方法有多種 - 您可以 run_pipeline.py從Optimum Habana儲存庫執行腳本，將管道類別新增至您自己的python腳本中，或用它初始化LangChain類別。

我們在Intel Gaudi 2 AI加速器上展示了一個自訂文字產生管道，它接受單一或多個提示作為輸入。該管道在模型大小以及影響文字生成品質的參數方面提供了極大的靈活性。此外它也非常易於使用和插入您的腳本，並且與LangChain相容。

Hugging Face

Intel致力於在未來幾年加速其人工智慧領域的發展。今年該公司計劃推出Gaudi的第三代產品Gaudi 3，預計將採用5nm製程，據稱比NVIDIA H100更快，但價格卻低得多。同樣該公司還計劃採用下一代Falcon Shores GPU進行完全內部設計，預計將於2025年推出。該公司還為其消費級開放AI功能，例如支援Llama 2與PyTorch的Arc A系列GPU。

消息來源