NVIDIA 擴展機器人平台以因應生成式人工智慧的興起

強大的生成式人工智慧模式、雲端原生 API 和微服務正在走向邊緣。

生成式人工智慧正在將 Transformer 模型和大型語言模型的力量帶入幾乎每個產業。如今觸角已伸到接觸邊緣、機器人和物流系統等領域：瑕疵檢測、即時資產跟蹤、自主規劃和導航、人機互動等等。

NVIDIA 今天宣布 NVIDIA Jetson 平台上邊緣人工智慧和機器人技術兩個框架的重大擴展。NVIDIA Isaac ROS機器人框架已經正式推出，接下來將推出 Jetson 上 NVIDIA Metropolis 的擴充。

為了加速人工智慧應用在邊緣的開發和部署，NVIDIA還為Jetson開發人員創建了一個生成式人工智慧練習場（Generative AI Playground），供他們使用最新的開源生成式人工智慧模型。

超過 120 萬開發者和超過 10,000 名客戶選擇了 NVIDIA AI 和 Jetson 平台，其中包括Amazon Web Services、思科、強鹿公司、美敦力、百事公司和西門子。
隨著人工智慧領域的快速發展，解決日益複雜的場景，開發人員在建立邊緣人工智慧應用程式時面臨更長開發週期的挑戰。 對機器人和人工智慧系統重新進行程式設計以滿足不斷變化的環境、生產線和客戶動態的自動化需求需要專業技能，而且非常耗時。

生成式人工智慧提供零樣本學習，即模型能夠識別在之前訓練中未見過的事物的能力，並透過自然語言介面簡化邊緣人工智慧的開發、部署和管理。

「改變」人工智慧格局

生成式人工智慧顯著地提高了人類語言的易用性，以提示和進行模型更改。 這些人工智慧模型可以更靈活地檢測、分割、追蹤、搜尋，甚至重新程式設計任何觸手可及的東西。 這些特性有助於超越傳統的基於卷積神經網路 （convolutional neural network）的模型。

根據ABI Research的資料，生成式人工智慧在2033年將為全球製造業新增105億美元的收入。


在邊緣開發生成式人工智慧

NVIDIA Jetson生成式人工智慧練習場為開發人員提供了最佳化的工具和教學，用於部署開源大語言模型（LLM）、擴散模型以互動方式生成令人驚嘆的圖像、視覺語言模型（VLM）和結合了視覺人工智慧和自然語言處理視覺變換器（ViT）提供對場景的全面理解。
開發人員還可以使用 NVIDIA TAO 工具套件為邊緣創建高效、準確的人工智慧模型。 TAO 提供了一個低程式碼介面來微調和最佳化視覺人工智慧模型，包括視覺變換器和視覺基礎模型。現在，開發人員可以自訂和微調像是 NVIDIA NV-DINOv2 等基礎模型或 OpenCLIP 等公開的模型，從而用很少的資料建立高度準確的視覺人工智慧模型。 TAO現在也另外包括了 VisualChangeNet，這是一個基於transformer的瑕疵檢測模型。

利用新的 Metropolis 和 Isaac 框架

NVIDIA Metropolis 讓企業更輕鬆、更具成本效益地採用世界一流的視覺人工智慧驅動的解決方案，以改善關鍵的營運效率和安全問題。這個平台帶來了一系列強大的 API 和微服務，供開發人員快速開發複雜的基於視覺的應用程式。

包括BMW集團、百事公司、克羅格公司、泰森食品、Infosys和西門子在內的1,000 多家公司都正在使用NVIDIA Metropolis 開發者工具，透過視覺人工智慧解決物聯網、感測器處理和營運挑戰，而且採用率正在加快。 這些工具目前已被那些希望建立視覺人工智慧應用程式的人下載了超過 100 萬次。

Metropolis API 和微服務為了讓開發人員可以快速建置和部署可擴展的視覺人工智慧應用程式，NVIDIA Jetson上擴展後的Metropolis API 和微服務將於年底推出。

數百位客戶使用 NVIDIA Isaac 平台開發跨不同領域的高效能機器人解決方案，包括農業、倉庫自動化、最後一哩運送和服務機器人等。

在 ROSCon 2023 上，NVIDIA 宣布透過新版本的 Isaac ROS 和 Isaac Sim 軟體對感知和模擬功能進行重大改進。 Isaac ROS 基於廣泛採用的開源機器人作業系統（Robot Operating System; ROS）構建，為自動化帶來感知，為移動的事物提供眼睛和耳朵。 透過利用 GPU 加速 GEMs 的強大功能（包括視覺慣性里程計、深度感知、3D 場景重建、定位和規劃），機器人開發人員獲得了快速設計適合各種應用機器人解決方案的工具。

最新的Isaac ROS 2.0版本已公開發布，使開發人員能夠利用 Jetson 創建高效能機器人解決方案並將其推向市場。

提供新的參考 AI 工作流程

開發可立即上線使用的人工智慧解決方案需要最佳化開發和訓練針對特定用例而定制的人工智慧模型、在平台上導入強大的安全功能、編排應用程式、管理車隊、建立流暢的邊緣到雲的通訊等等。

NVIDIA 宣布推出一系列基於 Metropolis 和 Isaac 框架的精選 AI 參考工作流程，使開發人員能夠快速採用整個工作流程，或選擇性地整合這些工作流程中的各個組件，從而大大減少了開發時間和成本。三個不同的AI工作流程包括：網路影片錄製（NVR）、自動光學檢測（AOI）和自主移動機器人（AMR）。


即將推出更多產品

NVIDIA宣佈推出一系列系統服務，這些服務是每個開發人員在構建邊緣人工智慧解決方案時所需的基礎功能。這些服務將簡化整合Jetson平台與開發人員的工作流程，並免除了從頭開始構建時的繁重任務。

預計於年底前推出的NVIDIA JetPack 6，將使AI開發人員不必全面升級Jetson Linux，就能維持運算領先狀態，大大加快開發時間，並讓他們擺脫Jetson Linux依賴性。JetPack 6還將利用與Linux發行合作夥伴的合作，擴大基於Linux的發行版選項，包括Canonical經最佳化和認證的Ubuntu、Wind River Linux、Concurrent Real-Time Redhawk Linux以及各種基於Yocto的發行版。


合作夥伴生態系統受惠於平台擴展

Jetson 夥伴生態系提供從硬體、人工智慧軟體和應用程式設計服務到感測器、連接和開發者工具的廣泛支援。NVIDIA 合作夥伴網路中的這些創新者，為市場上銷售的眾多產品提供組件和子系統方面發揮了關鍵作用。

JetPack 軟體的最新版本使 Jetson 合作夥伴能夠加快上市時間，並使他們能夠擴大客戶群，以採用更多具有更高效能和功能的人工智慧。
獨立軟體供應商合作夥伴也將能夠擴大其針對Jetson開發的產品。

source: blogs.nvidia.com