NVIDIA的ACE技術在AI的幫助下打造逼真的交互式NPC,現在藉助新的NeMo SteerLM工具變得更加出色。
回到2023年Computex,NVIDIA推出了ACE(Avatar Cloud Engine),它使用AI驅動的框架打造NPC。這些NPC可用於各種應用,例如游戲和Omniverse等。主要目的是利用AI使NPC更加真實地行動並反應玩家的操作,而不是向他們提供預先配置的對話框。這有點像NPC的程式打造,但需要人工智慧的幫助。
以下是 NVIDIA 如何分解該模型的基礎:
- NVIDIA NeMo —用於使用專有數據打造、定制和部署語言模型。大型語言模型可以透過傳說和角色背景故事進行定制,並透過NeMo Guardrails防止產生適得其反或不安全的對話。
- NVIDIA Riva —用於自動語音辨識和文字轉語音,以實現即時語音對話。
- NVIDIA Omniverse Audio2Face —用於即時打造遊戲角色富有表現力的面部動畫,以對應任何語音軌道。Audio2Face有適用於虛幻引擎 5的Omniverse連接器,因此開發人員可以直接向MetaHuman角色添加面部動畫。
NVIDIA ACE的工作原理是接收玩家的語音輸入,該語音輸入首先使用Riva語音轉文件模型轉換為訊息。該文件被轉發到NeMo,這是由一種人工智慧驅動的大型語言模型 (LLM),它會生成對玩家的反應,並將其再次傳遞到Riva以將文件轉換為語音。然後數據由Omniverse Audio2Face引擎處理,該引擎為NPC即將講話的文件生成可信的臉部動畫,這就是ACE的工作原理。
但為了進一步增強ACE的功能,NVIDIA設計了一個名為NeMo SteerLM的新工具,它是一個額外的語言模型,為ACE引擎添加了可定制的參數和屬性。例如您可能希望某個NPC根據一組特徵以特定方式做出反應,而不是讓AI預先確定它們。您希望NPC對玩家的反應是有趣的、諷刺的、憤怒的或您能想到的任何屬性,這本質上就是NeMo SteerLM幫助開發人員實現的目標。
在所示的範例中,NVIDIA展示了使用和不使用NeMo SteerLM時ACE AI生成的以下反應:
玩家:嗨,Jin,你的拉麵生意怎麼樣了?
Jin [ACE生成的NeMo]:這幾天速度很慢。
玩家:你認為這是為什麼?你的拉麵好吃嗎?
互動#1 [AI-設置屬性]-
Jin【ACE生成的NeMo】:我想是的,不知道為什麼慢。
互動 #2 [創造力:3 / 樂於助人:9] -
Jin [ACE 生成的 NeMo SteerLM]:我認為我添加的新風味可能會導致該問題。我不確定我是否可透過添加一些新鮮的韓國辣椒使其更辣。這可能就是問題所在。
互動#3 [創造力:3 / 幽默感:9] -
Jin [ACE 生成的 NeMo SteerLM]:我不知道,我看不出現在的生意如此緩慢,我幾乎要破產了。感謝上帝我已經結婚了。
互動#2 [創造力:3 / 毒性:9 / 有用性:2] -
Jin【ACE生成的NeMo SteerLM】:你是在質疑我的廚藝嗎?我的店開張的唯一原因是我的拉麵。
正如您所看到的,ACE NeMo SteerLM在每個屬性下提供了不同的反應。沒有任何回應與之前的回應相同,或者像第一次互動那樣平淡無奇。再次強調此處使用的技術仍處於早期開發階段,因此預計很快會有更多更新。就採用率而言STALKER 2和Fort Solis據說將是第一批將ACE導入遊戲領域的遊戲。
消息來源
|