NVIDIA 研究人員以 GameGAN 生成對抗網路重製《小精靈》遊戲

曾經火紅的經典遊戲《小精靈》，如今 NVIDIA Research 透過五萬局《小精靈》遊戲所訓練出的 AI 模型 NVIDIA「GameGAN」，可以在沒有底層遊戲引擎的支援下，重製出一個功能完整的《小精靈》遊戲。這意味著即使不明白遊戲的基本規則，AI 也能重現令人信服的遊戲效果。

GameGAN 是第一個利用生成對抗網路 (GAN) 模仿電腦遊戲引擎的神經網路模型，由一個生成器和一個鑑別器組成，這兩個神經網路相互競爭，學習如何建立出讓原生信服的全新內容。



當人工代理程式遊玩由生成對抗網路產生的遊戲時，GameGAN 會對代理程式的動作做出反應，即時生成新的遊戲環境框架。如果使用有著多個關卡或版本的遊戲劇本來訓練神經網路，GameGAN 甚至能產生出它自己也沒見過的遊戲佈局。

遊戲開發人員可以透過這項功能自動生成新的遊戲關卡，AI 研究人員也能藉此更方便地開發用於訓練自主機器的模擬器系統。

NVIDIA 會在今年下半年於 AI Playground 推出這款加入 AI 的遊戲，大家都能在此親自體驗我們的研究內容。

GameGAN 版本的《小精靈》靠著神經網路，而非過去的遊戲引擎來生成遊戲環境。AI 會不斷追蹤虛擬世界、記住已產生的內容，以保持每個畫面在視覺上的一致性。

無論是哪一款遊戲，GAN 可以透過過去遊戲中的畫面紀錄和代理程式按鍵的資料，來學習其規則。遊戲開發人員可以利用這樣的工具，以原始關卡的劇本當成訓練資料，自動為現有遊戲設計新的關卡。



Kim 和他在 NVIDIA 多倫多人工智慧研究實驗室的合作對象，利用 BANDAI NAMCO Research 提供的五萬局《小精靈》遊戲資料 (共有數百萬個畫面)，並結合 AI 代理程式玩遊戲的按鍵資料，在 NVIDIA DGX 系統上訓練神經網路。
接著，經過訓練的 GameGAN 模型產生出環境中的靜態元素，像是一致的迷宮形狀、點點和無敵藥丸 (Power Pellets)，再加上敵隊的幽靈和小精靈本身等會移動的元素。

它學習了遊戲裡無論是簡單還是複雜的重要規則。GameGAN 版本的《小精靈》跟原版遊戲裡的規則一樣，小精靈不能穿越迷宮的牆壁、走動時會吃掉點點，還有在吃到一個無敵藥丸時，幽靈會變成藍色並逃走。當小精靈從一邊走出迷宮時，會被傳送到另一邊，要是遇到幽靈，畫面會閃爍，而遊戲便結束了。

既然 GameGAN 模型可以將背景與移動中的角色區分開來，就有可能將遊戲重新設定為在室外的籬笆迷宮中進行，或者把小精靈換成你喜歡的表情符號。因此，開發人員便可以利用這項功能來嘗試新的角色創意或遊戲主題。

不只是遊戲

通常我們使用模擬器來訓練機器人，AI 可以先在模擬器中學習環境規則，再與現實世界中的物體進行互動。然而對於開發人員而言，創建模擬器相當耗時，開發人員必須編寫關於物體之間如何相互交流，以及光線如何在環境中運行的規則。

我們使用模擬器來開發各種自主機器，像是學習如何抓取和移動物件的倉庫機器人，或者是必須在人行道上運送食物或藥品的送貨機器人。
GameGAN 提出了一種可能性，也就是有一天能藉由簡單的訓練神經網路，取代費時的編寫模擬器工作。

假設你在汽車上裝了一台攝影機，它可以記錄下道路環境的樣子，或是駕駛轉動方向盤或踩油門等行為。這些資料可以用來訓練一個深度學習模型，預測萬一人類駕駛員或是自動駕駛車出現猛踩煞車等動作時，在現實環境中可能會發生的情況。

NVIDIA Research 在全球各地擁有 200 多名科學家，專注於 AI、電腦視覺、自動駕駛車、機器人及繪圖等領域。

GameGAN 由 Fidler、Kim、NVIDIA 研究員 Jonah Philion、多倫多大學學生 Yuhao Zhou 及麻省理工學院教授 Antonio Torralba 共同編寫完成。該論文將在六月舉行的著名 CVPR (Conference on Computer Vision and Pattern Recognition) 大會上發表。

相關連結
YouTube 預告影片：PAC-MAN 與 GameGAN
NVIDIA GameGAN 研究報告
NVIDIA GauGAN 部落格文章