『AlphaGo』から『MindAgent』まで　ゲームプレイAI進化の歴史をたどる

『マイクラ』でダイヤを採取するAIが登場　オープンワールドへの進出

　以上に解説したゲームプレイAIがプレイする囲碁や『ディプロマシー』は、そのプレイ過程が複雑であっても、プレイ中に一望できる閉じられたフィールドで展開される。こうしたなか、ビデオゲームが発達した現在では、プレイヤーの視野をはるかに超えたフィールドが舞台となるゲームがある。とくに「オープンワールド」に分類されるゲームは、広大なフィールドをプレイヤーが自由にプレイできることを特徴としている。

　近年のゲームプレイAI研究のテーマとして、オープンワールドなゲームのひとつである『Minecraft』が挙げられている。このゲームが研究テーマとして好まれるのは、ボードゲームに比べて「物理的な現実に近い世界」を再現している一方で、グラフィックが高精細ではないので描画に大きな計算リソースを必要としないからである。

　『ChatGPT』を開発するOpenAIは2022年6月、『Minecraft』のプレイAIに関する研究成果を発表した。このAIは、プレイ中のマウスやキーボードの操作をデータとして記録した7万時間におよぶ同ゲームのプレイ動画を学習したことで誕生した。AIのプレイレベルを調べるために、OpenAIの研究チームは「ダイヤモンドのつるはしを作る」という課題を与えた。この課題を達成するためには「鉄のつるはしを作る」といった多数の事前課題をクリアしなければならないのだが、見事に成功したのだった。
〈出典：Learning to play Minecraft with Video PreTraining〉

　2023年1月には、DeepMindとカナダ・トロント大学の研究チームがゲームプレイAI『DreamerV3』を発表した。同AIは多数のレトロゲームでハイスコアを達成したうえに、『Minecraft』のプレイにおいても「ダイヤモンドの採取」（※2）という困難な課題を達成した。驚くべきことに、同AIによるダイヤモンド採取では事前の学習が不要であったそうだ。

【※2……『Minecraft』でダイヤモンドを採取するには、各種道具を作ったり、地下や洞窟を探検して鉱石ブロックを発見する必要があり、複数の作業工程を必要とするため知識のある人間がプレイしたときですら難易度は少し高め】

　同AIがさまざまなゲームで好成績を上げたのは、“世界モデル”と呼ばれるアイデアを利用したからである。ちなみに、このアイデアはMetaのAI部門チーフサイエンティストであるヤン・ルカン氏が提唱したことで注目されるようになった。
〈出典：Mastering Diverse Domains through World Models〉
〈参考記事：Yann LeCun on a vision to make AI systems learn and reason like animals and humans〉

大規模言語モデルをゲームプレイに応用

　最近のゲームプレイAI研究で注目されているのは、『ChatGPT』で活用されている大規模言語モデルのゲームへの応用である。ChatGPTは内部的に「GPT-3.5」あるいは「GPT-4」と呼ばれる、OpenAIが開発した言語モデルを使って文章を生成している。こうした言語モデルは、AIの出力性能をつかさどるパラメータの数が膨大であることから「大規模言語モデル」と言われる。

　『ChatGPT』がゲームプレイに応用できる可能性を示した研究として有名なのが、アメリカ・スタンフォード大学らの研究チームが2023年4月に発表したシミュレーション事例がある。この事例では25名のノンプレイヤーキャラクター（人間が操作しないプレイヤー、以下「NPC」と略記）が住むゲーム内の村を用意したうえで、それぞれのNPCに性格と行動傾向を設定したうえで『ChatGPT』を使って会話できるようにした。するとNPCどうしが交流を始め、あるNPCがバレンタインパーティの開催を呼びかけると、ほかの5人のNPCがパーティに参加したのだった。この事例は、会話がおこなえるNPCだけでゲームの世界を形成できることを示している。
〈出典：Generative Agents: Interactive Simulacra of Human Behavior〉

　2023年5月にはNVIDIAらの研究チームが、『GPT-4』を活用した『Minecraft』プレイAI『Voyager（ボイジャー：「航海者」を意味する英単語）』を発表した。もともとは質問に対して回答を生成する『GPT-4』が『Minecraft』をプレイできるようになったのは、ゲームフィールドと『GPT-4』が文章を介して関係できるような仕組みを構築したからである。『Voyager』の性能を調べるために「ダイヤモンドのつるはし」を作る課題を与えたところ、従来の『Minecraft』プレイAIよりも早くつるはしの作成に成功した。
〈出典：Voyager: An Open-Ended Embodied Agent with Large Language Models〉

　そして2023年9月、Microsoft Researchらの研究チームは、「大規模言語モデル駆動型ゲームエンジン」とでも呼べるゲーム環境『MindAgent』を発表した。この環境は『Voyager』同様に『GPT-4』とゲームステージが文章を介して関係できるようになっているのだが、複数のNPCを制御できる点で大きな違いがある。研究チームは同環境の性能を検証するために、『Minecraft』において人間プレイヤーが2人のNPCに対して料理を作るように指示するデモプレイ動画を制作した。この動画では、言葉によって人間プレイヤーとAI駆動型NPCが協力プレイできる可能性を示している。

〈出典：MindAgent: Emerging Gaming Interaction〉

　以上のように『AlphaGo』から『MindAgent』までの歩みを振り返ると、ゲームプレイAIがよりヒューマンライクになっていると言えよう。そして、大規模言語モデルのゲームへの応用がさらに進化すれば、さまざまなゲームで人間プレイヤーと同じように言葉を理解して協力プレイするAIプレイヤーが誕生するかもしれない。