メタバースやアニメに活用される最新グラフィックAI事情　『SIGGRAPH 2023』＆『NVIDIA AI DAY』2つのイベントから読み解く

グラフィックAIの研究に熱心なNVIDIA

　大手GPUメーカーのNVIDIAは、グラフィックAIの研究開発に熱心な企業でもある。同社がグラフィックAIに注力するのは、グラフィック技術全般とAI開発の両方にGPUが活用されるからである。GPUがAI開発に不可欠なことにより、生成AIの台頭と軌を一にして同社の株価は上昇してきた。

　『SIGGRAPH 2023』では253本の技術論文が採択されたが、そのうち20本にNVIDIAが関わっている。そうした論文のうち、同社とイスラエルのテルアビブ大学が共同で発表した論文では、既存技術と比較して入力テキストの内容により合致した画像が生成できるAIモデル『Perfusion』が紹介されている。以下の画像のいちばん上の行では「衣装を着て芝居をする猫」というテキスト入力に対する生成画像が列挙されており、いちばん左側の「Ours」が『Perfusion』によって生成された画像、その右側に並んでいるのが既存技術によって生成されたものである。既存技術が生成した画像と比較すると、『Perfusion』の性能が一目瞭然である。
〈出典：Key-Locked Rank One Editing for Text-to-Image Personalization〉

　NVIDIAとアメリカ・スタンフォード大学らの研究チームが発表した論文は、大量のテニスのプレイ動画を学習して、サーブなどのテニスプレイに関するモーションを生成するAIモデルを紹介している。今回の論文ではテニスをテーマとしているが、テーマを卓球などに変更することもおそらく可能であり、大量の学習用データが用意できればゲーム制作にも応用が可能だろう。現状でも、この技術を使えばスポーツゲームの制作を効率化できるかも知れない。
〈出典：Learning Physically Simulated Tennis Skills from Broadcast Videos〉

　NVIDIAは、「リアルに動く毛髪」を描画する技術に関する論文も発表している。この論文で論じられているグラフィックAIを使えば、以下の動画で見られるようなリアルなヘアカットに関するシミュレーションが可能となる。もっとも、この技術は人間の毛髪だけを対象としており、犬など動物の体毛の描画には対応していない。また、空気抵抗といった環境との相互作用も考慮されていないので、「風によって乱れる髪」のような表現はまだ実現できていないようだ。
〈出典：Interactive Hair Simulation on the GPU Using ADMM〉

　以上の論文を含む『SIGGRAPH 2023』で採択されたNVIDIA関連論文20本を参照したい場合は、NVIDIAが制作した『SIGGRAPH 2023』特集ページを閲覧するとよい。
〈参考：NVIDIA at SIGGRAPH／Pioneering Graphics for the AI Generation〉

グラフィックAIの応用が紹介された『NVIDIA 生成AI Day 2023 Summer』

　NVIDIAは、自社でAIに関するイベントも主催している。2023年7月28日には日本国内の生成AI活用動向をテーマにした『NVIDIA 生成AI Day 2023 Summer』を開催した。
〈参考：NVIDIA 生成AI Day 2023 Summer／セッション一覧ページ〉

　同イベントでは、画像生成AIの『Stable Diffusion』を開発するStability AIの日本法人代表ジェリー・チー（Jerry Chi）氏が「Stable Diffusionの活用法と事例」と題したセッションをおこなった。このセッションでは、プロフェッショナル向けモデル『Stable Diffusion XL』の機能解説や、『Stable Diffusion』の活用事例の紹介が行われた。

　紹介された『Stable Diffusion』の活用事例には、KDDIが2023年3月7日に立ち上げたメタバース・Web3サービスプラットフォーム「αU（アルファユー）」のコンセプト動画がある。この動画におけるナレーションや楽曲はバーチャルシンガーの花譜が担当、アニメーションは雪下まゆ氏のイラストにもとづいて制作されたのだが、アニメーションの補間部分の生成に『Stable Diffusion』が使われている。
〈参考：KDDIが提供するメタバース・Web3サービス「αU (アルファユー)」のコンセプトビデオを制作〉

　アメリカの映像制作スタジオ・Corridor Digitalが2023年2月に発表した短編アニメ『ANIME ROCK, PAPER, SCISSORS』では、登場人物を描写するために『Stable Diffusion』が使われた。具体的には、人物に関する実写映像を撮影して、その映像を画像生成AIに入力してアニメ調の描画になるように加工したのだ。こうした技法は、以下のメイキング動画を見るとよくわかる。
〈参考：YouTube「ANIME ROCK, PAPER, SCISSORS」〉

　ほかにも、「生成AI革命を牽引するNVIDIAのプラットフォーム」と題して、NVIDIAの生成AIに関する取り組みが発表された。このセッションで紹介されたのは、同社が提供するビジュアルデザイン向け生成AIプラットフォーム『NVIDIA Picasso』である。このプラットフォームは同社のグラフィックAI技術の集大成のようなものになっており、テキスト入力から画像、動画、そして3Dオブジェクトを生成する機能を実装している。
〈参考：『NVIDIA Picasso』公式WEBサイト〉

　以上のように、最新グラフィックAIを通覧すると、この技術によって表現の幅が広がると同時に、制作スキルに乏しい個人であってもCGやアニメの制作が可能となる時代になりつつあることがわかる。AIはビジネスや教育だけではなく、アートやエンターテインメントのコンテンツ制作も大きく変えようとしているのだ。