2021.07.26 07:00

絵が下手でも“写真みたいな”背景が描ける？　AIが500万枚の画像から導き出すアプリNVIDIA「Canvas」がすごい

文＝大和哲

AIの力で絵を描こう！ラフだけでフォトリアルな自然画が出力できる

　言ってしまおう。これは革命だ。絵画は人間が描かなければならない時代は終わった。ちょっと指示すれば、AI（人工知能）が背景などに使いやすい、まるで写真のような自然画を描いてくれる。

　石炭を使ったエネルギー革命、それに伴う産業の変革が「産業革命」と言われたように、後世、これはコンピュータを使った知的活動の革命の一歩として歴史に残るかもしれない。そんな予感がする、アプリケーションだ。

　このアプリはNVIDIAというメーカーがWindows向けに無償で配布している「Canvas」という。まだベータ版なのだが（少なくとも自然を描画するという領域に関しては）十分実用に耐えうる出来となっている。

NVIDIAのWebサイトから配布されている「Canvas」。「ベータ版を今すぐダウンロード」から、無料で入手できる。

　簡単に言うと、このアプリは、人間が「水」や「岩」、「山」「草」といったといったオブジェクトを選んで、それをブラシやバケツといったツールで描画していく。感覚的にはWindowsに添付されている「ペイント」アプリをさらに簡便にした感じだ。

　するとアプリが、その描画を元に、写真を絵に落とし込んだようなリアルな画像へとほぼリアルタイムで変換していってくれる。

　ただ、それだけのアプリなのだが、この描写っぷりがスゴい。

　冗談や誇大な表現ではなく、そのまま、たとえばゲームやアニメーションの背景などとしてであれば使えそうなクオリティの画像が生成できてしまうのだ（出力される画像が512×512ピクセルと少々小さめなのは惜しいが）。

新技法とレイトレで水面への映り込みもクッキリ

　この画像出力は、単に人の描いたオブジェクトに「岩」や「草」のテクスチャーをマッピングしているわけでは当然なく、AIの力によって実現している。深層学習のフレームワークであるPyTorchを採用し、約500万枚もの画像を使って学習済みのニューラルネットワークが構築されている。

　ここまで読んで、あれ、これと似たような話や絵を見たようなことがあるぞ、と思った方はAI通である。実は、このアプリは、昨年、同じくNVIDIAが「GauGAN」として公開していた同社のWebツールの改良版デスクトップアプリである（GauGANは、Amazon Web Services を通じて NVIDIA GPU 上でホストされていた）。

　アーキテクチャ的にはどちらも同じで、セグメンテーション画像を与え写真のような画像が生成するために、Conditional GAN（条件付き敵対的生成ネットワーク）を基にした手法を採用し、畳み込みニューラルネットワークに使用されるバッチ正規化に「SPADE」（spatially-adaptive (de)normalization; 空間適応正規化）という新技法を利用することで、セグメンテーション画像の意味情報をこれまでより活用し、さらにリアルな画像を生成することに成功しているのだという。

　なお、SPADEとそれを使った画像生成に関しては、英文だが、論文「Semantic Image Synthesis with Spatially-Adaptive Normalization」（https://arxiv.org/pdf/1903.07291.pdf）が公開されているので気概のある方は読解にチャレンジしてみてほしい。また、このCanvasの原型となったGauGANに関しては、GitHubでソースコードが丸々公開されており、誰でも自由に閲覧可能となっているので参照してみるのもいいかもしれない。

　さらにこの手法によって、セグメンテーションとスタイルのそれぞれをユーザが制御できるようになった。これによって、画像中のセグメンテーション、つまり物質の色合いや明るさ、影までも自然に合成することにも成功している。

　だから、「水」を広い範囲で塗り「池」を作ると、周囲の岩や木などが水面に映り込む。