絵が下手でも“写真みたいな”背景が描ける？　AIが500万枚の画像から導き出すアプリNVIDIA「Canvas」がすごい

文＝大和 哲

AIの力で絵を描こう！ ラフだけでフォトリアルな自然画が出力できる

　言ってしまおう。これは革命だ。絵画は人間が描かなければならない時代は終わった。ちょっと指示すれば、AI（人工知能）が背景などに使いやすい、まるで写真のような自然画を描いてくれる。

　石炭を使ったエネルギー革命、それに伴う産業の変革が「産業革命」と言われたように、後世、これはコンピュータを使った知的活動の革命の一歩として歴史に残るかもしれない。そんな予感がする、アプリケーションだ。

　このアプリはNVIDIAというメーカーがWindows向けに無償で配布している「Canvas」という。まだベータ版なのだが（少なくとも自然を描画するという領域に関しては）十分実用に耐えうる出来となっている。

NVIDIAのWebサイトから配布されている「Canvas」。「ベータ版を今すぐダウンロード」から、無料で入手できる。

　簡単に言うと、このアプリは、人間が「水」や「岩」、「山」「草」といったといったオブジェクトを選んで、それをブラシやバケツといったツールで描画していく。感覚的にはWindowsに添付されている「ペイント」アプリをさらに簡便にした感じだ。

　するとアプリが、その描画を元に、写真を絵に落とし込んだようなリアルな画像へとほぼリアルタイムで変換していってくれる。

　ただ、それだけのアプリなのだが、この描写っぷりがスゴい。

右端のパレットから「雲」を選んで、左のペンでハートを描けば……ほら、この通り。

　冗談や誇大な表現ではなく、そのまま、たとえばゲームやアニメーションの背景などとしてであれば使えそうなクオリティの画像が生成できてしまうのだ（出力される画像が512×512ピクセルと少々小さめなのは惜しいが）。

 新技法とレイトレで水面への映り込みもクッキリ

　この画像出力は、単に人の描いたオブジェクトに「岩」や「草」のテクスチャーをマッピングしているわけでは当然なく、AIの力によって実現している。深層学習のフレームワークであるPyTorchを採用し、約500万枚もの画像を使って学習済みのニューラルネットワークが構築されている。

　ここまで読んで、あれ、これと似たような話や絵を見たようなことがあるぞ、と思った方はAI通である。実は、このアプリは、昨年、同じくNVIDIAが「GauGAN」として公開していた同社のWebツールの改良版デスクトップアプリである（GauGANは、Amazon Web Services を通じて NVIDIA GPU 上でホストされていた）。

　アーキテクチャ的にはどちらも同じで、セグメンテーション画像を与え写真のような画像が生成するために、Conditional GAN（条件付き敵対的生成ネットワーク）を基にした手法を採用し、畳み込みニューラルネットワークに使用されるバッチ正規化に「SPADE」（spatially-adaptive (de)normalization; 空間適応正規化）という新技法を利用することで、セグメンテーション画像の意味情報をこれまでより活用し、さらにリアルな画像を生成することに成功しているのだという。

　なお、SPADEとそれを使った画像生成に関しては、英文だが、論文「Semantic Image Synthesis with Spatially-Adaptive Normalization」（https://arxiv.org/pdf/1903.07291.pdf）が公開されているので気概のある方は読解にチャレンジしてみてほしい。また、このCanvasの原型となったGauGANに関しては、GitHubでソースコードが丸々公開されており、誰でも自由に閲覧可能となっているので参照してみるのもいいかもしれない。

　さらにこの手法によって、セグメンテーションとスタイルのそれぞれをユーザが制御できるようになった。これによって、画像中のセグメンテーション、つまり物質の色合いや明るさ、影までも自然に合成することにも成功している。

　だから、「水」を広い範囲で塗り「池」を作ると、周囲の岩や木などが水面に映り込む。

たとえば、（人が指示しなくても）水面に浮いている岩の影が映るなどという表現もAIがきっちり表現してくれる。

　レイヤーを1つ使って「草」を描いていた部分を全て「雪」に変えてしまえば、画像全体が冬の風景に変わり、以前は葉が茂っていた木が枯れているように見えるというようなこともできる。

春の景色から、ペイント一つで……
一瞬で冬の景色に早変わり。

　また、画像の「Style」を選ぶことで画像の色味や明るさなどを変えることができるのもこのCanvasの大きな特長だ。晴天、曇天、夕日逆光、夕暮れ、モヤといったシチュエーションを選ぶことでこれらをワンタッチで変えることができるというわけだ。

　このアプリがどのようなシーンを作成するのに向いているかというと、なんと言ってもブラシなどに使えるオブジェクトが「水」や「岩」、「山」「草」といった自然物、自然画、特に山、川、海といった遠景を描くことだろう。特に、背景画として使うのに重宝しそうだ。

　逆に人工物、人工物のオブジェクトはかろうじて「石壁」がある程度なので、たとえば建物などを描くのは残念ながらほとんど無理だ。

少なくとも筆者には、このアプリで人工物を描くのは無理……非常に不自然なモノリス(？)のような石壁一枚が限度だった。

　とはいえ、背景に自然画がほしいクリエイターにとってはかなり強力な助っ人になるだろう。ささっとラフを描くだけでいくらでも風景画が描けるので、量的にはそれこそ何枚でも作成可能だし、試行錯誤も簡単だ。

関連記事