2022.11.07 18:00

次世代の技術を先取りできる"Sneaks（こっそり）"とは？　『Adobe MAX』におけるもうひとつの楽しみ方に迫る

文＝白石倖介

・Project Artistic Scenes

　被写体をいくつかの角度から撮影した数枚の画像を読み込むと瞬時に3Dモデル化するというデモンストレーション。写真には写っていなかった角度に回り込んでも被写体が破綻せずに写っているのに驚かされる。

　被写体の背後に回り込んでも、しっかりと描画されている。こうした「2Dで制作されたモノや画像の3D化」だけでも十分にインパクトがあるのだが、この発表はここでは終わらない。こうした3Dモデルに対して、これまで印刷物や絵画で用いられていたような表現技法を参照するエフェクトを掛けられるのが「Artistic Scenes」のポイントだ。鉛筆のスケッチや水彩画のような「画風」を3Dモデルにエフェクトとして掛けられるのはこれまでにないアプローチであり、これまでに見たことのない映像が映された。

　2Dの世界で成熟した数々の技法はいまや手軽に扱うことができる。カメラアプリのフィルターやエフェクトを想像してほしい。これが近い将来3Dモデルにも適応できるようになれば、誰もが独創的な3Dクリエイティブを簡単に作れるようになるかもしれない。

・Project All of Me

　クロップ（切り抜き）された人物写真を全身写真へとアン・クロップするプロジェクト。デモンストレーションではAIが被写体の足元や足りない背景を補完し、まったく自然な全身写真を作る様子が聴衆を驚かせた。さらに1クリックすることで、肩にかけたかばんを消してみせる。また膝上丈のスカートを膝下丈まで伸ばすなど、クロップされた元画像から自在に服を書き換えていく。

　テクスチャを指定してボタンを押すたびに、着用しているスカートの色がそのテクスチャに瞬時に置き換わる機能も披露され、AIの画像補完能力の高さを示した。

・Project Beyond the Seen

　1枚の部屋の中の画像を解析し、360度パノラマ画像を生成するプロジェクトだ。パノラマ画像はVRゴーグルなどと組み合わせれば部屋の中に入り込むような体験を提供できるため、たった一枚の画像から3Dの没入型コンテンツを生み出すことができる。

　画像の中の奥行きを推定する「震度推定手法」により実現したこのプロジェクトは、被写体の裏側、上部、底部、側部のイメージも補完して生成できるので、この空間に対して新たな3Dオブジェクトを配置することも可能だ。

・Project Made in the Shade

　高品質なフォトグラフィックにおいて光と影の表現は必要不可欠だが、影の場所や向きなどをあとから編集することはとても難しい。「Project Made in the Shade」は写真の中にある物体を3Dオブジェクトとして捉え、物体とそれが生成する影をコントロールできる。従来の2D画像の編集はピクセル単位で行うものだったが、このプロジェクトでは2D画像の中に映るオブジェクトを3Dモデルのように扱えるのだ。

　まずは車の写っている画像の中に、3Dモデルの看板を合成するデモンストレーションが行われた。写真の中の深度を推定してくれるため、ドラッグするだけで遠近感を保持したまま拡大／縮小されるのが驚きだ。配置した看板に影を付与すると、この影が車の上にかかる際には影の姿も変化する。車は2D画像のはずだが、「Project Made in the Shade」は被写体を3Dモデルとして捉えているのだ。

　「次はこの車を左に移動してみたいですが、Photoshopでそんなことをしたら途方も無い仕事量になるでしょう」と語った直後、車自体をドラッグして見せた。影もリアルタイムで追従し、まるで3Dモデルの編集画面のような挙動に驚かされた。

　また、子どもが砂浜に立つ写真にパラソルや砂の城の3Dモデルを配置したうえで、それぞれの影を自在に移動してみせるデモも行われた。

　これら10種が「Sneaks」で披露された機能・プロジェクトだが、いずれも驚きと面白さにあふれる発表だった。動画を文章のように編集することや、2D画像から3Dオブジェクトを生成したり、2D画像を3Dのように扱う試みなど、今回のテーマとなっている「マルチバース」という言葉にふさわしいプロジェクトが揃っていた。これらの新機能が実装されるのか、この機能を実現するためにコンピュータにどの程度の性能が求められるのかはわからないが、今後の展開に大いに期待したいところだ。