いま、バーチャルヒューマンの領域で開発をする意味とは 技術者集団・BASSDRUMに聞く
テクニカルディレクターを中心に集めた職能コミュニティ・BASSDRUMが、バーチャルヒューマンプロジェクトの始動を発表した。
様々な領域におけるクリエイティブを手がける同コミュニティが、新規事業「XR SQUAD」を立ち上げるなど、XRやバーチャルヒューマンの領域により一歩踏み込んだ理由とは。テクニカルディレクターの清水幹太氏と、同プロジェクトの鍵を握る小川恭平氏に、それぞれの視点を踏まえて話してもらった。
「おもしろい会社があるよ」の一言で、CG未経験のまま上海へ
ーーまずは小川さんの経歴と、現在携わっている仕事についてお話しいただけますか？
小川：学生のころから漫画や小説を扱うエンターテイメント業界にいて、編集者 兼 エンジニア 兼 デザイナーみたいな感じで、何でもやってました。そこでウェブサイトを作ったりデザインしたりするうちに、もっとCGで作品を作りたい、という気持ちが湧いたんです。それをBASSDRUMの清水（幹太）に相談したら「上海におもしろい会社があるよ」と言われて、そのまま上海に行くことになりました。中国で人気ナンバーワンと言われてるバーチャルアイドルのIP（知的財産）を管理してる会社に入って、ミュージックビデオなどの制作をしていました。CGは未経験でしたが、ほぼ独学で身に付けたんです。
ただそのあと、進みたい方向が見つかったところで、新型コロナウイルスの影響で帰国することになりました。
現在はBASSDRUM所属で、主にXR関連や、Webサイト・サービスの構築のテクニカルディレクションの仕事を半々くらいの割合で行っています。
ーー中国は世界的技術大国として躍進し続けていますが、現地でお仕事をされるなかで、XRなどのテクノロジーを使ったエンターテインメントの作り方や演出が先鋭的だと肌で感じることはありましたか？
小川：コロナ以前もそうだったんですけど、コロナ後は特に、家の中で買い物をする人が増えて、会社にもライブコマースの案件がたくさん来ていました。バーチャルアイドルはスキャンダルもないですし、広告塔としての需要が高くて、たくさん作らないといけないような状況だったんです。ライブコマースに関しては、中国はすごく進んでいると感じましたね。
ーー中国でやりたいことがありつつ、道半ばで帰国されたとのことですが、XR SQUADのプロジェクトを通して叶えられることもありそうですね。小川さんが元々やりたかった領域を改めて教えていただけますか？
小川：リアルタイムの映像制作ですね。当時ゲームエンジンを使って映像制作する事例が増え始めていて、私も当初はレンダリング時間の短縮のためにUnrealEngine4を使ってミュージックビデオの制作を始めました。さらに、ライブコマースやライブ会場で、実際の人とバーチャルキャラクターが会話をするといったインタラクティブな体験の需要が高まり、リアルタイムでのキャラクターの描画・合成技術も必要になってきたんです。
色々試すうちに、キャラクターが実在する感じをより高度に表現するためには、ライティングやエッジブレンディングなどの従来の合成技術だけではなく、カメラトラッキングなどの技術を習得しないといけないことに気づき、勉強を始めました。
ーー高性能なゲームエンジンが次々に出てきて、それをゲームだけではなく映像にも取り入れることができるようになったのは、要素として大きいですよね。今回先んじてデモの映像を拝見したのですが、これは何を使って制作されているんですか？
小川：キャラクターの描画と合成はUnreal Engineなんですが、カメラトラッキングのデータと実写映像を入出力するためのミドルウェアとしてTouchDesignerを利用してますね。このシステムでは、BASSDRUMのメンバーが開発した独自プロトコルによって映像とカメラのトラッキングデータが同期されることで、CGと実写映像がずれることなく合成されます。
ーープロジェクトとして立ち上げて実際に動かすまでに、障害や課題はありましたか？
小川：これまでのバーチャルキャラのライブは、そこまで高負荷な処理が必要ないこともあり、細かい制御がしやすいUnityを使っていたんです。ただ、そこにバーチャルヒューマンが出てきて、今後はもっと高精細なグラフィックスのAR表現が求められるでしょうから、今回は試験的にUnreal Engineを使ってみることになりました。リアルなバーチャルキャラクターを動かすときに、いかにfps（フレームレート）を落とさないかが課題ですね。実際本番中に、処理が重くてfpsが落ちてしまうことが結構あって、そこがまだまだ技術的な障壁になっています。
ーータイミング的には、ちょうどいまUnreal Engine 4から5への移行の時期ですよね。来年正式リリースされると、より精細な表現ができるようになりそうですし、そのあたりの可能性を考えて、Unreal Engineを使う方向にシフトしていった部分もありますか。
小川：はい、そうです。
ーーゲームエンジンのほかに、大変だったことはありましたか？
小川：UnrealはまだAR関連の機能が少ないんです。たとえばUnityだったら簡単にできる影の描画も難しくて、それを調整する必要はありましたね。
ーーゲーム領域はすごく強いけれども、ARコンテンツはそこまで事例がなくて、そこをBASSDRUMさんやXR SQUADさんがナレッジ化していると。デモ映像ができるまでに、どれくらいの時間がかかるんですか？
小川：ビジュアル表現側の作業はほとんど私が行ったんですが、制作は1ヶ月かかってないぐらいですね。キャラクターモデリングから、UnrealEngineにモデルをインポートして合成するまでの処理がそれくらいで、同時並行で作っていたTouchDesignerのミドルウェア開発も、1ヶ月かかってないくらいで。2〜3人のリソースで、割と短いスケジュールで作りました。
ーーすごい！ 信じられないくらいの早さですね。
小川：XR SQUADは、ビジュアル制作から機材の調達まで一気通貫で全部やるんですが、今回設けられた制作期間が短期間だったので、キャラクターモデリングにも、Character Creator 3という、いい感じにバーチャルにキャラクターを作れるソフトを使いました。ただ、デフォルトだとおもしろくないので自分でデザインを加えたりもして、短期間でどこまでやれるかの検証も兼ねていましたね。
ーーなるほど。今回は新しいものを取り入れる試みだったんですね。
小川：個人的には新しいものだらけでした。キャラクターソフトも、服のシミュレーションソフトもそうですし、あとUnreal内でTouchDesignerのファイルを読み込み、直接データのやり取りができるTouchEngine APIを使ってみたり。まだ世の中であまり使われていない技術も盛り込みました。
ーー演出や見せ方のところで、見る側が1番変化を感じやすい部分はどこですか？
小川：本来これはARライブが発生した場合を想定して作ったもので、そのデモという感じなんですが、ぱっと見ではプリレンダリングかリアルタイムかわからない部分はあると思います。とりあえず今回は第1弾という位置づけです。
ーーなるほど。小川さんは、バーチャルヒューマン領域のどういった部分に可能性を感じているのでしょうか？
小川：バーチャルヒューマンやVTuberには、もう1人の自分になれるというポジティブな側面があるからですね。技術が進むにつれて、自分のなりたい姿が多様化されると思うんです。私がもし別人格を作るとしたら、2Dよりもリアルな、自分に似たものを作りたいんですが、同じように思っている人って絶対いるだろうし、そんな世界が来たらいいな、というバーチャルに対する期待はずっとあるんですよ。
ーー日本だと、アニメーション先行的な事例が多いですが、海外はもう少しフォトリアルなものが主流ですよね。そのあたりのギャップをどういうふうに見てらっしゃいますか？
小川：私も全然アニメが好きなので、どちらがいい・悪いということではないと思います。一概に二つに分けられないし、海外のバーチャルものはほとんど3D表現になっていて、より親和性が高いと思います。私自身はアメリカのCodeMikoさんや韓国のAPOKIさんなど、海外のバーチャルタレントさんの動画をよく見ています。
ーー今後Unreal Engine 5がリリースされると、できることの幅が広がると思いますが、そのあたりの可能性をどう感じていらっしゃいますか？
小川：Unreal Engine 5が出てくると、より高負荷な表現ができるようになるので、今までよりもさらにリアルとバーチャルの境目がわからなくなると思います。そうなったら、現実としてある裏の背景と、ARのCGがわからなくなるようにしつつ、パーティクルが飛んだりとか、非現実なものをアクセントに加えるような演出はやってみたいですね。今ARライブをやってると、合成がうまくいきすぎてARかVRかわからないことが結構あるので、もうひとひねりしたいです。
