キズナアイ、ピーナッツくん、KEIJUの事例から解説　バーチャルライブ制作における「Unity」と「Unreal Engine」の違いって？

生きている人間を3D空間に配置する「ボリュメトリック」技術

ーーKEIJU（KANDYTOWN）のXRライブ『ReVers3:x』では、ボリュメトリックスキャンを活用したライブを制作していますね。これはここまでお聞きしたXRライブともまた違う仕組みなのでしょうか。

ayafuji：はい。こちらもいつものXRチームでやりました。ボリュメトリック技術は専用の撮影スタジオを使って、人の姿や位置、動きをまるごと3Dデータ化する技術で、立体スキャンのようなイメージを持ってもらうとわかりやすいと思います。これを応用すれば3次元の人が、そのままの形で3D空間の中に入れるんです。

今回のライブで使用したSonyさんの専用スタジオでは、3Dの動画が撮れるのが大きな特徴となっています。一般的な一眼レフがいっぱい並んでいて、各方向から写真を取り、3Dプリンターとしてプリントアウトしてくれるサービスがあると思うんですけど、これだと1フレームしか撮れない。それを200台超のカメラを置いて、3Dデータとして構築出来るのが Sonyさんのボリュメトリックスタジオです。

ここで撮ったデータは3次元なので、カメラワークの制限がないんです。2Dでやると、撮ったら撮ったでそこの画角から動かせなかったり、カメラの位置が制限されたりしてしまう。ボリュメトリックだと撮影後に、カメラワークや演出内容を試行錯誤できるので、表現の幅が広がります。

ーーどこから制作に着手したのかお教えください。

ayafuji：制作としては、まずUnreal Engine上でボリュメトリックが動くのかをチェックするところから始めました。ただ、ボリュメトリックだと表面の質感を司るテクスチャと形を司るメッシュが、フレーム単位で合っていないときちんと見えないので、両方の同期が必要になります。

ーー実際にボリュメトリック技術を活用したライブ演出を手掛けてみて、いかがでしたか？

ayafuji：開発としても、新しいデータフォーマットを使うのはすごくチャレンジングなことです。バーチャルアーティストのライブだと、ちゃんとボーンが入っているフォーマットだったり、普段のXRライブだとカメラで撮ったアーティストの素材を板ポリにしたフォーマットだったり、それぞれデータの扱い方に知見も持っているわけですが、今回の場合は3Dでしかもボーンが入ってないリアルタイムに変形するような、メッシュのような特殊なデータ形式でした。今までやったことのないフォーマットだったので、どう動かしていけばいいか試行錯誤しながら取り組んでいきましたね。

　メッシュを形成している頂点の集まりがリアルタイムに動いていく、というものをアニメーションのファイルとして一式いただけるので、動かせる要素は多分にあるんですが……なんにせよ新しい形式だったので、どうすればいいのか考えるのはかなり工夫が必要なんです。しかし、データのインポートが完了して作業の流れが決まってしまえば、あらゆる角度で3Dデータを撮影しに行けるので、自由度は通常のやり方の何倍もありました。

（後編へ続く）