キヤノンと日本IBMは2021年7月2日、ボリュメトリックビデオ技術を活用した芸術・芸能分野の価値創出に向けて協業すると発表した。その第一弾として、公益社団法人宝生会監修の能楽「葵上」のボリュメトリック映像を公開している。

　ボリュメトリックビデオとは、空間や対象物を動きも含めて3Dデータとして撮影する技術のこと。例えばダンスをボリュメトリックビデオで撮影すれば、あらゆる視点からダンサーの動きを見ることができ、グリーンバック合成すればCG背景やエフェクトとも組み合わせることができる。

　今回の協業では、キヤノンが有する「ボリュメトリックビデオスタジオ-川崎」にて、100台以上の4Kカメラが能楽を演じている様子を撮影。撮影されたデータはリアルタイムに3DCG化され、バーチャル空間内に再現される。特設サイトにはメイキングも含めた映像が公開されているが、現実の能楽では不可能なエフェクトや背景表現など、ダイナミックな表現が随所に見られる。

　日本IBMはインフラや演算周りをサポート。並列計算専用サーバー「IBM Power System AC922」と、広帯域ストレージ「IBM Elastic Storage System」により、100台超のカメラで撮影したデータをリアルタイムに処理している。やり取りされるデータ量も膨大なものだろう。

　今回の協業では能楽という伝統芸能の価値創出にスポットが当たったが、同スタジオはCMやMV制作の実績も持っている。以下のAqours「DREAMY COLOR」のMVでは、3：35頃から実写で撮影した演者の動きに3DCGで背景やエフェクトを合成している。

　ばってん少女隊「OiSa Volmetric Video ver.」では、制作ドキュメンタリーも公開されている。演者の動きがデジタル上でどう見えているのかがわかる、興味深い映像だ。

　また、ボリュメトリックビデオはライブ配信にも応用されている。撮影から最速3秒で3DCGを生成できるため、アーティストはグリーンバックのスタジオでパフォーマンスしつつ、リスナーは3D合成されたライブ配信を見る、という図式だ。