5月30日から6月2日まで、NHK放送技術研究所にて「技研公開2024『技術で拓くメディアのシンカ』」が開催された。「メディア（媒体）」にまつわるさまざまな研究が紹介された本発表では、未来的なものから近い将来社会に実装されそうな技術まで興味深いものがいくつもあった。そこで、本稿では筆者が気になった研究のなかから、ボリュメトリックの制作環境、立体視やディフォーマブルディスプレイなどいくつかをピックアップして紹介したい。

あの番組も立体化？　ボリュメトリック撮影で「3D教育番組」が現実的に

　ARやVRを用いたデバイスを通じた視野の広い映像による没入感、視聴者への周辺空間への映像合成による実物感を表現するものを、イマーシブメディアと呼ぶ。こうした技術に関連する活用例として、未来の没入型教育番組がどのように進化するのかを示すべく、『体感！できるかな2030』が紹介された。モチーフとなった『できるかな』は、NHKが1990年まで放送していた教育番組である。

　番組の制作プロセスとしては、出演者を取り囲むようにカメラが配置されたボリュメトリックスタジオで撮影を行い、出演者の3Dモデルを作るところから始まる。これにより、どの位置からでも出演者の映像を制作できるようになる。『できるかな』といえば、児童に絵画や造形などの創作を教育する番組。視聴者は学習の際に、出演者が工作している様子を好きな位置から見られるため、分かりやすい。

　この研究発表では、合わせてボリュメトリック映像の制作支援技術も解説された。出演者の3Dモデル化のほか、質感表現まで取得できる「メタスタジオ」の研究開発を進めているとのことだ。高精度での3D化や質感の取得には多くのカメラを用いて1人づつ撮影する必要があり、さらに別撮りした共演者に合わせて演技しなければならないので、どうしても工数が増えてしまう。

　そこで「ボリュメトリックモニター」によって、事前に収録した共演者との合成映像をスタジオに投影するのだ。データ量が膨大でリアルタイムでの確認が難しかったところを、確認に必要なデータの選択と描画方法を改善したレンダラーを開発して乗り越えたという。出演者に当たる照明の条件などをリアルタイムで確認することもできるため、制作スタッフの負担軽減につながり、くわえてより自然な合成映像も制作できるようになった。

　こうした技術は、すでに民間でも運用されている「バーチャルスタジオ」の一環でもあるため、従来のクロマキーによる出演者と背景の合成や、背景を映したLEDウォールの前で出演者を撮影するアプローチに加わる形で、選択の幅を広げる技術になっていきそうだ。将来的に通信速度やデータ量の問題も解決するようであれば、例えばスポーツなど屋外でのライブ中継もリアルタイムで3Dモデル化、試合を好きな角度から応援する……なんてことも可能になりそうだ。