11月1日から11月4日の4日間、東京・日本科学未来館を中心に音楽とテクノロジーを駆使した世界規模の祭典『MUTEK.JP 2018』がMUTEK JapanとKDDIにより共同開催された。

　『MUTEK』は、カナダ・モントリオール発のエレクトロニックミュージックやデジタルアートの開発と普及を目的とした国際的な芸術祭である。日本では今年で3回目となる今回のイベントでは、世界各国から総勢70組以上のアーティストが参加した過去最大規模のイベントとなった。参加アーティストはコーネリアス、ライゾマティクスリサーチの真鍋大度と堀井哲史、デトロイトテクノの巨匠ジェフ・ミルズ、エレクトロ・ノイズの鬼才ベン・フロスト、トム・ヨークの専属ビジュアルアーティストであるタリク・バリとポール・ジェバナサムなど、豪華なラインアップで実施された。

　また、海外版初音ミクのアートプロジェクト「Still Be Here ft. Hatsune Miku」の日本初公開、ノノタクや梅田宏明によるライブパフォーマンス、エイベックスのクリエイティヴ・レーベル〈2nd Function〉やKDDI総合研究所の体験型展示、シンポジウムなど、テクノロジーと音楽を組み合わせたコンテンツが盛りだくさんだった。

　今回は、筆者が11月2日に日本科学未来館にて体験した『Block Universe #001』 by da Vinci ers、そして二脚の椅子を用いたARコンテンツ『I\I I I\I IE feat. FAMM’IN』を中心にレポートする。

自由視点VR・音のVRを組み合わせた世界初の作品『Block Universe #001』

　『Block Universe #001』はMUTEKにおいて、自由視点VR・音のVRを組み合わせた世界初の作品を披露した。da Vinci ersとは今回の取り組みを通じて発足したKDDIと著名アーティスト陣によるクリエイティブ集団である。筆者は日本科学未来館7階スタジオの展示を体験した。

自由視点・音のVRによるインスタレーション

　最初の展示ではスマートグラスとサラウンドヘッドホンを身につけて、黄金螺旋状の手すりに沿って歩いた。壁の近くに一つの椅子が置かれていて、グラスを通して見るとそこには絵画の額があり、その額の中には特殊メイクで再現されたモナ・リザが立体的な姿で座っている。手すりをたどっていくと、音響とモナ・リザの姿勢や表情が歩く動きに合わせて変化する。

テレプレゼンス配信体験

　
　次にテレプレゼンス配信について解説してもらった。これは2名で体験する展示であり、一人はモナ・リザの特殊フェイスマスクをかぶり、もう一人がスマートグラスをつけて先ほどの黄金螺旋状の手すりに沿って歩く。つまり、一人は「モナ・リザ」になりきり、もう一人がリアルタイムで3D配信された「モナ・リザ」の映像をスマートグラスを通じて見ることができる展示だ。

技術仕様

　これらの展示は実際どのようにして実現されているのだろうか。場内のスタッフに聞いてみたところ、自由視点によるインスタレーションではスマートグラスの位置・向き・傾きをリアルタイムでPCに送信し、その情報に基づいて、位置と視点に合わせてモナ・リザの映像と楽曲の書き出しを行い、グラスに配信する。これらを遅延なくフレーム毎に処理・配信することでVR作品を実現しているそうだ。

　また、テレプレゼンス配信体験では8台のカメラで撮影したデータをPCに送信し、そのデータをもとにスマートグラスから取得した位置と視点にあわせた映像を合成してフレーム毎にグラスに配信し、自由視点映像のリアルタイム配信を実現することで椅子にモナ・リザが座っているようにみえる。音声は事前にサウンドコンテンツを収録・作成し、それをスマートグラスを身につけている人の立っている位置や向きに合わせてステレオでその場の音を合成しサラウンドヘッドホンに出力している。

　なお、今回の展示では実際の空間にモナ・リザがいるように見せるMRが狙いだったので、視界をすべてカバーするVRゴーグルではなく、あえて周りの景色が見えるスマートグラスにしたとのことだ。

テレプレゼンス配信技術でSF世界が実現可能に？

　テレプレゼンス配信が遠隔でより高度に配信可能となると、これまでSF作品の中でしかなかった出来事が現実のものとなりそうだ。『劇場版ポケットモンスター ミュウツーの逆襲』の中で、ミューツーからサトシ宛に届くジョーイさんのホログラムの招待状や、『チャーリーとチョコレート工場』の「チョコレートを転送できるテレビ」も近い将来に実現できるかもしれない。