米津玄師のARライブを成功に導いた“テクノロジーとクリエイティブ”　制作チームに聞くプロジェクトの舞台裏

立体音響に振動連動…技術精度の向上でエンタメ体験はさらにおもしろくなる？

ーー今回のプロジェクトで、特にこだわった部分があれば教えてください。

登山：今回、米津さんに自然体でライブのパフォーマンスをしてもらうために、無駄な負担を最小限に抑えるため、マーカーレスモーションキャプチャー技術を採用しました。あとは、キャラクターがどう動くかイメージしてもらうために、Unityを使ってリアルタイムにキャラクターの動きが確認できるプレビューシステムを用意しました。こう動くとキャラクターにこう反映される、とイメージしてもらいながら撮影できたのはすごく良かったですね。実際に周りのビルのガイド模型みたいなものを作って、お客さんがいる位置を示すガイドも作りました。それによって、お客さんの方向に顔を近づけたり、目線を送ったりと、ARならではのファンサービスも実現しました。そのシーンになると、映像を見ているお客さんたちからと歓声が上がったりして、うれしかったですね。

ーー演出面でいうと、いかがでしょうか？

衣袋：ARでの演出の中で工夫したのは、影の表現ですね。すべてのビジュアル演出、たとえば飛んでいる“がらくた”なども、建物や地面に対して影が落ちることで、リアリティが増すように作っています。

吉原：VPSの観点では、影がとても自然に表現されていることに驚きましたし、ソニーのVPSの精度の高さが下支えできた表現の一つだと思います。また、周囲の建物を上から見ることができるロケーションでVPSを使う利点を生かした演出として、架空の米津さんがオモカドに腰掛ける演出、オモカドを装飾する演出、ラフォーレ原宿から傘を取り出す演出など、建物の造形とからめた演出がいずれも印象的で、ソニーのVPSを最大限活用されていたと感じました。

　あと、ビジュアルエフェクトについて話すと、「さよーならまたいつか！」などで使われる“がらくた”はパーティクルの数がめちゃくちゃ多いので、CPUで処理すると60fpsを維持するのが難しいんです。なのでGPU上で当たり判定をする、特殊な処理をしています。

　もう一つ効果的だったのが、色の調整ですね。監督に映画でやるようなカラーコレクションを行ってもらいました。そうすることで、ARの風景とキャラクターとの一体感が生まれて、一気にブラッシュアップされたんです。

ーーARって現実の空間をそのまま表現して、そこに効果をレイヤードするものだと思っていたので、実風景と画面上で違う色味になっているというのは驚きました。ほかに工夫されたところはありますか？

高谷：僕のこだわりで言うと、今回のテーマである“がらくた”をどう表現するかですね。汚れてはいるけどどこか光っている、といった対比を狙って、最終的に今の表現に着地しました。

渡辺：やはり“がらくた”は、今回のARライブの重要なワードですね。「LOST CORNER」でも、米津さんが大事にしていた「壊れていても構いません」というコンセプトです。

ーー今回のプロジェクトを経て、次に挑戦してみたいことはありますか？

登山：挑戦というより改善したいポイントですが、ネットワーク周りでしょうか。今回はネットワークにいくつか制限がある中で、それぞれのiPadからVPSの通信と体験動画のアップロードを行いました。1回につき10名前後の体験を、10分間隔で進行できるよう、ネットワーク帯域に注意しながら何回もテストを行なって進めました。次回はもう少しスマートに構築したいと思います。

高山：個人的にチャレンジしたいこととしては、立体音響を活用することです。今回はスピーカーを同時に鳴らすことで表現しましたが、SoVeCは立体音響の技術を使った「音のXR体験」という新しいソリューションを市場導入しており、それを活用して、アーティストの動きに合わせて音も空間上で立体的な演出ができたら、もっと面白くなると思います。

衣袋：課題はたくさんありますが、一つ挑戦したかったことを挙げるとすれば、振動機能（バイブレーション）を使った演出ですね。iPadには振動機能がないので今回は難しかったですけど。演出と連動して端末が揺れるだけでもリアリティが増すので、今後取り入れてみたいです。

上川：将来的には、ボリュメトリックを使った表現に挑戦したいですね。まだARに活用するには重くて難しいですが、圧縮技術も進んでいるので、いずれは実現できると思います。今はまだ労力もコストもものすごくかかるので、もっとカジュアルに使えるようになって、ARやXRで表現できればおもしろいなと思いますし、やってみたいですね。

　また、別の視点ですが、ロケーションベースのARはその場でしかできない体験の価値が大事だと思いました。僕らはVPSを扱っていますから、そこにはすごくこだわりがあります。一方で、その体験を持ち帰って他の人とシェアしてもらったり、メディアで取り上げてもらうことで、二次的に拡散してより多くの人に見てもらえます。特定の場所でしか体験できない価値と、どこでも見られる・体験できる価値、両方のバランスを取りたいですね。

渡辺：「LOST CORNER AR LIVE in HARAKADO」は終了しましたが、9月13日から「LOST CORNER AR LIVE in UNIQLO」をユニクロの店舗で開催しています。ユニクロ店舗に掲出されている二次元バーコードをご自身のスマートフォンで読み込むと、ARライブの一部をお楽しみいただけます。特定の場所でのリッチな体験でありつつ、全国どこでもできると言う意味で、その両方を満たしていると思いますので、ぜひ試してみてください。

■プロジェクト概要
『LOST CORNER AR LIVE in HARAKADO』
プロデュース：REISSUE RECORDS
クリエイティブディレクション：SIX INC.
クリエイティブプロダクション：Whatever Co.