「僕たちが作成するのはコンテンツではなく、システムとフォーマット」 KDDIとstuが“エンタメ×テックの最前線”で考えていること
「YouTubeを見るのと同じ仕組みでメタバースやバーチャルライブを楽しめるように」（高尾）
ーーコロナ禍の間に配信ライブが進化して、演出や映像効果などを含めて“ハイブリッドでしか体験できないもの”になっていったことで、受け手側から新しく求められるものになってきたということもあるのでしょうか？
水田：以前からバーチャルライブを経験してきた方々にとって、ファーストスクリーンがバーチャル側にあることは当たり前のこととなっています。一方でリアルで活動するアーティストのファンからすると、やっぱり一番はリアルのライブだと思います。
また、アーティストにとっても、ライブの現場に来てもらうことが一番望ましいので、コロナ禍の際、配信ライブはあくまで代替手段として考えられていると感じていました。しかし、僕たちのチームでは配信ライブをできるだけ代替手段ではなく、オリジナルな楽しみ方を提供することを目指し、メンバー全員で取り組んできました。これが今回の取り組みの背景となっています。
古屋さんが言われたように、今回のチャレンジで最初に定義したのは、映像視聴体験ではなく、その「ライブ感を経験する」という体験を提供することです。そこを目標に体験設計を行いました。くわえて、BE:FIRSTさんの「Boom Boom Back PLAYGROUND remix」については、MVや生ライブなど様々なコンテンツフォーマットが存在する中で、3Dデジタル体験がアーティストの新しいコンテンツフォーマットのひとつであり、「Boom Boom Back」という楽曲を3D体験にリミックスしたという意味で “リミックス”という名称を使用しました。
この点に関しては、アーティストや音楽業界の方々に向けて、今回の取り組みが単にイベントを開催したということだけでなく、新しい体験フォーマットを創出するという僕たちのチャレンジであるという意味も込めて、このような名称を採用してコミュニケーションすることを考えました。
ーー「Boom Boom Back PLAYGROUND remix」では、「イマーシブライブ」体験と「デジタルツインライブ」体験が提供されました。ふたつの体験を提供することになった経緯を教えてもらえますか？
水田：イマーシブライブ体験は、視聴者が主観でその世界に入り込むものであり、誰にも邪魔されずに「自分だけの視点」として好きなカメラアングルを楽しめる点に価値があります。一方、デジタルツインライブ体験は、先ほどご説明した通り、視聴体験を単なる視聴から経験へと置き換えるためのチャレンジとなっています。
古屋：今回のαUの試みは、非常に大きな実験であり、これ自体が最終地点ということではなく、ここからさらにさまざまな可能性が生まれるのではないかと感じています。とくに、「Boom Boom Back PLAYGROUND remix」では、多くの実験を全方位的なアプローチで行いました。テクニカルやクリエイティブ面だけでなく、運用面でも試行錯誤が必要で、バーチャルライブやメタバースでの新しい体験について、主観的なものか客観的なものかなど、様々なことを学びました。
そういったチャレンジとして取り組んでいる部分もあり、今回参加者に対しておこなったアンケートを通じて多くのフィードバックを得たことで、イマーシブライブとデジタルツインライブの受け取り方の傾向も把握できました。この結果から、次の取り組みのアイデアが生まれると思うので、ふたつの体験を提供したことには戦略的な価値があると考えています。
水田：KDDIとしても何か明確な答えがあったわけではなく、初めてのパフォーマンスとして世の中に出した状態でした。その意味では「我々がいま想像できて実現ができる楽しみ方」として提案させていただいているのですが、古屋さんがおっしゃられたことはまさに今回僕らが学ばせてもらったことですね。
ーー「Boom Boom Back PLAYGROUND remix」では、誰もがどこからでも端末のスペックを気にせずにメタバースやバーチャルライブを楽しめる"リアルタイムクラウドレンダリング技術"が活用されているそうですが、これはどういった技術なのでしょうか？
高尾：これまではアプリをダウンロードしたスマートフォンの上でソフトウェアが動いて、3DCGを端末が頑張って計算し、画面に表示するという方法が主流でしたが、今回開発したリアルタイムクラウドレンダリング技術は、実行するソフトウェアを端末ではなくサーバー側に置いて実行、ユーザーには出力後の映像だけを返してくるというものです。
つまり、YouTubeを見ているのと同じ仕組みで、スマートフォン的には映像を再生しているだけという形になります。操作や動きの情報はサーバーを経由し、映像として返ってくる構造になっていることで、スマートフォンのCPUが熱くなることはありませんし、バッテリーの消費も少なくて済みます。
ーーどのようなことがきっかけでこの技術を活用することを思いついたのでしょうか？
高尾：VRヘッドセットでコンテンツを作っているときは、実行するものがPCに限定されていたこともあって、作り手側はかなりパフォーマンスが高いものでも自由に作ることができました。しかし、それがモバイル端末になったことでこれまでのやり方が難しくなってしまい「何もできない感じにだんだんなってきたな」と思っていたタイミングで、映像表現としてのバーチャルライブが登場することになりました。
そういったものは映像に落とし込むだけなので、何でもできてしまうのですが、逆にCGが登場したばかりの頃の映画と同じというか、やっぱり迫力にかけるところもあって、作り手としてもだんだん映像表現に限界を感じるようになっていたんです。そんなときに「リアルタイムクラウドレンダリング技術があれば、高いパフォーマンスの映像表現をいろいろな人に届けることができて、かつ3DCG空間を楽しめるようになる」と思うようになったことが、この技術を開発した経緯です。
水田：この技術の仕組みに関しては、すでにオンラインゲームなどの世界では取り入れられています。ただ、実際にスマートフォンのブラウザで実現した時にどんな仕上がりになるかわからないところもあったので、1年半くらい前から5Gに期待して操作信号の遅延や操作するときにストレスが溜まらないかどうかを評価する実験自体は行っていました。
高尾：ゲームの場合、やはり操作の遅延が非常に大きな問題として残るのですが、視聴体験ということであれば、全然気にならなかったんですね。なので今回、この技術の活用を提案させていただきました。
水田：通信の話で言えば、5Gの通信エリアが広がっていくことで今回のような体験が日本全国でできるようになっていきます。今回の取り組みは「いかにたくさんの人に同じ体験をしてもらうか」ということが重要ですので、多くの方が持たれているスマートフォンで動作する必要があります。でも、そうすればするほど、配信するコンテンツの映像品質を下げなければいけないなど色々な制約が出てきてしまいます。なので、今回はそれに対してどれだけ抗うことができるか、という戦いでもありました。
通信会社としてはインフラ企業として広く体験できる環境作りが大事ですし、5Gがあったからこそ実現した部分も大きい。今回ユーザーの方々が問題なくアクセスできたかどうかや、何かトラブルがなかったかといったことのベンチマークをとっています。一部では接続ができなくなってしまった方もおられましたが、逆にそうしたケースを最小限に抑えるためにどうすべきかということをものすごく学ばせてもらいました。次回以降、このこともちゃんと反映した上でみなさんに届けられるインフラを構築できるようにしていきたいです。
ーー「Boom Boom Back PLAYGROUND remix」は、"技術とクリエイティブの相互補完によってバーチャルを活用したエンターテインメントの可能性を広げる試み”ということも謳われていますが、この取り組みが業界にどのようなインパクトを与えると予想していますか？
古屋：今回、私はstuのクリエイティブチームとして、舞台演出やストーリー設計を考える演出家として参加しました。ユーザー目線で面白い体験を作るために、エンジニアチームと緻密なディスカッションをおこないながら、リアルタイムクラウドレンダリングをはじめとした技術的な制約や実現可能なことを踏まえつつ、“やりたいこと発想” で内容を決めていくことができました。技術的な知見に明るくないアーティストやクリエイターが今回の私のようなポジションに立って、より自由な発想でメタバース空間を活用しものづくりに挑む姿が想像できました。技術的資産の間口が幅広いクリエイターに開かれたこと。その実証ができたことが、今回の取り組みで最も革命的なことだと思います。
やっぱりどんな発想をしたとしても、技術的に100%実現できない場合もありますし、技術的なことを理解していないと、その60%の形で世の中に出すことになるかもしれません。でも、エンジニアチームとのコミュニケーションを通じて、さまざまなジャンルのクリエイターがやりたいことを実現できる環境が整い始めているということを実感しました。
ーーそうした柔軟性に関しては、stuがこれまでにホワイトレーベルのメタバースプラットフォーム「Remote Studio」の開発を進めてきた経験も影響を与えているのでしょうか？
高尾：そうですね。僕たちの開発モットーは、これまでモバイル端末で制限されてきたことを克服することでした。実際にモバイル端末でバーチャル空間を作っていた時には、非常に制限が多く、クリエイティブ担当の古屋さんに対して、「これは難しい」と言わざるを得ない状況でした。しかし、リアルタイムクラウドレンダリングの場合は、クラウドレベルで全員が同じ環境で実行されるため、各端末でのチェック作業が不要になります。そのため、古屋さんにも「これだったらいける」と言いやすくなるなど、アイデアが実現できる可能性が高くなりました。この技術によって、私たちのエンジニアリング面でのクリエイティブ性も引き出されていると思いますし、そこが非常に楽しかったです。
古屋：「こうだったらいいのにな」「今後これはあると便利かもな」というユーザーファーストの発想から実装に進んだものが多かったですよね。たとえば、ユーザビリティとして「視点固定すると親切だから採用しよう」とか。開発項目が大量にある中で優先順位を決めて実装していかなければならないのですが将来的に実用的なサービスとして育てていける可能性があるアイデアを優先的に実装していきました。「やりたい目線」と「できる・できない目線」ふたつの視点で常に考えていました。
水田：クリエイティブとエンジニアリングの相互作用に関しては、個人的にはまさに狙っていた部分ですね。今回はエンターテインメントのコンテンツとシステムを切り離して考えるという発想そのものであり、長く使えるものがシステムとして蓄積されていくからこそ、次に同じことをやろうとしたときは開発期間もコストも下がっていきます。
今回、最初に古屋さんとコンセプトをまとめた際に、僕たちが作成するのは「コンテンツではなく、システムとフォーマット」だと定義しました。僕自身はアーティスト演出の中身には関わらず“アーティストの良さを活かすどのような舞台が作れるか”を考えて、多くの人に使ってもらい、使われるほど全員にメリットがあるようなシステムを作りたいと思っていました。
アーティスト全員が技術に詳しいわけではない中で、「あのライブでやっていたこんなことをやりたい」という意見が出てきたとき、システムを持っていることが選ばれる理由になるのではないかという長い目で見た取り組みになっています。今回の技術やシステムが“良い意味でのインパクト”になることを願っています。アーティストやクリエイターがやりたいことを容易に実現でき、グローバルに展開できる魅力を作ることが重要だと考えています。
古屋：今回は、ライブ体験の設計としても実験的な試みをおこないました。たとえば、リアルなライブでは、本番だけでなく会場に到着するまでの時間も体験の一部となっていますよね。そこで今回、開演の20分前にバーチャル会場に入場して過ごせる「客入れの時間」をつくり、そこでしか体験できないコンテンツを仕込んでみました。BE:FIRSTメンバーの等身大3Dモデルを会場内のさまざまな場所に隠し、「メンバーたちが待ち合わせしているから探してみよう！」という遊びを仕掛けてみたり、MVの世界観と連動したフォトスポットや小ネタを用意してみたりしました。ファンのみなさんから頂いたアンケートやTwitterの反応を見ていると、この試みはファンサービスとしてもしっかり機能していたように思います。
アンケートの中で、「握手会や物販をおこなってほしい」といったリクエストもありました。そういった要望がファンやアーティストから出てくることで、新たなファンサービスやマネタイズの枠組みが生まれる可能性があります。その意味で、今回の取り組みはもはや「リアルライブの上位概念」というより、まったく新しいものになっているかもしれません。
水田：こうやってみなさまの声を聞くことができて、なおかつそれを反映して実装したものが恒久的に使えるようになると、コストを抑えるだけでなく、あとの時間をよりクリエイティブに使えるようになり、より多くの面白いコンテンツが生まれるようになると思います。
