バーチャルYouTuberは音楽を“見せられるか”　「ときのそら」の新たな挑戦と可能性

　バーチャルYouTuberがぶつかる制約の壁は大きい。ピアノが弾けても、ピアノを弾く姿を見せることは難しいのだ。

　昨今のバーチャルYouTuberブームの中で、彼らはいかに彼ら自身のプレゼンスを強くするかに悩まされている。「人間的に自然」なものをバーチャルという100%人工的なステージで表現する為の技術は現在も進化しており、その片鱗は「音楽」においても見えてきた。それはバーチャルYouTuberを楽器の演奏者として立たせることであった。

　3Dモデルの存在である彼らが、楽器を演奏している姿を見たことがあるだろうか。筆者がこれまでに見てきたのは、「ピアノを弾いているが手元を写していない」ものだったり、「頭以外全部実写」だったりといった、誤魔化しや突き抜けた発想でカバーしているものたちである。仕方ないことだ。楽器演奏において指の細かい動きは必要不可欠だが、それを3Dのトラッキングで表現するのは不可能であると言わざるを得ないのだ。

　しかしながらこれを独自の発想と技術で表現しようという試みがある。まずはこちらの動画を見て欲しい。

　これはニコニコ生放送にて配信された、バーチャルYouTuber「ときのそら」のライブである。11分〜あたりからときのそらがピアノを弾いている。彼女の指に合わせて、ピアノの鍵盤が押し込まれているのが確認できるはずだ。まるで本当にバーチャル空間に出現したバーチャル・ピアノをバーチャルYouTuberが演奏しているかのような光景である。いや、実際「ほぼ」そうであると言ってもいいかもしれない。

　これはドワンゴによって独自開発された「運指再現技術」というものが使われている。要するにMIDI情報を認識して3Dモデルを同期させているのだが、もう少し噛み砕いた説明をしていきたいと思う。

　まず、MIDI(ミディ)とは何か。ザックリ言ってしまえば「楽器を鳴らす上で必要な音の情報」である。例えば電子ピアノなどは、鍵盤という入力デバイスを用いて「音の高さ(どの鍵盤か)」「音の長さ(鍵盤を押してから離すまでの時間)」「音の大きさ(鍵盤を叩く強さ)」などを電子ピアノに入力し、それを認識した電子ピアノがその通りにスピーカーから音を鳴らす、という仕組みで動いている。

　ときのそらの配信で使われた「運指再現技術」は、このMIDI情報に合わせて3Dキャラクターとバーチャル・ピアノに動きがつくようになっている。プロセスとしては、まず「ときのそら」本人が鍵盤を叩く→彼女が入力した情報がMIDIとして「運指再現技術」のソフトウェアに送り込まれる→叩かれた鍵盤に合わせてバーチャル・ピアノの鍵盤も押し込まれ、「ときのそら（3Dモデル）」の指はそれに対応していい感じに動く、という形である（と思われる）。

　実際この技術がときのそらのピアニストとしてのプレゼンスを完璧に保証しているかと言われるとそうではない。鍵盤と手の間に空間があるし、運指もよく見れば不自然な箇所(無理な打鍵)が少なからずある。しかしこの技術のおそるべくはこれらが全てリアルタイムに行われ、配信での「生演奏」を可能にしたことだ。

　例えば実際に指を10本ともトラッキングして動かせるようにしたとしても、バーチャル・ピアノ側はその動きに完璧に対応することはできないだろう。なにより指にそんな機材をつけていてはプレイヤーはそもそもまともな演奏ができない。「MIDI情報をピアノとキャラクターに同期させる」という発想は実に合理的である。調整が進んでいけば限りなくリアルなピアノ演奏が表現できるようになるだろう。

　こうやって書いてみればバーチャルライブの未来は明るい……ように見えるが、残念ながらこの技術でこれだけのプレゼンスを保てるのは現状「ピアノ」という楽器だけだと思われる。理由はまさにMIDIという情報規格を利用していることにある。