株式会社ドワンゴおよび株式会社バーチャルキャストは、電子楽器用の信号を判別してバーチャルキャラクターの手先の動きに反映する「運指再現技術」を独自開発し、公式生放送での運用に成功した。

　ドワンゴはこれまで“ネットとリアルの融合”をコンセプトに、バーチャルキャラクターを現実空間に出現・出演させる技術の開発に継続的に取り組んできた。先日は、バーチャルキャラクターをAR合成し、屋外など場所を問わずに出演することができる生放送を可能にしたAR撮影システムを開発。米・ロサンゼルスで開催された『E3』会場から「電脳少女シロ」による現地レポート生放送に初成功するなど、これまでの経験や知見を活用した新たなシステム・取り組みを提供している。

　今回開発した「運指再現技術」は、現実の環境で叩かれた鍵盤から出た MIDI(電子楽器用信号)データを認識し、その音の対象となるバーチャルキャラクターの指の動きをほぼリアルタイムで反映させる技術だ。これによって、バーチャル空間での楽器演奏などにおいて、いままで不可能だったキャラクターの手先の動きを実際の人物の動きのように再現・反映することが可能となった。

　9月8日には本技術を初めて採用した番組として、バーチャルアイドル・ときのそらのニコニコ生放送デビュー1周年記念番組を放送。ときのそらがバーチャル空間に設置されたキーボードを演奏することに成功した。

　手元をフォローした映像では、鍵盤を叩く指1本ずつの動きが映像に反映されている。この技術により、キーボードなどに限らない楽器の演奏など、バーチャルキャラクターのより高度な表現を可能にした。

番組名:『ときのそら』デビュー1 周年 超おめでとう記念公式生放送 ~えーちゃんもいるしリサイタルもあるよ~
放送日時:2018年9月8日（土）
視聴 URL: http://live.nicovideo.jp/watch/lv314826144
※9月15日（土）23:59 までタイムシフト視聴が可能です。