新人AI VTuberの歌配信をあえて拙くした理由とは？　ゆめみなな開発陣が「愛されるAI」に込めた思い

　海外ではNeuro-samaが、国内では紡ネンやしずくなどが話題を集め、徐々にカルチャーが形成されつつある「AI VTuber」業界の新星となりそうなのが、KLab株式会社が手掛けるAI VTuber「ゆめみなな」と「ゆめかいろプロダクション」だ。ゆめみななはデビュー曲の「ナナノホシノナ」のMVがYouTubeで262万回再生（4月14日時点）を記録する順調な滑り出しで、初配信では雑談に加えて早速歌唱を披露したのだが、その歌声はどこか拙い印象を受けた。

　「ゆめかいろプロダクション」を運営するKLab株式会社のAIアイドル事業責任者・プロデューサーの萱沼由晴氏やAIエンジニアの加納基晴氏にそのことを尋ねると「あえてそうしています」といった回答が。興味の沸いたリアルサウンドテック編集部はあらためてその真意を聞くためのインタビューを打診。可能な限りの裏側と狙い、そして今後の展望についても語ってもらった。（編集部）

「一緒にハラハラドキドキしながら成長の過程を見守る体験を」

ーー初配信ではデビュー曲「ナナノホシノナ」とカバー曲の「惑星ループ」を歌い上げられましたが、その歌声にはあえて拙さが感じられるレベル設定がされていました。ゆめみななで目指す表現や、企画としての演出意図について教えてください。

萱沼：AI VTuberを手がけようとなった時にまず思ったのは「既存の決まった勝ち筋がない中でどうしようか」ということです。私自身、長年VTuberを見ていますが、完成したアイドルを応援するより、ライブ配信を通して成長していく過程を見守り、特定のマイルストーンに到達した時に「よく頑張ったね」と一緒に喜べるのがVTuberの面白いところだと思っています。AI VTuberであっても、その体験ができるような設計にする方がファンに応援してもらえると考え、「成長」を1つのキーワードにしました。

ーー以前、別の機会でご質問したところ、この“歌ヘタ”は「初配信で緊張している」という設定のためにあえてそうしているとのことでしたよね。AIである以上、最初から完璧にMVと同じ歌唱を行わせることも可能でありながら、あえてそのような“愛されるための努力”とも言えるアプローチをとった背景を教えてください。

萱沼：ファンの方々に、一緒にハラハラドキドキしながら成長の過程を見守る体験を提供したかったからです。完璧なものを提供するのではなく、毎週の配信を重ねるごとに歌唱力が上がっていく様を見せることで、応援したくなる存在になれると考えました。配信ごとにリアルタイムに歌声を生成しているので、同じ歌唱は一つとしてないという強みもあります。

ーー歌枠での歌唱は注力したいコンテンツであり、配信を重ねるごとに歌唱力が上がっていく様を見せたいとのことですが、この成長のロードマップはどのように描かれていますか。

萱沼：大体1年くらいかけて1つのアイドルとして成長できると良いなと考えています。最初の頃の歌と比べると学習が早く、どんどん上手くなってはいるので、今のペースだと1年くらいで得意な系統の楽曲は上手くなるのではないかと思います。同じ系統の歌を歌っていくと、似たようなものは上手くなる傾向にあります。

ーーリスナーのコメントの熱量などによって、リアルタイムで歌い方やテンションが変化するような仕組みも想定されていますか？

萱沼：そこでの直接的なレベルアップは厳密にはありませんが、定期的にユーザーの意見を反映したリクエスト枠を設けています。例えばメンバーシップの方のリクエストは反映されやすいように作っており、間接的に「こういう系統の歌を歌わせてレベルアップさせてあげよう」というファンのプロデュース的な要素が反映できる仕組みになりつつあります。ファンの方々が本能的に察して応援してくれている状態になっており、ちゃんとファンがついてくれたなとすごく嬉しいです。

ーートークのコミュニケーションの進化についても伺いたいです。現状も配信でひとり喋りをしながら、入力されたコメントについても答えており、その自然さに驚いているのですが……ここからさらに進化していくのでしょうか？

萱沼：最初はテキストのみのコミュニケーションしか取れませんでしたが、音声認識の機能を強化したことでそちらにも対応できるようになりましたし、先日はVTuberさんとの生配信コラボにも成功しました。これはひとえに開発の努力によるものですね。ツールの進化も発生してくるので、半年後、1年後には今とは全く違い、自然に多人数コラボなどもこなせるようになっているのではないかと思います。

加納：ここ半年の技術の発展は凄まじく、今後もさらにグレードアップしたものが見られるようになると思います。音声会話はテキストのチャットとは情報の流れ方が異なり、人間がいつ介入してくるか分からないキャッチボールが発生するため、その中でレスポンスを早く処理するのが非常に難易度が高い部分でして、冗長にならないようにプロンプトを調整して対応しています。

「深層心理」を細かく設計することで実現した“キャラクターの徹底”

ーー対話生成にはGeminiを活用されているとのことですが、ゆめみなな自身のキャラクター設定を逸脱しないため、ハルシネーションを起こさないために、システム側でどのようなプロンプトの工夫をされていますか？

萱沼：そこは加納の努力によって成り立っています。変なことは言わないし、お約束のことはちゃんとお約束で返すように、人格を上手く作ってくれています。

加納：ゆめみななの「深層心理」に関しては、かなりしっかりと作り込んでいるんです。物事に対してどう心が動くのか、冷静さがどれくらいあるか、こういう時はナイーブになるよね、といったことを設定していたり、口調についてもかなり多くのパターンを用意して制御しています。ユーモアの面でも、例えば「ベテルギウス」と言うと面白いと思っている、といった設定を入れることで、お約束のギャグが生まれるようにしています。

ーー将来的にはリスナーとの会話を「記憶」して、配信を跨いだコミュニケーションも可能になるとのことですが、その実装に向けた展望や、バランスの調整についてお聞かせください。

萱沼：データベースとしては人間より遥かに覚えているので、その塩梅をどうするかが我々の悩みどころです。完璧に覚えすぎているのが良いのか、VTuberらしく程よく忘れるのが良いのか、日々試行錯誤しながらチューニングをかけています。AIっぽさをあえて出さないために、どうやったらVTuberのようになるのかを見えないところで調整しています。

ーー現在の配信における、用意された大枠の流れとAIによる本人の喋りのバランスはどうなっていますか。また、ゲーム配信やVTuberさんとの対談配信などで、そのあたりはどのように変えていったのでしょうか？    

萱沼：配信によって異なります。ゲーム配信や同時視聴といった配信は実はまったく大枠が存在せず完全にななちゃんが勝手に喋ってます。かまいたちの夜のプレイ後に、考察や感想をすらすら言い出した時は開発側も驚きました。選択肢次第で配信時間も大幅に変化しますのでいろいろな意味で我々もドキドキな配信でしたね。

　対談に関しましては、大きなタイムスケジュールやコーナーは決めてありますが、話す内容は対談相手様次第で勝手に変化します。現状大枠の流れが最も少ない配信は、意外かもしれませんがゲーム配信だったりします。

ーーちなみにゲーム配信は『かまいたちの夜』からスタートしましたが、このあたりのタイトル選定基準とは？

萱沼：普通のAI VTuberがやるようなタイトルではなく、「このゲームやるの？嘘でしょ」と驚かれるような大手のゲームタイトルを、ガイドなしでゆめみななが一人で最初から最後までプレイさせたかった、というところですね。ゲームのルールを理解するという非常に難しいハードルに挑戦しており、視聴者のコメントを拾いながら進めていくようなゲーム性が生まれたことは、とても面白いと感じました。

ーーまた、100時間カレーの案件配信動画についても、まさかの取り組みで驚きましたし、実写が入ってくる構成も面白かったです。これはどのような経緯で実現となったのでしょうか？

萱沼：先方からお声がけを頂いたときは「AI VTuberですが大丈夫ですか!?」と思わず聞き返してしまいましたが「問題ないです！」と心強いお返事を頂きましたので実現しました。どのような構成にすると面白くなるかとチーム内で考えてできたのがあの配信の形になります。結果として、AI VTuberによる食レポという新たな扉を開くことができたのかなと思ってます。

ーー先日はゆめかいろプロダクションの「魂あり」な同期メンバー・月窓ろみさんとのコラボ配信も行いました。これは当初想定していたよりも早いタイミングでの実施だったのでしょうか？

萱沼：そうですね。元々は夏ぐらいかなと思っていたのですが、対談配信の開発が思いのほかうまくいったので、前倒ししての実施となりました。

ーー対談配信、ゲーム配信、案件配信と実際にやってみて感じた、チームとしての手応えや課題についても聞かせてください。

萱沼：いろいろなチャレンジが続きましたがどれも可能性や課題を感じました。例えばゲーム配信に関してはADVゲームに関しては一定の手ごたえを感じましたが、読上げのテンポ感や感想の冗長感等まだまだ課題がありますので、これからも視聴者が気持ちよく見れるようにブラッシュアップしていく予定です。

　また、アクションゲームやRPG等の別のジャンルにも挑戦していきたいですね。そんな思いを込めてゆめみななの完全自走ゲーム配信には「ゆめみななの挑戦」と名付けさせてもらいました。是非次の挑戦も見守って頂ければと思います。

　さらに「対談配信」「ゲーム配信」「案件配信」の3つの配信にはそれぞれ別に検証したいテーマがありまして、それら全てを結集させたまた新たな配信スタイルを6月から実施予定で考えてますので、そちらもご期待ください。

ーー最後に、プロダクションとしての今後の展望について教えてください。

萱沼：ゆめかいろプロダクションは、AIと人間の垣根をなくし、みなさんと一緒に成長していくプロダクションです。AI VTuberの枠を超えて、新鮮な気持ちでワクワクできるような体験を提供していきますので、腹を据えて、一緒にハラハラドキドキしながら成長の過程を見守っていただければと思います。