相づちや割り込みなど自然な会話が可能なAI登場 Shizuku AIが日本語対応の全二重対話モデル『Shizuku-Duplex』を発表

日本語Full-Duplexモデル『Shizuku-Duplex』発表

 Shizuku AIは、日本語に最適化されたFull-Duplex(全二重)対話モデル『Shizuku-Duplex』を開発したと発表した。OpenAIの「GPT-Live」に次ぐ、日本語で高度な対話が可能な初のFull-Duplexモデルとして大きな注目を集めている。

Shizuku AIが日本語対応の全二重対話モデル『Shizuku-Duplex』を発表
相づちを打ちながら聞く様子

 従来の音声AIは、音声認識、LLM、音声合成を直列につなぐカスケード型が主流であった。この方式ではユーザーが話し終わるのを検知してから処理を始めるため、返答にタイムラグが生じ、会話中の相づちや割り込みができなかった。これに対し、Full-Duplex対話モデルは、相手の話を聞きながら相づちを打ち、話し終わりを待たずに返答を始められる。人間同士のようなテンポの良い自然な会話を実現する技術である。

Shizuku AIが日本語対応の全二重対話モデル『Shizuku-Duplex』を発表
カスケード型と Full-Duplex 型の比較

 『Shizuku-Duplex』は独自のアーキテクチャにより、80ms(1 tick)ごとのリアルタイム動作を可能にした。毎tickユーザーの音声を聞き取りながら、音声より少し先に発話内容をテキスト化する「ひとりごと(Inner Monologue)」の仕組みを取り入れ、いつ話し始め、いつ黙るかをAI自身が柔軟に判断する。

 さらに、リアルタイム会話を担うinteraction modelと、裏で複雑な処理を非同期に行うbackground modelの2層構造を採用した。Web検索などの高度な処理中も、interaction modelが受け答えを継続できるため、処理の遅延を感じさせない。長時間の対話に向けては、約5分ごとに対話内容を要約し、1 tick以内でコンテキストを再構築する仕組みも導入している。

Shizuku AIが日本語対応の全二重対話モデル『Shizuku-Duplex』を発表
モデルアーキテクチャ。1 tick(80 ms)ごとに入力を受け取り、音声・テキスト・Action を出力する。

 性能評価にあたり、Shizuku AIは独自の日本語版ベンチマークを構築した。モデルの出力音声を文字起こしし、AnthropicのLLM「Claude Opus 5.5」を用いて採点を行っている。その結果、『Shizuku-Duplex』はターンテイキング(話者の交代)に関する6つの指標中5つでトップの成績を記録した。話し終わりから返答までの時間(中央値)は0.57秒と、「GPT-Live」の0.53秒と同等の驚異的なスピードを叩き出している。

Shizuku AIが日本語対応の全二重対話モデル『Shizuku-Duplex』を発表
日本語 Full-Duplex ベンチマークの結果
Shizuku AIが日本語対応の全二重対話モデル『Shizuku-Duplex』を発表
関連性と自然さは Claude Opus 5.5 による採点。

 一方、Full-DuplexではないOpenAIの「GPT-Realtime」やGoogleの「Gemini Live」は、ユーザーが割り込むと会話が不自然に途切れてしまい、返答時間も遅れが目立ったという。応答内容の品質においても、「J-Moshi」や「LLM-jp-Moshi」といった既存の日本語対応モデルを大きく上回っている。

 Shizuku AIは今後、本技術を応用し、ユーザーの様子に合わせて感情豊かに応えるAIキャラクター「しずく」の開発を進める方針だ。

音声認識からLLMまで一体チューニング ElevenLabsの新Speech to Speechモデル『Eleven Realtime』登場

ElevenLabsが音声エージェント構築向けの新Speech to Speechモデル『Eleven Realtime』を発表…

関連記事

リアルサウンド厳選記事

インタビュー

もっとみる

Pick Up!

「ニュース」の最新記事

もっとみる

blueprint book store

もっとみる