92言語対応の吹き替えAIモデル「Dubbing v2」がAPI公開　感情・声質を維持したまま多言語化

　ElevenLabs（イレブンラボ）は8月6日、新しい吹き替えAIモデル「Dubbing v2」を「ElevenAPI」経由で提供開始したことを発表した。

　「Dubbing v2」は、UI版として5月28日から先行提供されていたモデル。今回のAPI公開により、開発者や企業が自社プロダクトやワークフローに吹き替え機能を直接組み込めるようになる。

　新しいDubbing APIでは、これまで生成と編集で異なるエンドポイントを使い分ける必要があったワークフローを統合。多言語吹き替えの作成からスクリプトの調整、セグメント単位の再生成までを単一のAPIから利用できる。エンタープライズ向けには、独自に用意したスクリプトや翻訳文を指定して吹き替えを生成する機能や、特定セグメントのみを修正・再生成する機能も提供される。

　モデル選択機能では、感情表現やニュアンスを重視する「Dubbing v2」に加え、コスト効率や大規模処理を重視する「Dubbing v1」を同じAPI内で「model_id」による切り替えで利用可能。素材音声を再生成する際は、元の素材尺の最大3倍までの無料枠が標準で用意される。

　「Dubbing v2」は、音声を音声へ直接変換する（audio-to-audio）アーキテクチャを採用したモデル。従来型の「音声認識→翻訳→音声合成（クローン音声）」というパイプライン方式と異なり、出力音声を入力音声に基づいて生成するため、オリジナルの感情表現やパフォーマンスのニュアンスをより忠実に反映できるという。

　今回のAPIリリースに伴い、モデル自体の機能向上も実施。オリジナル音声の感情やニュアンスをより自然に転写する再現力の向上、話者本人の声のクローンを用いたより自然な多言語翻訳、発話のタイミングが映像と自然に一致しやすい高い同期精度（映像側へのAIリップシンク加工は行わない）などが盛り込まれた。対応言語は日本語・韓国語を含む92言語で、BCP-47言語コードに対応することで、スペイン語（カスティーリャ語 vs ラテンアメリカ）やポルトガル語（ブラジル）などの地域ごとのニュアンスも正確に指定できる。BGMや効果音などの背景音・音楽のミックス（Full mix-in / Full mix-out）精度も高められており、複数話者が入り交じる複雑なシーンでもクリアな吹き替えを実現するとしている。

　イレブンラボは、クリエイター、メディア企業、エンタープライズなど、グローバルな視聴者に向けて高品質なローカライズコンテンツを届けたい層を主な対象としている。動画クリエイターやゲームスタジオによるキャラクターダイアログ・カットシーンのローカライズ、CPGブランドや旅行・宿泊業界による多言語マーケティング動画の制作、配信・メディア企業による映画やドラマなど長尺コンテンツの多地域展開などでの活用を想定している。

　映画・TV品質の吹き替えは従来、1分あたり数百ドル規模のコストがかかるとされているが、「Dubbing v2」はこうした高品質な吹き替えをより幅広い層に届けることを目指すという。

　対応92言語には日本語・韓国語が含まれており、アニメ・ゲーム・映像コンテンツなど日本発コンテンツの海外展開時の多言語吹き替えや、海外コンテンツの日本語吹き替えの両方向での活用が見込まれる。