ElevenLabsは、音声エージェント構築向けの新しいSpeech to Speechモデル群『Eleven Realtime』を発表した。自然な会話に最適化された「v1 Mini」と、複雑なタスクに対応する「v1 Max」の2モデルが用意され、同社の『ElevenAgents』およびRealtime APIを通じて利用できる。

　『Eleven Realtime』は、音声認識、ターンテイキング、LLM、音声合成をひとつのシステムとしてエンドツーエンドで調整した新クラスのモデルとされる。モデルを選択するだけで、各要素が統合された音声エージェントを構築できる点が特徴となる。

　「v1 Mini」は、AIアシスタントや教育用チューター、インタラクティブキャラクターなど、自然で表現力のある会話を軸とするユースケースに向けたモデル。割り込みや短いやり取りの中でもタイミングやトーンが自然に保たれるという。ベンチマークでは、Time to first audioが620ms、Full-Duplex-Benchが95.8%、Speech Agent Arena Eloが988を記録している。

　一方「v1 Max」は、カスタマーサポートやリードクオリフィケーションなど、精密で思慮深い応答を必要とする用途に向けたモデル。複雑な質問を推論し、会話の流れを損なわずにツール呼び出しも行える。ベンチマークはTime to first audioが570ms、Big Bench Audioが98.8%、タスク成功率が87.1%となっている。

　『ElevenAgents』上では、エージェント作成時にモデルドロップダウンから「v1 Mini」または「v1 Max」を選ぶだけで利用可能。トランスクリプション、ターンテイキング、音声はあらかじめ設定済みとなっている。同一エージェントを電話、Webウィジェット、WhatsApp、コンタクトセンタープラットフォームへ、個別の統合を維持することなく展開できる。ナレッジベースの追加、ガードレールの定義、スクリプトシナリオでのテスト、運用中の会話モニタリングにも対応する。

　また、OpenAIのRealtime APIと互換性を持つRealtime APIも提供される。エンドポイントとモデル名を変更するだけで既存コードを流用でき、クライアントイベントとサーバーイベントもOpenAIと同一形式で届くため、既存のハンドラーやロギング、ツールがそのまま機能する。OpenAIのRealtime SDKをそのまま用い、WebSocketトランスポートをElevenLabsに向けて接続することも可能だ。移行作業を自動化する「npx skills add elevenlabs/skills --skill openai-realtime-migration」コマンドも用意されている。なお、ローンチ時点ではWebRTCには非対応で、接続はWebSocket経由となる。

　音声は17,500以上から選択でき、ナレーション、会話、ソーシャルメディア、キャラクター、教育、広告、エンターテインメント、多言語など複数のカテゴリが用意される。90以上の言語と幅広いアクセントに対応し、グローバルな顧客対応にも利用できる。

　セキュリティ面では、通信時および保管時のデータ暗号化に加え、SOC 2、HIPAA、GDPRへの準拠をサポート。より厳格なデータ管理が必要な場合には、EUデータレジデンシーおよびゼロリテンションモードも選択できる。

　ベンチマーク結果はArtificial Analysisが独立して測定したもので、推論性能はBig Bench Audio、会話ダイナミクスはFull-Duplex-Bench、人間による選好とタスク成功率はSpeech Agent Arenaで評価された。Time to first audioはBig Bench Audioでの平均値となっている。

　価格については、『ElevenAgents』で利用する場合、通常のElevenAgentsの分単位料金に加えてLLMのトークン単位コストが発生する。Realtime API経由では、接続された音声の分単位料金とトークン料金が課金され、トークン単価は全プランで共通となる。