音声AI開発のElevenLabsは、音声から音声を直接扱うSpeech to Speech(音声対話)モデルの新シリーズ「Eleven Realtime」を発表しました。同社はこれを新しい種類のモデルと位置付けています。従来の音声エージェントは、素早い応答と正確な回答のどちらかを選ぶ必要があったといい、Eleven Realtimeは両立を狙ったものだと説明しています。公式Xの投稿では、約0.5秒で話し始め、音声による推論問題にも正答できるとしています。
モデルは「v1 Mini」と「v1 Max」の2種類です。音声認識、発話の順番の制御(ターンテイキング)、大規模言語モデル(LLM)、音声合成を個別に組み合わせるのではなく、一つのシステムとして端から端まで調整しているのが特徴です。単一のモデルを選ぶだけで、性能の整ったエージェントを作れるといいます。
v1 Miniは自然な会話向けで、AIアシスタントや学習支援のチューター、対話型キャラクターなどを想定しています。同社の公表値では、最初の音声が出るまでの時間は620ミリ秒、会話の動的な性質を測るFull-Duplex-Benchは95.8%、人間の好みを測るSpeech Agent Arenaのイロ(Elo)レーティングは988です。より単純な用途向けの低コストな選択肢とされています。
v1 Maxは複雑なタスク向けで、カスタマーサポートやリード獲得(見込み客の選別)、日程調整支援などを想定しています。推論機能を備え、複数手順のワークフローやツール呼び出しにも対応します。最初の音声までの時間は570ミリ秒で、音声による推論力を測るBig Bench Audioは98.8%、タスク成功率は87.1%でした。同社によると、Artificial Analysisが両モデルをBig Bench Audio、Full-Duplex-Bench、Speech Agent Arenaで独立に評価しました。最初の音声までの時間は、Big Bench Audioでの平均値です。
利用方法は2通りあります。一つは同社のエージェント構築基盤「ElevenAgents」で、エージェント作成時にモデル選択のドロップダウンからv1 Miniまたはv1 Maxを選びます。文字起こしやターンテイキング、音声はあらかじめ設定済みです。電話、Webウィジェット、WhatsApp、コンタクトセンター基盤へ同じエージェントを展開でき、ナレッジベースやガードレール(安全対策)の設定、シナリオに沿ったテスト、本番会話の監視も可能です。既存のエージェントは、更新しない限り変更されません。
もう一つはRealtime APIで、OpenAIのRealtime APIと互換性があります。すでにOpenAIのAPIを使っている場合は、エンドポイントとモデル名を変えれば既存のコードを生かせるとしています。イベントも同じ形式で届き、OpenAIのSDKもそのまま使えます。ただし、Realtime APIはWebRTCに対応しておらず、接続はWebSocketのみです。また、ElevenAgentsの機能はRealtime APIでは使えず、両者は別々に動作します。
料金は、ElevenAgentsではエージェントの分単価にLLMのトークン料金が加わります。Realtime APIでは、接続した音声の分数とトークンに応じて支払います。対応言語は90以上で、1万7500を超える音声から選べます。データは通信時と保存時に暗号化され、SOC 2、HIPAA、GDPRへの対応をうたっています。
出典：Eleven Realtime | Speech to Speech Voice Agents | ElevenLabs
出典：https://x.com/ElevenLabs/status/2112550782063247521