ElevenLabs、音声認識モデル「Scribe v3」と低遅延版「Scribe v3 Live」を公開

ElevenLabs、音声認識モデル「Scribe v3」と低遅延版「Scribe v3 Live」を公開
出典:Introducing Scribe v3 and v3 Live, our most accurate speech to text models

音声合成などを手がけるElevenLabsは、音声をテキストに変換する新モデル「Scribe v3」と、リアルタイム向けの低遅延版「Scribe v3 Live」を公開しました。会議の議事録や音声エージェント、吹き替え、医療記録など、文字起こしを土台とする製品での利用を想定しています。

同社によると、録音音声向けのScribe v3は、102言語で従来のScribe v2より単語の誤りが27%少なくなりました。話者を区別する話者分離の誤りも、全体でScribe v2比12%減り、3人以上が話す録音では17%減ったとしています。社内評価では、テストしたモデルの中で話者ラベルの精度が最も高かったと説明しています。

Scribe v3 Liveは、リアルタイム版のScribe v2 Realtimeと比べて、102言語の意味上の誤り率(semantic WER)が43%、通常の単語誤り率が31%低下しました。同社は全言語で改善し、テストした他のリアルタイムモデルより誤り率が低いと述べています。ギリシャ語は77%、デンマーク語は54%、クロアチア語は45%、ヒンディー語は36%改善したとのことです。リアルタイムの文字起こしでは初めて話者分離にも対応し、英語の社内データセットでは分離誤り率が3.1%でした。他社のリアルタイムモデルは5.9〜7.3%だったといいます。

Scribe v3 Liveは会話の文脈も使って発話の終了を判断する仕組みを備えています。無音の長さだけで判断する従来方式では、数字を言いかけて間が空いた場合などに話を遮るおそれがありました。この機能はすでにElevenAgentsで使われており、今回ElevenAPIでも使えるようになりました。

出力の制御も強化されました。Scribe v3は、録音に含まれる言語のヒントを推定でき、数字を算用数字と単語のどちらで返すかも選べます。ブランド名や略語、専門用語など最大1000語を指定できるキーターム機能や、「日付をすべてYYYY-MM-DD形式にする」といった指示を平易な英語で書いて整形する編集機能もあります。Scribe v3 Liveには、文の途中で言語が切り替わる会話に対応する多言語モードと、数千語規模の語彙を登録できるキーターム・ライブラリが加わりました。

評価は、102言語の短い読み上げ音声を集めたベンチマークFLEURSの社内版と、16言語の実際の会議や通話、ボイスメモから作った独自データセットで行ったとしています。この独自データセットは近く公開する方針です。同社はまた、各言語を個別に採点してから平均したため、全クリップを一括集計する他の公表結果とは直接比べられないと注記しています。

オランダでエネルギーを供給するEnecoは、ElevenAgents上の音声エージェントで発売前にScribe v3 Liveを試しました。実際の顧客通話で、オランダの郵便番号を最初の1回で正しく認識する割合は40%、番地は15%向上しました。

企業向けには、米国が既定の稼働地域ですが、EU、インド、シンガポールの分離環境も用意されます。音声とテキストを処理後すぐに削除するゼロリテンションモードもあります。SOC 2、ISO 27001、PCI DSS Level 1の各プログラムの対象で、業務提携契約を結べばHIPAAにも対応でき、専用環境への導入も可能です。

Scribe v3 LiveはElevenAgentsで利用でき、両モデルはElevenLabsアプリの既定になっています。ElevenAPIでもモデルIDをscribe_v3またはscribe_v3_liveに変えるだけで切り替えられます。医療会話向けに最適化したScribe v3 Liveも、ElevenAgentsで提供されます。


出典:Introducing Scribe v3 and v3 Live, our most accurate speech to text models

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次