多言語音声認識とは、言語ごとに別のモデルを使うのではなく、多くの言語の音声を一つのシステムで認識する仕組みです。音の共通パターンを学習し、聞こえている言語を判断します。それでも品質は言語によって異なり、手厚く対応される言語とそうでない言語があります。
録音を文字起こしする
音声メッセージ、音声、動画を Telegram の @potok_now_bot に送ると、チャットにテキストが返ってきます。
2 GB までのファイル · TXT、MD、DOCX、PDF、SRT、VTT で書き出し · 話者ラベルとタイムスタンプ · 約30言語
要点
- 多くの言語に一つのモデルを使う場合は、すべての言語の録音で学習するため、学習用の音声が多い言語ほど結果が良くなりやすいです。
- FLEURSのような公開ベンチマークは同じシステムを多くの言語で試しますが、スコアは最も強い言語から最も弱い言語まで大きくばらつくのが普通です。
- 一覧に言語が多いことは、すべての言語が網羅されている意味ではありません。学習データの少ない言語は一覧にあっても読み取りが悪いことがあります。
- 多言語のシステムは言語を検出するか、指定される必要があり、この段階で選択を誤ると以降のすべての言葉に影響します。
- 二つの言語が混ざった音声は、それぞれを別に扱えるモデルでも、一つの言語の音声より難しくなります。
見た目のイメージ
// illustrative output of a multilingual recogniser
{
"language": "de",
"text": "Guten Morgen, wir beginnen mit dem Bericht.",
"language_confidence": "high"
}
// the same system, given a clip in French, would return language "fr"
関連情報
よくある質問
多言語モデルは言語ごとのモデルより優れていますか？
常にそうとは限りません。運用が楽で多くの言語を扱えますが、一つの言語に特化したモデルのほうがその言語では良いことがあります。データしだいです。
すべての言語を認識できますか？
いいえ。対応範囲には限りがあり、言語によって品質も違います。長い文字起こしを信頼する前に、自分の言語の公開されたテスト結果を確認してください。
Potok のボットは何言語に十分対応していますか？
公開された結果が良好な言語は約30で、注意付きでさらに数言語に対応します。どれがどちらかは、このサイトの言語一覧で確認できます。
ボットは文字起こしを翻訳しますか？
いいえ。文字起こしは話された言語のままで、ボットは別の言語に変換しません。
珍しい言語ではどうすればよいですか？
まず短い録音で試し、結果をよく読んでください。名前や専門用語は手作業での修正が必要になる前提で考えましょう。
出典
各出典は、記載の日付に手作業で開いて確認しました。ページは変更されることがあるため、細部が重要な場合は出典をご確認ください。
- Whisper speech recognition system (Wikipedia), Wikipedia · 確認日
- FLEURS speech dataset (Google, Hugging Face), Hugging Face · 確認日
お手持ちの録音で試してみましょう
音声メッセージ、音声、動画を Telegram の @potok_now_bot に送ると、チャットにテキストが返ってきます。
Telegram で @potok_now_bot を開く