FLEURSベンチマークとは？ 同じ素材で音声認識システムを比べるために使われる、102言語の朗読音声の公開テストセットです。各システムの出力を参照テキストと照らして採点し、言語ごとに比較できる一つの誤り率が得られます。
録音を文字起こしする
音声メッセージ、音声、動画を Telegram の @potok_now_bot に送ると、チャットにテキストが返ってきます。
2 GB までのファイル · TXT、MD、DOCX、PDF、SRT、VTT で書き出し · 話者ラベルとタイムスタンプ · 約30言語
要点
- 話者は文章を声に出して読むので、このデータは、実際の会議、通話、街頭の録音よりきれいです。
- スコアは通常、単語誤り率で、スペースなしで書く言語では文字誤り率で報告されます。
- テスト時間が多い言語でも、モデルの学習データが少なかった言語では、スコアが悪くなることがあります。
- 公表されているスコアは、そのスコアを引用する製品ではなく、モデルの作り手か第三者から出たものです。
- どのシステムも同じ文章を読むので、ある言語での二つのシステムのスコアの差は、解釈しやすくなります。
見た目のイメージ
from datasets import load_dataset
// one language of the test split, English (US)
fleurs = load_dataset("google/fleurs", "en_us", split="test")
print(fleurs[0]["transcription"]) # reference text for scoring
print(fleurs[0]["audio"]["sampling_rate"])
関連情報
よくある質問
FLEURSのデータは誰が公開していますか。
データセットはGoogleが公開し、Hugging Face経由で配布されています。誰でも読み込めるので、研究者は公表されたスコアを再現できます。
FLEURSで良いスコアが出れば、私の結果も予想できますか。
おおよそだけです。静かな環境での朗読音声は、騒がしいインタビューよりやさしいので、あなたの録音は通常、ベンチマークより悪いスコアになります。
そもそもベンチマークがなぜ大切なのですか。
同じテスト素材と同じ採点方法でシステムを比べられるからです。品質についての宣伝文句よりも、多くの情報が得られます。
FLEURSの数字は私たち自身の測定ですか。
Potokのページがそれらを引用する場合、他者が公表した結果であり、自社のテストではありません。目安として使い、自分の短いファイルで試してください。
このベンチマークがカバーしていないものは何ですか。
朗読音声のデータには、騒がしい部屋、重なる声、自発的な発話、特殊な語彙がほとんど含まれないので、そうしたケースは自分の音声で確認してください。
出典
各出典は、記載の日付に手作業で開いて確認しました。ページは変更されることがあるため、細部が重要な場合は出典をご確認ください。
- FLEURS speech dataset (Google, Hugging Face), Hugging Face · 確認日
- Word error rate (Wikipedia), Wikipedia · 確認日
お手持ちの録音で試してみましょう
音声メッセージ、音声、動画を Telegram の @potok_now_bot に送ると、チャットにテキストが返ってきます。
Telegram で @potok_now_bot を開く