信頼度スコアとは?

Potokチーム更新日 ~1 分で読めます

信頼度スコアとは? 認識システムが単語や句にどれだけ確信を持っているかを示す数値で、多くはゼロから一の尺度で表されます。低い値は確認する価値のある箇所を指しますが、高い値だからといって、その言葉が正しいとは限りません。

録音を文字起こしする

音声メッセージ、音声、動画を Telegram の @potok_now_bot に送ると、チャットにテキストが返ってきます。

Telegram で @potok_now_bot を開く

2 GB までのファイル · TXT、MD、DOCX、PDF、SRT、VTT で書き出し · 話者ラベルとタイムスタンプ · 約30言語

要点

  • スコアはモデルが出す推定値なので、ツールごとに尺度が異なり、互いに比べることはできません。
  • 信頼度の低い単語は、見直しの良い候補です。名前、数字、珍しい用語がそこに入りがちです。
  • 間違った単語にも、特に二つの言葉が話し言葉では同じ音になるとき、高いスコアが付くことがあります。
  • ツールによっては単語ごとにスコアを返し、セグメント全体に返すものも、スコアを返さないものもあります。

見た目のイメージ

{
  "words": [
    {"word": "send",     "confidence": 0.98},
    {"word": "it",       "confidence": 0.99},
    {"word": "to",       "confidence": 0.97},
    {"word": "Okafor",   "confidence": 0.54},   // review this one
    {"word": "tomorrow", "confidence": 0.95}
  ]
}

関連情報

対応言語の一覧、ツール、用語集もご覧ください。

よくある質問

信頼度スコアはどの範囲を使いますか。

多くのシステムはゼロから一の値を報告し、高いほど確かだとします。尺度は設計上の選択なので、まずそのツール自身のドキュメントを読んでください。

高いスコアは信用できますか。

部分的にだけです。スコアはモデル自身の確信を表すので、同音異義語のように、自信満々に書かれた誤りもありえます。

スコアを使って見直しの時間を減らすにはどうすればよいですか。

選んだしきい値を下回る単語を並べ替えたりハイライトしたりして、そこから先に聞きます。全部を通して読み直す代わりに、短い見直しリストができます。

信頼度スコアは単語誤り率と同じですか。

いいえ。単語誤り率は、人が作った参照テキストと比べて、あとから測るものです。信頼度スコアは、認識しながらシステムが自分について行う推測です。

Potokボットはスコアを表示しますか。

文字起こしはスコアなしのテキストとして扱い、名前、数字、不明瞭な箇所を音声と照らして確認してください。直すにはDOCXかTXTに書き出します。

出典

各出典は、記載の日付に手作業で開いて確認しました。ページは変更されることがあるため、細部が重要な場合は出典をご確認ください。

  1. Speech recognition (Wikipedia), Wikipedia · 確認日
  2. Word error rate (Wikipedia), Wikipedia · 確認日

お手持ちの録音で試してみましょう

音声メッセージ、音声、動画を Telegram の @potok_now_bot に送ると、チャットにテキストが返ってきます。

Telegram で @potok_now_bot を開く