ASRのハルシネーションとは？ 誰も話していないのに、音声認識モデルが出力してしまうテキストのことです。モデルは、主に無音や音楽の部分で、もっともらしい句で空白を埋めます。言葉自体は自然に読めるので、間違いに気づきにくいのが特徴です。
録音を文字起こしする
音声メッセージ、音声、動画を Telegram の @potok_now_bot に送ると、チャットにテキストが返ってきます。
2 GB までのファイル · TXT、MD、DOCX、PDF、SRT、VTT で書き出し · 話者ラベルとタイムスタンプ · 約30言語
要点
- 作り出された行は、たいてい流暢で短いため、ざっと読むだけでは通り過ぎてしまい、音声と見比べる必要があります。
- 発話のない区間が典型的な引き金です。会議の始まる前の間、イントロのジングル、長い保留音などがあります。
- 同じフレーズが何度も続けて繰り返される場合も、モデルが音を見失ったことを示すサインです。
- 文字起こしの前に録音から無音部分を切り取ると、この種の誤りが出る余地の多くを減らせます。
見た目のイメージ
[00:00:00 --> 00:00:04] Welcome to the weekly review.
[00:00:04 --> 00:00:19] (music only in the recording)
[00:00:19 --> 00:00:23] Thank you for watching. <-- invented line, nobody said it
[00:00:23 --> 00:00:30] Let's start with the budget.
関連情報
よくある質問
ハルシネーションは聞き間違いと同じですか。
いいえ。聞き間違いは、実際に話された言葉を別の言葉に置き換えるものです。ハルシネーションは何も話されていない場所に言葉を加えるため、突き合わせる元の発話がありません。
ハルシネーションはどこで最もよく起こりますか。
無音、音楽、背景のうなり、ファイルの冒頭や末尾の静かな数秒に現れます。そこはモデルがたどれる実際の発話がほとんどないためです。
文字起こしの中の作られたテキストはどう見つけますか。
不自然に見える行のタイムスタンプで音声を再生してください。そこが無音か音楽だけなら、その行はおそらく作られたものです。
完全に防げますか。
いいえ。リスクを完全になくす設定はありません。無音の切り取り、きれいな録音、音声と照らした確認で減らせますが、最後のチェックは欠かせません。
Potokボットはこれをチェックしますか。
ボットは認識したままの文字起こしを返すので、特に間や音楽の前後は音声と一緒に読んでください。書き出したTXTやDOCXで行を直せます。
出典
各出典は、記載の日付に手作業で開いて確認しました。ページは変更されることがあるため、細部が重要な場合は出典をご確認ください。
- Speech recognition (Wikipedia), Wikipedia · 確認日
- Whisper speech recognition system (Wikipedia), Wikipedia · 確認日
お手持ちの録音で試してみましょう
音声メッセージ、音声、動画を Telegram の @potok_now_bot に送ると、チャットにテキストが返ってきます。
Telegram で @potok_now_bot を開く