Почему голосовой ввод иногда «слышит» то, чего не говорили: галлюцинации ASR

Голосовой ввод «слышит лишнее», когда нейросеть достраивает наиболее вероятное слово там, где сигнал слабый, — в паузе, при тихом фоновом звуке или шуме, вместо того чтобы промолчать. Это и есть галлюцинация ASR: текст выглядит осмысленно, но человек этого не говорил. У «Потока» (potok.now) таких ошибок — 2,1% по метрике WER на бенчмарке GolosTest.

Галлюцинация ASR — когда программа распознавания речи выдаёт связный, грамматически правильный текст, которого на самом деле не было в записи: лишнее слово, целая фраза или даже смена темы. Это не баг конкретного приложения, а свойство того, как вообще устроены современные нейросети для распознавания речи: они не ищут точное совпадение звука с буквами, а предсказывают наиболее вероятное продолжение — и иногда предсказывают неправильно. Разные программы диктовки страдают этим в разной степени; полный список — в разделе программы для голосового ввода.

Откуда берутся галлюцинации

Нейросеть учится не искать точные слова, а угадывать наиболее вероятную последовательность на основе того, что уже слышала на обучении, — и в паре мест это оборачивается ошибкой:

• Тишина или очень тихий звук — модель не умеет молчать и ищет хоть какое-то похожее на речь продолжение, поэтому в паузе иногда всё равно появляется слово.
• Фоновый шум без разборчивой речи — музыка, гул кондиционера, чужой разговор на заднем плане — нейросеть пытается распознать в шуме структуру речи и выдаёт похожие по звучанию слова, которых никто не произносил.
• Оборванное или нечёткое слово — если человек не договорил, закашлялся или проглотил окончание, языковая модель достраивает наиболее вероятное по контексту слово, а не то, что было сказано на самом деле.
• Повторяющаяся структура фразы — если запись содержит паузу или заикание, некоторые модели зацикливаются и повторяют одно и то же слово или фразу несколько раз подряд.
• Слишком уверенная языковая модель — если она слишком сильно полагается на грамматику и частотность слов, а не на сам звук, то в спорной ситуации выбирает «гладкий» вариант вместо честного «не расслышал».

Такие ошибки чаще случаются на длинных паузах, тихой или сбивчивой речи и в шумных помещениях — то есть именно там, где сигнал слабый и неоднозначный, а не там, где человек говорит чётко и по делу.

Снизить число галлюцинаций помогает, как ни странно, не борьба с самой моделью, а улучшение входного сигнала: хороший микрофон без фонового шума, чёткая речь без длинных пауз и личный словарь для непривычных нейросети слов и терминов — подробнее о том, как надиктовывать термины на русском, в статье голосовой ввод под русскую речь.

Где диктовка экономит время, а где мешает

Не все галлюцинации одинаково опасны — где-то это забавная опечатка, а где-то повод перечитывать текст дважды.

• Диктовка цифр, сумм и дат — там, где нейросеть один раз домыслила лишнее слово, легко заметить и ошибку в числе, потому что оно явно выбивается из фразы; но если не перечитать текст, ошибка в договоре с суммой может остаться незамеченной.
• Медицинские и юридические записи — галлюцинация в диагнозе, дозировке или формулировке пункта договора может исказить смысл документа, а не просто выглядеть странно; такие тексты нужно вычитывать построчно, а не по диагонали.
• Личная переписка и заметки — здесь цена ошибки низкая: лишнее слово в сообщении другу видно сразу и легко исправить одним движением, поэтому можно диктовать быстро и вычитывать бегло.
• Длинные паузы во время диктовки — если человек задумался посреди фразы и замолчал на несколько секунд, у модели больше шансов «услышать» то, чего не было, чем при непрерывной речи.
• Диктовка в шумном помещении или при плохом микрофоне — открытый офис, встроенный микрофон ноутбука, разговор на фоне — здесь галлюцинации возникают чаще, чем в тихой комнате с гарнитурой.
• Специфичные имена, термины и аббревиатуры — то, чего нет в словаре модели, она иногда заменяет на похожее по звучанию слово, а не честно пишет что-то приблизительное.
• Текст, который сразу видно на экране — в активном поле, как при обычной диктовке, — ошибку видно мгновенно и её проще поймать взглядом, чем в файле, который откроют только через неделю.

Когда лучше печатать или взять другой инструмент

Если ошибку от галлюцинации нельзя пропустить — в счёте, договоре, медицинской записи, — и нет времени вычитать текст построчно, надёжнее напечатать цифры и ключевые формулировки руками, а голосом надиктовать только черновик вокруг них. Поток — облачный сервис, распознавание идёт на серверах в России, и без интернета он не работает вовсе, а значит, для галлюцинаций из-за плохой связи он не подходит по определению: если сеть обрывается, программа просто не отвечает, а не выдумывает текст. Голосовых команд и правки текста голосом в нём нет — заметить и стереть лишнее слово можно только руками, а не голосовой командой «отменить». Расшифровки уже записанных файлов Поток тоже не делает — только диктовку в реальном времени, где ошибку видно сразу же на экране. Нет и версий для Android или iPhone, чтобы перепроверить текст сразу с телефона, — только компьютер на Windows или macOS.

Частые вопросы

Программы по теме: сравнение условий

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru