Что такое rescoring

Rescoring — это повторная оценка нескольких вариантов распознанного текста, чтобы выбрать наиболее вероятный: система сравнивает не один вариант, а сразу несколько гипотез. По описанию Apple, такая модель «способна оценивать и переписывать результат, рассматривая полный контекст N-лучших гипотез параллельно». Термин технический, из области распознавания речи, а не название функции конкретной программы.

Иногда голосовой ввод на долю секунды показывает не то слово, а затем как будто сам себя поправляет на более подходящее — за этим часто стоит именно rescoring: система не останавливается на первой угаданной гипотезе, а сверяет сразу несколько.

Где термин rescoring всплывает на практике

Rescoring — не то, что видно в интерфейсе программы: это шаг внутри конвейера распознавания речи, который происходит до того, как текст показывается пользователю. Акустическая модель сначала выдаёт черновой набор вариантов того, что могло прозвучать, а затем rescoring помогает языковой модели поправить этот черновой результат: из нескольких похожих по звучанию гипотез выбирается та, что лучше сочетается по смыслу и грамматике во всей фразе целиком.

Термин встречается в описаниях того, как устроено автоматическое распознавание речи в целом, а не в настройках конкретного приложения — обычный пользователь его не видит и не включает отдельно.

Rescoring простыми словами

Проще всего описать rescoring так: система готовит не один-единственный ответ, а сразу список из нескольких вероятных вариантов распознанного текста — и только потом выбирает из них лучший, сверяя, какой вариант складывается в более осмысленную и грамматически правильную фразу целиком. Официальное описание Apple называет такую модель способной «оценивать и переписывать результат, рассматривая полный контекст N-лучших гипотез параллельно» — то есть сравнение идёт не по отдельному слову, а сразу по нескольким целым фразам.

Это отличает rescoring от самого первого шага распознавания: там модель только предполагает, что могло прозвучать, а на шаге rescoring эти предположения проверяются и уточняются одно против другого.

Ограничения Потока по этой части

Использует ли «Поток» именно rescoring внутри своего распознавания — неизвестно, поэтому называть внутреннее устройство его модели этим термином нельзя. «Поток» — облачный сервис: распознавание речи происходит на серверах в России, и без интернета оно не работает. Общий разбор соседних терминов той же области — в разделе словаря на сайте.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: machinelearning.apple.com · support.microsoft.com