Confidence score в голосовом вводе: как сервисы сами оценивают свою точность

Confidence score — это число, которое сама модель выдаёт вместе с распознанным словом: насколько она уверена, что не ошиблась. Это внутренняя оценка модели, а не независимый замер точности, и высокий confidence score не гарантирует, что слово распознано верно. Настоящую точность меряют отдельно, сравнивая распознанный текст с эталонным — так у Потока получен WER 2,1% на бенчмарке GolosTest.

В карточках и на сайтах программ для диктовки иногда мелькают технические термины, которые звучат как гарантия точности, но на деле — просто параметр модели. Confidence score — один из них: он говорит о том, насколько модель доверяет собственному результату, но ничего не гарантирует пользователю напрямую. Разберём, что это число значит на практике и как читать похожие обещания в описаниях программ.

Слова, которые встречаются в описаниях программ

• Confidence score — число от 0 до 1 или в процентах, которое модель присваивает каждому распознанному слову или фразе: её собственная оценка того, насколько она уверена в результате. Это внутренний параметр, а не независимая метрика точности, и доступен пользователю напрямую не во всех программах.
• WER, Word Error Rate — доля неверно распознанных слов относительно эталонного текста: считается отдельно, сравнением с расшифровкой, сделанной человеком, а не самой моделью. Подробнее о том, как вообще устроено распознавание русской речи, — в материале про голосовой ввод под русскую речь.
• Accuracy, «точность 95–98%» на сайте — обычно обратная величина к WER, но метод подсчёта: на каком тексте, каком языке, при каких условиях записи — сайты, как правило, не публикуют.
• Real-time factor — во сколько раз быстрее реального времени модель обрабатывает звук; важен в первую очередь для локальных моделей, где скорость ограничена мощностью компьютера.
• Задержка, отклик — время от окончания фразы до появления текста; у облачных моделей сюда добавляется ещё и время на пересылку звука туда и обратно.
• Автоопределение языка — модель сама решает, на каком языке произносится слово, без ручного переключения: удобно для многоязычной речи, но добавляет ещё один источник ошибок.
• Бенчмарк — набор аудиозаписей с эталонными расшифровками, на котором меряют WER: результат зависит от того, какой именно бенчмарк использован, и сравнивать цифры с разных бенчмарков напрямую нельзя.

Как проверять обещания производителей

Самый частый сигнал маркетингового, а не измеренного числа — точность без указания метода. Фраза вроде «точность 95–98% на чистой русской речи» ничего не говорит о том, на каком бенчмарке она получена, сколько было аудиозаписей и что считалось ошибкой; у Диктуй на сайте заявлена именно такая цифра. Число само по себе не повод не доверять программе, но и не повод сравнивать его напрямую с цифрой другого разработчика: методики почти никогда не совпадают.

Осмысленное число — то, где указан конкретный бенчмарк: его название, состав записей, дата замера. Такую цифру можно хотя бы попытаться перепроверить или сопоставить с похожим замером у другого сервиса на том же бенчмарке.

Ещё один сигнал — сам confidence score, если он вообще показывается пользователю: программа, которая даёт увидеть, в каких словах она не уверена, оставляет больше контроля, чем программа, где виден только готовый текст без пометок.

Практический способ проверки, который не требует разбираться в методиках, — пробный период на собственном голосе и собственных типичных фразах: личное ощущение точности на своих текстах надёжнее любого процента на сайте.

Чего Поток не умеет

Поток — облачный сервис, распознавание речи идёт на серверах в России, и без интернета программа не работает, поэтому без подключения к сети проверить точность на месте не получится вообще — диктовка просто не запустится. Опубликованная методика замера сама по себе честный сигнал, но любой бенчмарк снят на конкретном наборе записей, а не на любой возможной речи: результат на незнакомой лексике, сильном акценте или в шумном помещении может отличаться от цифры на сайте. Бесплатного лимита в 2500 слов в неделю хватает, чтобы протестировать точность на собственных типичных фразах, не оплачивая подписку заранее. Похожий подход с офлайн-моделью, обученной под русский язык, можно посмотреть в сравнении с GigaType.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru