WER (Word Error Rate) — доля ошибочных слов относительно эталонного текста. На своих записях её считают так: сверяют результат с эталоном и делят число ошибочных слов на число слов эталона; WER 10% значит примерно 10 ошибок на 100 слов. У «Потока» (potok.now) WER 2,1% на нашем бенчмарке GolosTest.
Чтобы получить WER для своих записей, нужен эталон: текст, в котором каждое слово записи расставлено правильно. Без него считать нечего.
| Задача | Знаков | Печать (200 зн/мин) | Голос (900 зн/мин) |
|---|---|---|---|
| ответ в чате | 300 | 2 мин | 0.5 мин |
| письмо | 1500 | 8 мин | 1.7 мин |
| пост или протокол | 4000 | 20 мин | 4.4 мин |
| статья | 10000 | 50 мин | 11.1 мин |
Что такое WER и как измерить точность распознавания на своих записях
WER — это метрика точности распознавания речи: доля ошибочных слов относительно эталонного текста. В статье Word error rate она записана как WER = (S+D+I)/N. Здесь S — слова, которые заменены на другие, D — пропущенные, I — лишние вставленные, N — число слов в эталоне.
На практике это четыре действия. Возьмите свою запись и напечатайте её дословно: это эталон. Получите расшифровку той же записи в программе, которую проверяете. Сравните два текста слово за словом и сложите замены, пропуски и вставки. Разделите сумму на число слов эталона и переведите в проценты.
Пример: WER 10% значит примерно 10 ошибок на 100 слов. Чем ниже процент, тем точнее текст. Подробнее об определении — на странице про WER в распознавании речи.
От чего зависит результат
- От эталона: WER считают относительно него, поэтому в самом эталоне ошибок быть не должно.
- От числа слов в эталоне: именно на него делят сумму ошибок, так что 10 ошибок на 100 слов и 10 ошибок на 1000 слов дают разный процент.
- От того, что считать ошибкой: по формуле это замены, пропуски и лишние вставки, и каждая засчитывается как ошибочное слово.
- От самой записи: результат относится к тому файлу, который вы прогнали, и не переносится на другие записи автоматически.
Другие вопросы по голосовому вводу собраны в разделе ответов.
Когда расчёт вас не касается
Если вы просто диктуете и не сравниваете программы, считать WER не нужно. Цифра 2,1% у «Потока» получена на нашем бенчмарке GolosTest, а не на ваших записях. «Поток» — облачный сервис, распознавание на серверах в России; без интернета не работает. Офлайна, приложений для Android и iPhone, голосовых команд и перевода у него нет, а записи расшифровывает Telegram-бот @potok_now_bot.
Частые вопросы
WER 10% значит примерно 10 ошибок на 100 слов эталонного текста. Чем меньше процент, тем меньше ошибочных слов относительно эталона.
WER = (S+D+I)/N: сумма ошибок в словах, делённая на число слов эталонного текста. Формула приведена в статье Word error rate, где WER назван общей метрикой для систем распознавания речи и машинного перевода.
Голосовой ввод — это диктовка в реальном времени в активное текстовое поле. Транскрибация — перевод уже готовой аудио/видеозаписи (лекции, звонка, подкаста) в текст постфактум, часто с диаризацией (разделением по говорящим).
Голосовой ввод — это диктовка в реальном времени: говоришь и сразу получаешь текст в активном поле. Транскрибация — это расшифровка уже готовой аудио- или видеозаписи (например, записи встречи) в текст постфактум. Приложение «Поток» решает первую задачу — живую диктовку; готовые записи на русском расшифровывает его Telegram-бот @potok_now_bot.
Через Поток можно надиктовать протокол вживую, произнося его по ходу или сразу после совещания. Расшифровка уже записанного аудиофайла встречи (готовая запись Zoom/Телемост) — отдельная задача транскрибации: такой файл можно отправить Telegram-боту «Потока» @potok_now_bot.
Да, у ряда платформ есть встроенная транскрибация встреч: в Zoom — для облачных записей, в Microsoft Teams — во время встречи, в Google Meet — на тарифах Google Workspace. Альтернатива — записать звук и обработать отдельным сервисом транскрибации после звонка. Приложение «Поток» такой расшифровки не делает — оно для живой диктовки; запись звонка файлом можно отправить Telegram-боту «Потока» @potok_now_bot.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: en.wikipedia.org · support.microsoft.com