Что такое WER (Word Error Rate)

WER (Word Error Rate) — метрика точности распознавания речи: доля ошибочных слов относительно эталонного текста. Считают её по формуле (S+D+I)/N, где S, D и I — заменённые, пропущенные и лишние слова, а N — их общее число в эталоне. WER 10% значит примерно 10 ошибок на 100 слов, а свой результат на нашем бенчмарке GolosTest есть и у «Потока» (potok.now).

Разработчики программ распознавания речи публикуют WER как главное число качества: 3%, 5%, 10%. Само по себе оно ничего не говорит, если не знать, что стоит за буквами и как эту цифру вообще получают.

Где WER всплывает при выборе программы для диктовки

Сравнивая программы распознавания речи, часто натыкаешься на строку вида «WER 5%» или «WER 10%» в описании продукта или в независимом бенчмарке. Это самая частая цифра точности, которую приводят разработчики, — но смысл у неё понятен не всем.

Считают WER по формуле WER = (S+D+I)/N. В числителе — сумма ошибок трёх видов: S (substitutions) — слова, распознанные неверно вместо правильных; D (deletions) — слова, которые распознавание пропустило; I (insertions) — лишние слова, которых в реальной речи не было. В знаменателе N — общее число слов в эталонном тексте, с которым сравнивают результат распознавания речи.

WER 10% значит примерно 10 ошибок на каждые 100 слов эталона: часть из них может быть заменой одного слова другим, часть — пропуском, часть — лишней вставкой. Чем меньше процент, тем меньше расхождений с эталонным текстом.

Что такое WER (Word Error Rate) простыми словами

Проще говоря, WER — способ сравнить то, что получилось на выходе у распознавания речи, с тем, что было сказано на самом деле, и выразить разницу одним числом. Источник определяет WER как общий показатель эффективности систем распознавания речи и машинного перевода: метрика применяется не только к голосовому вводу, но и к переводческим системам. О том, как WER применяют именно к распознаванию речи, — отдельная страница.

Важная деталь: WER считают на конкретном тестовом наборе аудиозаписей с известным правильным текстом. Число получается для этого набора, а не для программы вообще — на другой записи или на другом языке та же система покажет другую цифру. Сам показатель не относится к автоматической пунктуации — она оценивается отдельно.

Что WER не показывает

WER — метрика для любой системы распознавания речи или машинного перевода, а не показатель одного продукта: ей можно измерить и встроенные средства операционной системы, и облачный сервис, если есть один и тот же эталонный набор. У «Потока» есть свой результат — WER 2,1% на нашем бенчмарке GolosTest. «Поток» — облачный сервис, распознавание идёт на серверах в России, без интернета он не работает.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: en.wikipedia.org · support.microsoft.com