CER (Character Error Rate) — метрика точности распознавания речи, которая считает ошибки посимвольно, а не по целым словам. Более привычная метрика WER считает ошибки по словам целиком; CER удобнее там, где слово трудно однозначно выделить — в мультиязычных наборах данных и языках с иным делением текста на слова.
Рядом с WER в статьях и бенчмарках распознавания речи иногда встречается ещё один процент — CER. Это соседняя метрика, но считает она не то же самое, и путать их не стоит.
Что такое CER (Character Error Rate) и где он встречается
CER встречается там же, где и WER: в описаниях библиотек для оценки качества распознавания речи, в научных статьях, которые сравнивают модели между собой, и в бенчмарках, где системы распознавания разных языков ставят рядом. По определению это метрика точности распознавания речи, которая считает ошибки на уровне отдельных символов, а не целых слов, — в этом и есть её отличие от более привычной метрики, которая считает ошибки по словам целиком.
Разница становится важной там, где WER работает плохо: CER особенно полезен для мультиязычных наборов данных и языков, где WER плохо применим из-за разнообразия способов деления текста на слова.
Чем CER отличается от WER без формулы
CER — это метрика точности распознавания речи, устроенная как WER, но на уровне символов, а не слов: она смотрит, сколько отдельных символов итогового текста разошлось с эталонной записью, а не сколько разошлось целых слов.
Из-за этого CER и WER на одной и той же записи почти всегда дают разные числа: WER считает ошибочным слово целиком, даже если разошёлся один символ, а CER показывает, что именно внутри этого слова разошлось.
| Термин | Что значит | Пример |
|---|---|---|
| CER (Character Error Rate) | метрика точности распознавания на уровне символов, а не целых слов | CER особенно полезен для мультиязычных наборов данных и языков, где WER плохо применим из-за разнообразия способов деления текста на слова |
| TTS (Text-to-Speech) | технология синтеза речи из текста — обратная задача по отношению к распознаванию речи | TTS озвучивает текст, а ASR, наоборот, превращает речь в текст |
| Стриминговое распознавание | режим, при котором текст появляется по мере произнесения речи, а не только после полной остановки | стриминг показывает частичный текст ещё до конца фразы |
| Субтокенизация (subword-токенизация) | разбиение слов на более мелкие частотные части для работы языковой модели | субтокенизация позволяет модели работать даже с незнакомыми словами |
Что «Поток» может показать про эту метрику
«Поток» — облачный сервис: распознавание идёт на серверах в России, и без интернета он не работает. У «Потока» есть измеренный результат по другой метрике — WER 2,1% на нашем бенчмарке GolosTest, а отдельно по CER результата нет.
Одна подписка «Потока» — это приложение для диктовки и Telegram-бот @potok_now_bot для записей и голосовых.
Частые вопросы
WER (Word Error Rate) считает ошибки распознавания по целым словам, а CER (Character Error Rate) — по отдельным символам. CER похож на WER по смыслу, но работает на уровне символов, а не слов.
Проверить за вечер
Установите «Поток», продиктуйте то, что обычно печатаете, и сравните. 14 дней полного доступа, карта не нужна. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Готовые записи расшифровывает Telegram-бот «Потока» @potok_now_bot: пришлите файл или ссылку на YouTube, VK Видео или RuTube — текст придёт в чат. Подписка «Потока» снимает лимит и в боте.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: huggingface.co · support.microsoft.com