GigaAM или Whisper на шумных записях

Отдельного замера на шуме у GigaAM и Whisper в источниках нет. Ближайшие наборы в таблице авторов GigaAM: Golos Farfield — WER 3,9–4,5% против 16,4% у Whisper, Callcenter — 9,5–10,3% против 23,1%. Это данные самих авторов; независимых замеров на шуме не найдено. Поток (potok.now) создан для диктовки.

Люди, которые выбирают между GigaAM и Whisper для записей с шумом, обычно ищут одну цифру: у кого меньше ошибок на плохом звуке. Такой цифры в проверенных источниках нет. Есть таблица авторов GigaAM с наборами, которые к шуму ближе всего.

Откуда взяты числа

Все числа ниже взяты из таблицы в репозитории GigaAM (evaluation.md) и принадлежат самим авторам модели. Показатель везде один: WER, доля ошибочных слов, чем меньше, тем лучше. Версия Whisper в таблице не указана, а пунктуация и регистр у Whisper в замере сняты. Раздела именно про шум в таблице нет, поэтому мы берём наборы, где звук заведомо неидеальный.

GigaAM или Whisper на шумных записях: что показывают ближайшие наборы

В каждой строке порядок такой: GigaAM v3 CTC, GigaAM v3 RNNT, Whisper.

• Golos Farfield — запись с далёкого микрофона: 4,5% / 3,9% / 16,4%.
• Callcenter — разговоры колл-центра: 10,3% / 9,5% / 23,1%.
• OpenSTT phone — телефонные записи: 18,6% / 17,4% / 27,4%.
• OpenSTT YouTube — записи с видеохостинга: 11,6% / 10,6% / 17,8%.
• Natural Speech — естественная речь: 7,8% / 6,9% / 13,4%.
• Disordered Speech — нетипичная речь: 20,6% / 19,2% / 58,6%.

Во всех шести строках у GigaAM число меньше, чем у Whisper. Самый большой разрыв на Disordered Speech: 19,2–20,6% против 58,6%. У GigaAM самые низкие числа среди этих строк на Golos Farfield, 3,9–4,5%. Авторы пишут, что учили модель в том числе на данных с фоновой музыкой, колл-центров и нетипичной речи. Карточка T-one даёт свой замер на колл-центре: 8,63% у T-one, 10,22% у GigaAM-RNNT v2 и 19,39% у Whisper large-v3. Это тоже числа авторов T-one, а не независимый замер.

Как выбрать модель под свой шум

Если записи у вас телефонные или снятые с далёкого микрофона, смотрите на строки OpenSTT phone, Callcenter и Golos Farfield: они ближе всего к вашему звуку. Если голос нетипичный, ближайшая строка — Disordered Speech, и там ошибок больше у обеих моделей. Выбирать между моделями по этим числам стоит осторожно: набор не равен вашей записи, а версия Whisper в таблице не названа. Надёжнее прогнать короткий кусок своего звука через обе модели и сравнить результат.

Если запись нужно просто превратить в текст, не разворачивая модели, посмотрите, как превратить запись звонка в текст или как сделать конспект встречи по записи.

Где Поток не подходит

Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Он рассчитан на диктовку с микрофона, а не на запуск моделей на своём компьютере. Для готовых записей у Потока есть Telegram-бот potok_now_bot: одна подписка покрывает приложение для диктовки и бот для записей и голосовых. Приложений для Android и iPhone нет, а бесплатного лимита мало тому, кто диктует весь день.

Частые вопросы

Если хотите сравнить сами

Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

Готовые записи расшифровывает Telegram-бот «Потока» @potok_now_bot: пришлите файл или ссылку на YouTube, VK Видео или RuTube — текст придёт в чат. Подписка «Потока» снимает лимит и в боте.

Встроенная диктовка и «Поток»

Первоисточники: support.microsoft.com · support.apple.com