Отдельного числа WER для русского у Whisper large-v3 в карточке модели нет. Ближайшие данные: у large-v2 на Fleurs 5,6%, у large-v3 на Common Voice 19 — 5,78% по T-one и 5,5% по GigaAM. На Golos Crowd у Whisper в таблице GigaAM 19,0%. Поток (potok.now) — облачный сервис.
Whisper large-v3 — версия модели OpenAI. Про русский хочется узнать одну цифру, но в карточке её нет: там средний показатель и несколько языков. Ниже то, что удалось собрать из других источников.
Что известно о точности Whisper large-v3 на русском
Среднее по лидерборду в карточке large-v3 — WER 7,44%. Русского числа в карточке нет. Из других мест: в статье OpenAI для русского на Fleurs, где дикторы читают тексты, у large получилось 6,4%, у large-v2 — 5,6%. Карточка large-v3 обещает на 10–20% меньше ошибок, чем у large-v2; обучали её примерно на миллионе часов слабо размеченного и четырёх миллионах часов псевдоразмеченного звука. Размер модели — 1550 млн параметров (в панели Hugging Face «2B»), вместо 80 mel-бинов здесь 128. Лицензия на карточке — Apache-2.0, у оригинального репозитория Whisper — MIT, лицензии в источниках расходятся.
На Common Voice 19 для large-v3 приводят 5,78% (карточка T-one) и 5,5% (таблица GigaAM); постобработка текста в этих источниках разная. В таблице GigaAM на Golos Crowd у Whisper 19,0% против 2,4–2,8% у GigaAM, но версия Whisper в колонке не указана. В карточке GigaAM-v3 среднее у large-v3 — 25,1% против 9,2% и 8,4%. Это числа самих авторов GigaAM, независимого замера нет.
Что делать, если large-v3 повторяется или выдумывает текст
Карточка предупреждает: модель может выдать текст, которого нет в записи, склонна к повторам и работает хуже на языках с малым ресурсом. В коде Whisper параметр condition_on_previous_text по умолчанию включён: прошлый вывод подаётся как подсказка. Его отключение снижает зацикливание. Для имён и терминов есть initial_prompt, контекст для модели. Мейнтейнер пишет, что шанс стать немного лучше он даёт, но у части пользователей не помогает; запасной вариант — дообучение. Остальные пороги в коде такие: compression_ratio_threshold равен 2,4, logprob_threshold равен −1,0, no_speech_threshold равен 0,6, а temperature задаётся в диапазоне от 0,0 до 1,0. Параметр hallucination_silence_threshold по умолчанию не задан и работает только вместе с word_timestamps=True.
Какой размер модели берут и как Whisper устроен в целом, см. обзор Whisper и русской речи. Когда нужна просто работающая диктовка, посмотрите голосовой набор на русском.
| Задача | Знаков | Печать (200 зн/мин) | Голос (900 зн/мин) |
|---|---|---|---|
| ответ в чате | 300 | 2 мин | 0.5 мин |
| письмо | 1500 | 8 мин | 1.7 мин |
| пост или протокол | 4000 | 20 мин | 4.4 мин |
| статья | 10000 | 50 мин | 11.1 мин |
Когда Whisper large-v3 не нужен
Если вам нужно диктовать текст в обычные программы, запускать large-v3 самому не обязательно. Поток — облачный сервис, распознавание идёт на серверах в России; без интернета он не работает. Приложений для Android и iPhone у Потока нет, голосовых команд и правки голосом тоже, а перевода между языками не бывает. Для готовых записей есть Telegram-бот potok_now_bot: одна подписка покрывает приложение для диктовки и бот для записей и голосовых. Бесплатного лимита мало тому, кто диктует весь день.
Частые вопросы
В карточке large-v3 указан только средний WER 7,44% по лидерборду и цифры по нескольким языкам, русского числа нет. Русские числа приходят из других источников: статья OpenAI про large-v2, карточки T-one и GigaAM.
Карточка large-v3 сама предупреждает об этом. В коде Whisper отключение condition_on_previous_text, которое включено по умолчанию, снижает зацикливание. Для имён и терминов можно задать initial_prompt, но эффект небольшой.
Омофоны (слова, звучащие одинаково, но пишущиеся по-разному) — известное ограничение любого ASR: модель выбирает наиболее вероятный вариант по контексту фразы, и без достаточного контекста может ошибиться; личный словарь и явное произнесение по буквам снижают частоту таких ошибок для специфичных терминов.
У части систем — да, за счёт адаптации к личному словарю и часто используемым терминам пользователя; у других система статична и не подстраивается под конкретного человека без ручной настройки словаря.
Да: модели распознавания речи обучаются на определённом корпусе голосов, и заметный региональный или иностранный акцент может снижать точность, если он плохо представлен в обучающих данных конкретной модели.
Скачать установщик с potok.now/download → установить → зарегистрироваться по email → в любом текстовом поле зажать хоткей (по умолчанию Ctrl+Space) → говорить → отпустить хоткей — текст появится в поле.
Скачать «Поток»
Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Готовые записи расшифровывает Telegram-бот «Потока» @potok_now_bot: пришлите файл или ссылку на YouTube, VK Видео или RuTube — текст придёт в чат. Подписка «Потока» снимает лимит и в боте.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: support.microsoft.com · support.apple.com