Стоит ли дообучать Whisper на русском, показывает замер WER на ваших данных: готовых цифр для русского здесь нет. Пример с хинди из статьи Hugging Face: Whisper small, около 8 часов данных, WER снизился с 63,5% до 32,0%. Без дообучения есть готовая русская модель GigaAM и облачный сервис «Поток» (potok.now).
Вопрос в том, окупятся ли ваши данные и время обучения. Заранее ответ дают только примеры, и они отвечают не про русский.
Когда дообучать Whisper на русском имеет смысл
Дообучение — вариант тогда, когда у вас есть свои записи и эталонные тексты, на которых можно измерить WER до и после. Whisper обучен на 680 000 часах, и в примере Hugging Face его всё равно дообучали под один язык. Whisper small на хинди (Common Voice 11.0) получил около 8 часов данных, 6540 примеров: WER упал с 63,5% до 32,0% на шаге 4000. Обучение заняло 5–10 часов при fp16, batch 16 и gradient_checkpointing.
Хинди — низкоресурсный язык, а для русского цифр в этой статье нет. Поэтому пример показывает порядок действий, а не обещанный результат.
Когда лучше взять готовую русскую модель
Если своих данных и эталона нет, вариант без обучения — готовая русская модель GigaAM. По таблице самих авторов GigaAM средний WER у v3 CTC составляет 9,1 против 21,0 у Whisper. Это сравнение авторов, а не независимый замер.
Дообучение GigaAM тоже поддерживается: CTC и RNNT, PyTorch Lightning. Как Whisper показывает себя на русском в целом — в обзоре Whisper и русская речь. Другие ответы на похожие вопросы собраны в разделе про голосовой ввод.
- Платформы
- Windows, macOS, Linux
- Бесплатно
- Free: 2500 слов в неделю; первые 14 дней — полный доступ без карты
- Pro
- Pro 690 ₽/мес, 499 ₽/мес при оплате за год
- Оплата
- российские карты, рубли
- Где распознаётся речь
- облако, серверы в России; нужен интернет
«Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает. Скачать: potok.now/download
| Сервис | Бесплатно | Платно |
|---|---|---|
| Поток | Free: 2500 слов в неделю; первые 14 дней — полный доступ без карты | Pro 690 ₽/мес, 499 ₽/мес при оплате за год |
Где «Поток» не поможет с дообучением
«Поток» — облачный сервис диктовки с собственной моделью, обученной под русскую речь. Распознавание идёт на серверах в России, без интернета оно не работает. Расшифровки готовых записей в приложении нет: записи и голосовые расшифровывает Telegram-бот @potok_now_bot, а подписка одна — на приложение для диктовки и на бота.
Частые вопросы
В примере Hugging Face для Whisper small на хинди хватило около 8 часов данных, это 6540 примеров, а обучение заняло 5–10 часов. Это пример для низкоресурсного языка, цифры для русского в статье не приводятся.
2500 слов в неделю — это в среднем около 350 слов в день на одном устройстве: на короткую переписку хватает. Тому, кто диктует весь день (много текста, документы), лимита мало — тогда стоит смотреть на Pro без лимита слов.
Полностью безлимитны обычно встроенные системные инструменты (Win+H, диктовка macOS) — они бесплатны. У специализированных сервисов бесплатный план почти всегда лимитирован по словам или времени: у Потока это 2500 слов в неделю.
Уже надиктованный текст остаётся там, куда он вставлен, — в поле вашего приложения. Продолжить диктовку сверх бесплатного лимита можно на платном тарифе: у Потока Pro — без лимита слов; иначе — после обновления недельного лимита.
Бесплатные тарифы сервисов голосового ввода обычно ограничены по словам или минутам в неделю или месяц (у Потока — 2500 слов в неделю). Без лимита бесплатны встроенные системные инструменты — Win+H в Windows и Диктовка macOS.
Не все: у ряда зарубежных сервисов оплата только в долларах — например, у Wispr Flow на Windows и Mac штатной оплаты картой РФ нет. Поток принимает оплату рублём напрямую с карты РФ, это один из практических критериев выбора для российского пользователя.
Как начать
«Поток» есть для Windows, macOS и Linux. Две недели всё открыто бесплатно, дальше — 2500 слов в неделю без оплаты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Голосовое из мессенджера или запись созвона можно переслать боту @potok_now_bot — он пришлёт текст. Бот входит в ту же подписку, что и приложение «Поток».
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: support.microsoft.com · support.apple.com