Для русского есть пять открытых моделей: Whisper, GigaAM, T-one, Parakeet и Vosk. У Whisper и GigaAM лицензия MIT, у Vosk и T-one — Apache, у Parakeet — CC BY 4.0. Размеры разные: от малой модели Vosk в 50 Мб до Whisper large в 1550 млн параметров. Поток (potok.now) — облачный сервис.
Открытая модель — это код и веса, которые можно скачать и запустить на своём компьютере или сервере. Для русского речи в проверенных справках и карточках нашлись пять таких моделей. Ниже лицензии, размеры и числа, которые сами авторы приводят для русского.
Открытые модели распознавания речи для русского: что в каждой
Whisper выпускается в шести размерах: tiny 39 млн параметров, base 74 млн, small 244 млн, medium 769 млн, large 1550 млн и turbo 809 млн. Лицензия MIT. По статье OpenAI WER на русском в тесте Fleurs, где дикторы читают текст, такой: tiny 31,1%, base 20,5%, small 11,4%, medium 7,2%, large 6,4%, large-v2 5,6%. Карточка large-v3 предупреждает, что модель может выдать текст, которого нет в записи, и склонна к повторам.
GigaAM v3 — модель с архитектурой Conformer на 220–240 млн параметров, лицензия MIT. Средний WER по таблице авторов — 9,1% у варианта CTC и 8,3% у RNNT. T-one — потоковая модель для телефонии, около 71,7 млн параметров, лицензия Apache 2.0, на колл-центре WER 8,63%.
Parakeet-tdt-0.6b-v3 содержит 0,6 млрд параметров и понимает 25 языков, включая русский. Лицензия CC BY 4.0, WER на русском: FLEURS 5,51%, CoVoST 3,00%. Vosk работает офлайн, лицензия Apache-2.0, поддерживает 20+ языков с русским; малая модель занимает 50 Мб.
Какую открытую модель взять под свою задачу
Для звонков авторы T-one называют именно телефонию: модель принимает звук кусками по 300 мс. В списке есть малая модель Vosk, 50 Мб, которая работает офлайн. Для длинной записи в карточке Parakeet указано до 24 минут звука на видеокарте A100 80 ГБ.
У Whisper turbo 809 млн параметров, декодер урезан с 32 до 4 слоёв, в карточке отмечена небольшая потеря качества. Если нужен Whisper, но он медленный, смотрите faster-whisper. Его замер на 13 минутах звука, модель large-v2 и видеокарта RTX 3070 Ti: исходный Whisper в fp16 считает 2 минуты 23 секунды, faster-whisper в fp16 — 1 минуту 3 секунды, в int8 — 59 секунд. Что такое квантование и как оно влияет на скорость, рассказывает материал про квантование моделей, а как устроен сам Whisper — обзор работы модели Whisper.
| Задача | Знаков | Печать (200 зн/мин) | Голос (900 зн/мин) |
|---|---|---|---|
| ответ в чате | 300 | 2 мин | 0.5 мин |
| письмо | 1500 | 8 мин | 1.7 мин |
| пост или протокол | 4000 | 20 мин | 4.4 мин |
| статья | 10000 | 50 мин | 11.1 мин |
Когда открытая модель не нужна
Открытая модель — это не готовая программа: её надо ставить, запускать и разбираться с видеопамятью. Если нужно просто диктовать, готовая программа проще. Поток — облачный сервис, распознавание идёт на серверах в России; без интернета он не работает. Приложений для Android и iPhone у Потока нет. Для готовых записей есть Telegram-бот potok_now_bot: одна подписка покрывает приложение для диктовки и бот для записей и голосовых. О локальных моделях и приватности есть отдельный материал про локальные модели.
Частые вопросы
Одного независимого замера на всех нет: каждая карточка даёт числа на своих наборах. Например, у Parakeet v3 WER на FLEURS 5,51%, у Whisper large-v2 в статье OpenAI на Fleurs 5,6%. Это разные замеры авторов, прямо их не сравнивают.
T-one заявлена для телефонии: это потоковая модель около 71,7 млн параметров, которая обрабатывает звук кусками по 300 мс. На колл-центре её авторы приводят WER 8,63%.
Зарегистрироваться можно по e-mail с паролем или через Google. При регистрации по e-mail на почту приходит письмо со ссылкой подтверждения; после перехода по ней можно войти. Подписку и оплату видно в личном кабинете potok.now/account.
Скачать установщик с potok.now/download → установить → зарегистрироваться по email → в любом текстовом поле зажать хоткей (по умолчанию Ctrl+Space) → говорить → отпустить хоткей — текст появится в поле.
Нет, версии Потока для Android нет — продукт работает только на компьютере: Windows, macOS и Linux. Для Android есть встроенный голосовой ввод Google (Gboard) или клавиатура Samsung.
Только с официального сайта: potok.now/download. Установка бесплатна, дальше действует 14-дневный пробный период с полным доступом без привязки карты.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Диктуете в приложении, а записи и голосовые расшифровывает @potok_now_bot в Telegram. 60 минут в месяц — бесплатно, подписка «Потока» снимает лимит в боте и в приложении.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: support.microsoft.com · support.apple.com