Поток

faster-whisper на CPU: какую модель выбрать для русского

Марк Весёлый · основатель «Потока» · ~4 мин
faster-whisper на CPU: какую модель выбрать для русского

Для faster-whisper на CPU в README измерена модель small: с int8 на i7-12700K она обработала 13 минут звука за 1 мин 42 с и заняла 1477 МБ. По точности на русском (тест Fleurs) WER у small 11,4%, у medium 7,2%, у large 6,4%. Замеров medium и large на процессоре нет. Поток (potok.now) — облачная диктовка.

faster-whisper запускает Whisper быстрее оригинала и с меньшим расходом памяти: на CPU в одном и том же замере оригинал на fp32 занял 6 мин 58 с, а faster-whisper на fp32 — 2 мин 37 с. Для русского остаётся выбрать размер модели между скоростью и точностью.

faster-whisper на CPU: какую модель выбрать для русского

  1. Поставьте библиотеку командой pip install faster-whisper. Нужен Python 3.9 или новее; ffmpeg не требуется, аудио декодирует PyAV.
  2. Выберите размер модели. На процессоре в README измерена только small. Для русского на тесте Fleurs у small WER 11,4%, у medium 7,2%, у large 6,4% — чем больше модель, тем меньше ошибок. Скорость medium и large на CPU в README не измерена, поэтому проверьте её на своей записи.
  3. Укажите compute_type int8. В замере на small именно int8 дал 1 мин 42 с на 13 минутах звука и 1477 МБ памяти, а fp32 — 2 мин 37 с.
  4. Если нужна скорость и хватает памяти, включите пакетную обработку: int8 с batch 8 обработал тот же файл за 51 с, но занял 3608 МБ.
  5. Добавьте vad_filter=True: фильтр Silero VAD по умолчанию вырезает тишину длиннее 2 с.

Все цифры скорости получены на i7-12700K с 8 потоками. Цифры WER взяты из статьи OpenAI про оригинальный Whisper: это чтение вслух на Fleurs, а не живая разговорная речь. Подробнее о точности — в обзоре Whisper и русской речи.

Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Если на процессоре слишком медленно

Сравните режимы на одном файле: на small int8 быстрее fp32 (1 мин 42 с против 2 мин 37 с), а int8 с batch 8 быстрее всех (51 с). Если скорости всё равно мало, попробуйте модель меньшего размера, помня про рост WER.

Разбор темы в три шага: faster-whisper на CPU → Если на процессоре слишком медленно → Когда запускать модель у себя не нужно
О чём страница по шагам: faster-whisper на CPU → Если на процессоре слишком медленно → Когда запускать модель у себя не нужно.

Когда запускать модель у себя не нужно

Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Он не запускает модели на вашем процессоре: распознавание идёт на облачных серверах, а вы просто зажимаете горячую клавишу и диктуете. Приложений для Android и iPhone нет. Для готовых записей у Потока есть Telegram-бот potok_now_bot: одна подписка покрывает приложение для диктовки и бот для записей и голосовых. О том, почему для русской речи нужна своя модель, — в отдельном разборе.

Сравнение «Потока» и Win+H по строкам: платформы, бесплатно, оплата из рф, распознавание
«Поток» и Win+H: условия по официальным сайтам сервисов.

Частые вопросы

Нужен ли ffmpeg для faster-whisper?

Нет: аудио декодирует PyAV, отдельно ставить ffmpeg не требуется. Нужен Python 3.9 или новее, библиотека ставится командой pip install faster-whisper, лицензия MIT. Для запуска на видеокарте дополнительно нужны cuBLAS и cuDNN 9 под CUDA 12.

Подходит ли distil-large-v3 для русского?

Для русского эта модель в README не заявлена: пример с ней дан для английского языка. Поэтому для русского ориентируйтесь на small, medium и large, для которых есть цифры WER на тесте Fleurs.

Есть ли Поток для Android?

Нет, версии Потока для Android нет — продукт работает только на компьютере: Windows, macOS и Linux. Для Android есть встроенный голосовой ввод Google (Gboard) или клавиатура Samsung.

Поток — это не инвестиционная платформа?

Нет. «Поток» (potok.now) — это десктопное приложение для голосового ввода текста на Windows, macOS и Linux: зажал хоткей, продиктовал, текст вставился в активное поле. К инвестиционным сервисам или финансовым платформам с похожим названием отношения не имеет.

Где скачать Поток бесплатно?

Только с официального сайта: potok.now/download. Установка бесплатна, дальше действует 14-дневный пробный период с полным доступом без привязки карты.

Есть ли расширение Потока для браузера?

Отдельного расширения для браузера у Потока нет: это десктопное приложение, которое работает поверх любого окна и поля ввода, включая браузер, — а не отдельный плагин.

Скачать «Поток»

Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает
Расчёт по средней скорости печати и речи, не замер.
ЗадачаЗнаковПечать (200 зн/мин)Голос (900 зн/мин)
ответ в чате3002 мин0.5 мин
письмо15008 мин1.7 мин
пост или протокол400020 мин4.4 мин
статья1000050 мин11.1 мин

Первоисточники: support.microsoft.com · support.apple.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв