Поток

Какая видеокарта нужна для Whisper large

Марк Весёлый · основатель «Потока» · ~4 мин
Какая видеокарта нужна для Whisper large

Для Whisper large таблица в README оригинала называет около 10 ГБ видеопамяти. В замере faster-whisper на RTX 3070 Ti с 8 ГБ модель large-v2 заняла 4525 МБ в fp16 и 2926 МБ в int8. Поток (potok.now) — облачная диктовка для компьютера, а не способ запустить Whisper у себя.

Ответ зависит от того, какой реализацией Whisper вы пользуетесь и в какой точности запускаете модель.

Какая видеокарта нужна для Whisper large: что проверить

  1. Сравните свой объём видеопамяти с таблицей README оригинала: у tiny и base около 1 ГБ, у small около 2 ГБ, у medium около 5 ГБ, у turbo около 6 ГБ, у large около 10 ГБ.
  2. Посмотрите, какой реализацией вы пользуетесь. В замере на 13 минутах звука с large-v2 на RTX 3070 Ti (8 ГБ) openai/whisper в fp16 занял 4708 МБ и отработал за 2 минуты 23 секунды, faster-whisper в fp16 занял 4525 МБ и уложился в 1 минуту 3 секунды.
  3. Проверьте режим точности. У faster-whisper в int8 тот же замер дал 2926 МБ и 59 секунд.
  4. Если нужна скорость, а память есть, включайте пакетную обработку: пакет из 8 фрагментов в fp16 занял 6090 МБ и отработал за 17 секунд.
  5. Для запуска faster-whisper на видеокарте нужны cuBLAS и cuDNN 9 под CUDA 12.
Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Что делать, если памяти меньше

Если на large памяти не хватает, смотрите на модели поменьше: medium берёт около 5 ГБ, turbo около 6 ГБ, small около 2 ГБ. У whisper.cpp для large в таблице указано около 3,9 ГБ памяти.

Запуск без видеокарты тоже описан. Для small на процессоре openai/whisper в fp32 занял 2335 МБ памяти, а faster-whisper в int8 — 1477 МБ.

Цифры замера относятся к конкретной карте и 13 минутам звука с large-v2. Для вашей карты и вашей записи они ориентир, а не обещание. Подробнее про видео и записи — в статье как перевести видео в текст.

Когда вопрос не к видеокарте

Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Это приложение для диктовки на компьютере, и запускать Whisper оно не помогает. Версий для Android и iPhone нет. Готовые записи расшифровывает Telegram-бот potok_now_bot: одна подписка действует и в приложении, и в боте. Другие темы — в подборке ответов про голосовой ввод.

Разбор темы в три шага: Какая видеокарта нужна для Whisper large → Что делать → Когда вопрос не к видеокарте
О чём страница по шагам: Какая видеокарта нужна для Whisper large → Что делать → Когда вопрос не к видеокарте.

Частые вопросы

Уместится ли Whisper large в видеокарту на 8 ГБ?

В замере faster-whisper на RTX 3070 Ti с 8 ГБ large-v2 занял 4525 МБ в fp16, 2926 МБ в int8 и до 6090 МБ с пакетом из 8 фрагментов. Оригинальный openai/whisper в fp16 на том же звуке взял 4708 МБ.

Есть ли Поток для Android?

Нет, версии Потока для Android нет — продукт работает только на компьютере: Windows, macOS и Linux. Для Android есть встроенный голосовой ввод Google (Gboard) или клавиатура Samsung.

Что пишут пользователи в отзывах о Потоке?

На сайте potok.now собраны обобщённые отзывы, отражающие типичный опыт пользователей; в маркетинговых материалах они не выдаются за отзывы конкретных людей с именами.

Сколько стоит Поток и какие есть тарифы?

Сначала 14 дней бесплатного полного доступа без привязки карты. Дальше — бесплатный план (2500 слов в неделю, 1 устройство) или Pro за 690 ₽/мес (499 ₽/мес при оплате за год): безлимит, личный словарь, сниппеты, приоритетная поддержка. Для бизнеса — цена по запросу, с размещением on-prem или на серверах в РФ и поддержкой 152-ФЗ.

Как установить и начать пользоваться Потоком: первые 5 минут?

Скачать установщик с potok.now/download → установить → зарегистрироваться по email → в любом текстовом поле зажать хоткей (по умолчанию Ctrl+Space) → говорить → отпустить хоткей — текст появится в поле.

Поток не открывается — что делать?

Скачайте последнюю версию с официальной страницы potok.now/download и переустановите приложение: установщик со стороннего сайта может быть изменён. Если не помогло — напишите в поддержку: support@potok.now или в Telegram https://t.me/ai23c.

Если хотите сравнить сами

Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает
Расчёт по средней скорости печати и речи, не замер.
ЗадачаЗнаковПечать (200 зн/мин)Голос (900 зн/мин)
ответ в чате3002 мин0.5 мин
письмо15008 мин1.7 мин
пост или протокол400020 мин4.4 мин
статья1000050 мин11.1 мин

Первоисточники: support.microsoft.com · support.apple.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв