Поток

Почему Whisper придумывает текст: галлюцинации

Марк Весёлый · основатель «Потока» · ~4 мин
Почему Whisper придумывает текст: галлюцинации

Карточка Whisper large-v3 предупреждает, что модель может выдать текст, которого нет в записи, и склонна к повторам. В параметрах есть condition_on_previous_text: прошлый вывод подаётся как подсказка, а отключение снижает зацикливание. Поток (potok.now) — облачная диктовка с собственной моделью для русской речи.

В расшифровке появляются фразы, которых никто не говорил, или одна строка повторяется снова и снова. Что об этом сказано в документации модели, разберём ниже.

Почему Whisper придумывает текст: что известно

В карточке large-v3 есть предупреждение: модель может выдать текст, которого нет в записи, и склонна к повторам. Там же указаны данные обучения: около 1 млн часов слабо размеченного звука и около 4 млн часов псевдоразмеченного. По сравнению с large-v2 у large-v3 на 10–20% меньше ошибок.

Отдельно описан механизм повторов в transcribe.py. Параметр condition_on_previous_text по умолчанию включён, и прошлый вывод подаётся модели как подсказка. Отключение этого параметра снижает зацикливание.

Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Что сделать с галлюцинациями Whisper

  1. Отключите condition_on_previous_text, чтобы прошлый вывод не шёл в подсказку: это снижает зацикливание.
  2. Если нужны метки слов, включите word_timestamps=True и задайте hallucination_silence_threshold. По умолчанию он равен None и работает только вместе с word_timestamps=True.
  3. В faster-whisper включите vad_filter=True. Фильтр Silero VAD по умолчанию вырезает тишину длиннее 2 секунд.

В transcribe.py есть и другие пороги: compression_ratio_threshold 2.4, logprob_threshold -1.0, no_speech_threshold 0.6, а temperature меняется от 0,0 до 1,0.

Если дело не в параметрах Whisper

Если запись нужно просто превратить в текст, сначала посмотрите как расшифровать mp3. Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Это приложение для диктовки на компьютере, версий для Android и iPhone нет. Для готовых записей есть Telegram-бот potok_now_bot: одна подписка действует и в приложении, и в боте. Остальные ответы — в подборке про голосовой ввод.

Разбор темы в три шага: Почему Whisper придумывает текст → Что сделать с галлюцинациями Whisper → Если дело не в параметрах Whisper
О чём страница по шагам: Почему Whisper придумывает текст → Что сделать с галлюцинациями Whisper → Если дело не в параметрах Whisper.

Частые вопросы

Исправила ли large-v3 проблему выдуманного текста?

По карточке large-v3 даёт на 10–20% меньше ошибок, чем large-v2. Предупреждение о тексте, которого нет в записи, и о склонности к повторам при этом остаётся в карточке самой large-v3.

Как установить и начать пользоваться Потоком: первые 5 минут?

Скачать установщик с potok.now/download → установить → зарегистрироваться по email → в любом текстовом поле зажать хоткей (по умолчанию Ctrl+Space) → говорить → отпустить хоткей — текст появится в поле.

Есть ли Поток для Android?

Нет, версии Потока для Android нет — продукт работает только на компьютере: Windows, macOS и Linux. Для Android есть встроенный голосовой ввод Google (Gboard) или клавиатура Samsung.

Поток — это не инвестиционная платформа?

Нет. «Поток» (potok.now) — это десктопное приложение для голосового ввода текста на Windows, macOS и Linux: зажал хоткей, продиктовал, текст вставился в активное поле. К инвестиционным сервисам или финансовым платформам с похожим названием отношения не имеет.

Что пишут пользователи в отзывах о Потоке?

На сайте potok.now собраны обобщённые отзывы, отражающие типичный опыт пользователей; в маркетинговых материалах они не выдаются за отзывы конкретных людей с именами.

Сколько стоит Поток и какие есть тарифы?

Сначала 14 дней бесплатного полного доступа без привязки карты. Дальше — бесплатный план (2500 слов в неделю, 1 устройство) или Pro за 690 ₽/мес (499 ₽/мес при оплате за год): безлимит, личный словарь, сниппеты, приоритетная поддержка. Для бизнеса — цена по запросу, с размещением on-prem или на серверах в РФ и поддержкой 152-ФЗ.

Проверить за вечер

Установите «Поток», продиктуйте то, что обычно печатаете, и сравните. 14 дней полного доступа, карта не нужна. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

Диктуете в приложении, а записи и голосовые расшифровывает @potok_now_bot в Telegram. 60 минут в месяц — бесплатно, подписка «Потока» снимает лимит в боте и в приложении.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает
Расчёт по средней скорости печати и речи, не замер.
ЗадачаЗнаковПечать (200 зн/мин)Голос (900 зн/мин)
ответ в чате3002 мин0.5 мин
письмо15008 мин1.7 мин
пост или протокол400020 мин4.4 мин
статья1000050 мин11.1 мин

Первоисточники: support.microsoft.com · support.apple.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв