Поток

Как работает punctuation restoration в распознавании речи

Марк Весёлый · основатель «Потока» · ~4 мин
Как работает punctuation restoration в распознавании речи

Знаки препинания в распознавании речи появляются двумя путями. Модели вроде Parakeet-tdt-0.6b-v3, Canary-1b-v2 и GigaAM v3_e2e дают пунктуацию и заглавные буквы сразу, а отдельная модель дорабатывает готовый текст. По F1 запятой у GigaAM E2E-CTC 83,7 против 62,2 у Whisper Punctuator. Готовая диктовка есть и в «Поток» (potok.now).

Знаки препинания и заглавные буквы в тексте распознавания возникают двумя путями: их ставит сама модель распознавания или отдельный шаг после неё.

Как работает punctuation restoration в распознавании речи

Punctuation restoration — это восстановление знаков препинания и заглавных букв в тексте, который выдало распознавание речи.

Первый путь — пунктуация прямо в выдаче модели. Для Parakeet-tdt-0.6b-v3 и Canary-1b-v2 карточки на Hugging Face называют «Automatic punctuation and capitalization». Разметка входит и в результат GigaAM v3_e2e.

Второй путь — отдельная постобработка. В файле models.yml репозитория silero-models есть раздел te_models для репунктуации, а в README стоит ссылка на статью на Хабре про репунктуацию для четырёх языков.

Качество сравнивают по F1. В таблице evaluation.md у GigaAM F1 запятой равен 83,7 у GigaAM E2E-CTC и 62,2 у Whisper Punctuator. Это сравнение самих авторов GigaAM.

Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Где «Поток» не нужен для этой темы

Всё выше — про выбор моделей и сборку конвейера. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает. Знаки препинания и заглавные буквы он расставляет сам, диктовать «запятая» и «точка» не нужно. Голосовых команд и расшифровки готовых записей в приложении нет: записи и голосовые расшифровывает Telegram-бот @potok_now_bot, а подписка одна — на приложение для диктовки и на бота.

Что стоит учесть

Раздел te_models в silero-models найден только как раздел файла: поддержка русского и качество в нём не проверены, поэтому как рекомендацию для русской речи его не берите. В примерах документации Wav2vec2 CTC и Vosk знаки препинания не показаны. Если вам важна сама оценка ошибок распознавания, посмотрите про метрику WER; общий разбор — в статье о том, как устроено распознавание речи.

Разбор темы в три шага: Как работает punctuation restoration в распознавании речи → Где «Поток» не нужен для этой темы → Что стоит учесть
О чём страница по шагам: Как работает punctuation restoration в распознавании речи → Где «Поток» не нужен для этой темы → Что стоит учесть.

Частые вопросы

Чем пунктуация «сразу» отличается от отдельной репунктуации?

В первом случае знаки и заглавные буквы приходят в самом результате распознавания, как у Parakeet-tdt-0.6b-v3, Canary-1b-v2 и GigaAM v3_e2e. Во втором текст дорабатывает отдельная модель: в репозитории silero-models для этого есть раздел te_models.

Где скачать Поток бесплатно?

Только с официального сайта: potok.now/download. Установка бесплатна, дальше действует 14-дневный пробный период с полным доступом без привязки карты.

Как подтвердить почту и войти в Поток?

Зарегистрироваться можно по e-mail с паролем или через Google. При регистрации по e-mail на почту приходит письмо со ссылкой подтверждения; после перехода по ней можно войти. Подписку и оплату видно в личном кабинете potok.now/account.

Сколько стоит Поток и какие есть тарифы?

Сначала 14 дней бесплатного полного доступа без привязки карты. Дальше — бесплатный план (2500 слов в неделю, 1 устройство) или Pro за 690 ₽/мес (499 ₽/мес при оплате за год): безлимит, личный словарь, сниппеты, приоритетная поддержка. Для бизнеса — цена по запросу, с размещением on-prem или на серверах в РФ и поддержкой 152-ФЗ.

Поток — это не инвестиционная платформа?

Нет. «Поток» (potok.now) — это десктопное приложение для голосового ввода текста на Windows, macOS и Linux: зажал хоткей, продиктовал, текст вставился в активное поле. К инвестиционным сервисам или финансовым платформам с похожим названием отношения не имеет.

Поток не открывается — что делать?

Скачайте последнюю версию с официальной страницы potok.now/download и переустановите приложение: установщик со стороннего сайта может быть изменён. Если не помогло — напишите в поддержку: support@potok.now или в Telegram https://t.me/ai23c.

Если хотите сравнить сами

Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает
Расчёт по средней скорости печати и речи, не замер.
ЗадачаЗнаковПечать (200 зн/мин)Голос (900 зн/мин)
ответ в чате3002 мин0.5 мин
письмо15008 мин1.7 мин
пост или протокол400020 мин4.4 мин
статья1000050 мин11.1 мин

Первоисточники: support.microsoft.com · support.apple.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв