Субтокенизация (subword-токенизация) — это разбиение слов на более мелкие частотные части, из которых языковая модель потом собирает текст, включая слова, которых не было в обучающих данных. Например, английское unbreakable распадается на «un-» и «breakable» — так модель справляется с незнакомым словом. Это общий приём распознавания речи, а не особенность конкретной программы.
Когда голосовой ввод правильно распознаёт редкое имя, профессиональный термин или непривычное слово, за это часто отвечает не модель распознавания речи целиком, а то, как она устроена внутри — в частности, субтокенизация. Термин относится ко всем языковым моделям вообще, разбор других понятий — в словаре терминов распознавания речи.
Что такое субтокенизация и где она встречается
- В языковых моделях вообще — субтокенизация определяет, на какие частотные куски режется текст, прежде чем модель начнёт с ним работать: не по буквам и не всегда по целым словам.
- В распознавании речи — когда звук превращается в текст, итоговые слова собираются из таких кусков; из-за этого модель может распознать слово, которого не было в обучающих данных, — просто как сумму уже знакомых частей.
- Для непривычных и составных слов — источник (nebius.com) приводит пример: английское unbreakable может быть разбито на «un-» и «breakable», то есть на приставку и уже знакомый модели корень.
- Для устойчивости к незнакомым словам в целом — это и есть смысл subword-токенизации: «субтокенизация позволяет модели работать даже с незнакомыми словами».
| Термин | Что значит | Пример |
|---|---|---|
| Субтокенизация (subword-токенизация) | разбиение слов на более мелкие частотные части для работы языковой модели | субтокенизация позволяет модели работать даже с незнакомыми словами |
| Boosting пользовательских слов | повышение вероятности распознавания конкретных слов из личного словаря пользователя | boosting помогает системе чаще угадывать редкие имена и термины из словаря |
| Автоматическая пунктуация | функция ASR-системы (или отдельный шаг постобработки), которая расставляет знаки препинания в уже распознанном тексте, как правило на основе языковой модели и контекста слов, а не напрямую по акустической интонации и паузам | фраза «привет как дела» превращается в «Привет, как дела?» |
| Спикер-зависимое распознавание | система, настроенная или обученная под голос конкретного человека для повышения точности | пример спикер-зависимой системы — Audrey (1952), созданная Bell Labs для распознавания цифр, произнесённых одним конкретным диктором |
Почему это стоит знать, выбирая программу для диктовки
Как именно устроена субтокенизация — деталь конкретной модели, которая обычно не публикуется целиком. Но сам факт её наличия объясняет практическую вещь: почему голосовой ввод иногда справляется с незнакомым словом, а не просто выдаёт ошибку или пропуск. Если распознаётся редкое имя, профессиональный термин или неологизм, у модели есть шанс хотя бы приблизительно собрать его по частям, вместо того чтобы отказаться распознавать целиком. Это не гарантия точности — качество зависит от того, из каких частей и как именно собирается слово, а эти детали у разных моделей разные и обычно не публикуются производителями. Поэтому субтокенизация — это скорее объяснение механизма, чем параметр, который можно сравнить между программами по цифрам: открытых цифр по субтокенизации отдельных моделей в паспортах продуктов обычно нет, точность моделей на практике сравнивают другими метриками, вроде WER.
Почему это не про «Поток»
«Поток» — облачный сервис: без интернета он не работает. Это факт про доступ к сети, а не про устройство модели — из него нельзя вывести, как именно «Поток» устроен внутри, включая субтокенизацию: такого разбора «Поток» не публикует. Публично известна только пользовательская сторона: например, что для имён и терминов, которые распознаются не так, как нужно, можно завести личный словарь — это функция подписки Pro, а не про субтокенизацию как таковую.
Частые вопросы
Нет, это общий приём для языковых моделей: разбиение слов на частотные части нужно любой модели, которая работает с текстом — в переводе, генерации текста и других задачах, а не только в распознавании речи.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: nebius.com · support.microsoft.com