BPE (Byte Pair Encoding) — алгоритм субтокенизации: он находит самую частую пару соседних символов или кусков в тексте и постепенно объединяет такие пары в токены покрупнее. Так исходный текст разбивается не на отдельные буквы и не всегда на целые слова, а на частотные куски. Это один из самых распространённых способов токенизации текста для моделей.
BPE — один из способов заранее разбить текст на куски, с которыми работает модель. Разбор соседних понятий — в словаре терминов распознавания речи.
Что такое BPE (Byte Pair Encoding) и где он встречается
- В токенизации текста вообще — BPE сокращает словарь модели до управляемого размера, объединяя часто встречающиеся пары символов в токены, вместо того чтобы держать отдельный токен на каждое целое слово.
- В работе самого алгоритма: источник (Wikipedia) описывает его так. Сначала каждый символ — это отдельный однобуквенный токен, затем на каждом шаге самая частая соседняя пара токенов объединяется в новый, более длинный токен, и все её вхождения в тексте заменяются на него.
- В машинном переводе и других задачах с текстом — BPE используется не только в распознавании речи: это общий способ токенизации для языковых моделей вообще.
| Термин | Что значит | Пример |
|---|---|---|
| BPE (Byte Pair Encoding) | алгоритм субтокенизации, который постепенно объединяет часто встречающиеся пары символов в токены | BPE — один из самых распространённых способов токенизации текста для моделей |
| Rescoring | повторная оценка нескольких вариантов распознанного текста для выбора наиболее вероятного | rescoring помогает языковой модели поправить черновой результат акустической модели |
| Сегментация речи | разбиение непрерывного звукового потока на отдельные смысловые или паузные фрагменты | сегментация помогает системе распознавать длинную речь по частям |
| Шумоподавление | обработка звука, уменьшающая посторонние шумы перед распознаванием речи | шумоподавление повышает точность диктовки в шумном помещении |
Почему это важно при выборе программы для диктовки
BPE описывает, как текст делят на куски для модели, — это внутреннее устройство, а не параметр, по которому выбирают программу для диктовки. Размер словаря и число шагов объединения у каждой модели свои. Выбирая программу для диктовки, смотрят на то, что видно пользователю: на каких языках она распознаёт речь, где идёт обработка — в облаке или на устройстве, сколько стоит и есть ли бесплатный лимит. Точность моделей на практике сравнивают другими метриками, например WER — долей ошибочных слов относительно эталонного текста: WER 10% значит примерно 10 ошибок на 100 слов.
Причём тут «Поток»
«Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Частые вопросы
Нет, это общий приём токенизации текста для языковых моделей вообще: BPE — один из самых распространённых способов разбить текст на куски, а распознавание речи — только одна из областей, где он используется.
Скачать «Поток»
Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Диктуете в приложении, а записи и голосовые расшифровывает @potok_now_bot в Telegram. 60 минут в месяц — бесплатно, подписка «Потока» снимает лимит в боте и в приложении.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: en.wikipedia.org · support.microsoft.com