Токен — это минимальная единица текста, с которой работает языковая модель: слово, часть слова или отдельный символ. Текст перед обработкой разбивается на такие токены, и длинное редкое слово модель может разбить на несколько токенов сразу, а не оставить одним куском, — так она справляется с незнакомыми словами.
Термин часто встречается в статьях и документации про языковые модели и распознавание речи, а не только в текстах для разработчиков. Разбираемся, что такое токен простыми словами и почему длинные редкие слова иногда «ломаются» на несколько частей.
Что такое токен
Токен — минимальная единица текста, с которой работает языковая модель: не обязательно целое слово, а иногда часть слова или даже отдельный символ. Источник поясняет это на примере: слово «unbreakable» модель может разбить на части «un-» и «breakable», а не оставить его одним токеном, — токены не всегда режут текст ровно по границам слов.
Такое деление нужно, чтобы модель могла работать с любым словом, даже с тем, которого не было в её обучающих данных: если целого слова модель «не знает», она может обработать его по частям, которые ей знакомы. Длинное редкое слово поэтому модель может разбить на несколько токенов — это прямо следует из того, как устроено такое деление текста.
Токен — не то же самое, что буква или слово в привычном смысле: это единица именно для внутренней работы модели, а не для чтения человеком. На письме и на слух в русском языке никакого «токена» не существует — это понятие появляется только на этапе, когда текст попадает в модель.
| Термин | Что значит | Пример |
|---|---|---|
| Токен | минимальная единица текста, с которой работает языковая модель — слово, часть слова или символ | длинное редкое слово модель может разбить на несколько токенов |
| Направленный микрофон | микрофон, лучше улавливающий звук с определённого направления, чем с остальных | направленный микрофон гарнитуры меньше захватывает посторонние звуки сбоку |
| Омофоны | слова, которые звучат одинаково, но пишутся и означают разное | «кампания» и «компания» — омофоны, которые ASR может перепутать без контекста |
| Мультиязычное распознавание | способность одной модели распознавать речь на нескольких языках; переключение языков внутри одной фразы (code-switching) для таких моделей — отдельная сложная задача | если говорящий в основном говорит на одном языке, но вставляет отдельные слова из другого языка, модель может не заметить переключения языка внутри одной фразы |
Как это выглядит на практике
На практике это значит, что редкие имена, специальные термины и составные слова не обязательно проходят через модель одним куском — она может собрать их из более простых, уже знакомых частей. Это касается любой модели, которая работает с текстом или речью, а не только систем перевода или чат-ботов. Именно поэтому две разные системы могут разбить одно и то же слово на разное число токенов — это зависит от того, какие частицы слов знает конкретная модель.
Для голосового ввода это объясняет, зачем нужен личный словарь для редких слов и имён: у «Потока» (potok.now) модель обучена под русскую речь, включая термины, а редкие слова и имена можно добавить в личный словарь — это функция тарифа Pro. Сам процесс превращения звука в текст — отдельный термин, автоматическое распознавание речи.
Как это касается «Потока», а где нет
Известно то, что относится к «Потоку» в целом: это облачный сервис, распознавание идёт на серверах в России, и без интернета он не работает. Для редких слов и терминов у «Потока» есть личный словарь на тарифе Pro. Другие термины из этой области — в словаре распознавания речи.
Частые вопросы
Не всегда. Токен — минимальная единица текста для языковой модели: иногда это целое слово, а иногда только часть слова или отдельный символ — длинное редкое слово модель может разбить сразу на несколько токенов.
Может. Длинное редкое слово модель нередко разбивает на несколько токенов вместо одного — например, слово «unbreakable» на английском может распасться на части «un-» и «breakable», а не остаться одним токеном.
Проверить за вечер
Установите «Поток», продиктуйте то, что обычно печатаете, и сравните. 14 дней полного доступа, карта не нужна. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: nebius.com · support.microsoft.com