Мультиязычное распознавание — это способность одной модели распознавать речь на нескольких языках. Сложнее всего ей даётся переключение языков внутри одной фразы (code-switching): если человек говорит в основном на одном языке, но вставляет отдельные слова из другого, модель может не заметить смены языка внутри этой же фразы.
Мультиязычная модель — не значит модель, которая одинаково легко переваривает любую смесь языков в одной фразе. У термина есть точная граница, и она проходит именно там, где начинается переключение языка посреди предложения.
Мультиязычное распознавание и определение языка: в чём разница
Мультиязычное распознавание — это способность одной модели распознавать речь на нескольких языках. Рядом стоит похожее, но другое понятие — определение языка (language identification): по формулировке Microsoft, непрерывное определение языка умеет распознавать смену языка на протяжении записи — например, если один говорящий сменил язык между репликами. А вот смену языка внутри одного и того же предложения такое определение не поддерживает.
Из этого следует практическая граница: если говорящий в основном говорит на одном языке, но вставляет отдельные слова из другого, модель может не заметить переключения языка внутри этой же фразы — то есть отдельное вставленное слово распознаётся неточно, а не помечается как «другой язык». Общее описание того, как вообще устроено распознавание речи (ASR), помогает понять, откуда берётся это ограничение.
Как оценивают качество мультиязычного распознавания
Качество распознавания речи обычно измеряют метрикой WER (word error rate): это доля ошибочных слов относительно эталонного текста. Её считают по формуле (S+D+I)/N, где S, D и I — заменённые, пропущенные и лишние слова, а N — число слов в эталоне. WER 10 % значит примерно 10 ошибок на 100 слов.
Для речи на нескольких языках формула та же. Возьмём пример из определения выше: человек говорит в основном на одном языке и вставляет отдельные слова из другого. Если модель не заметила переключения и записала такое слово неверно, в подсчёте оно станет заменой, то есть одной ошибкой из N, как любая другая.
| Термин | Что значит | Пример |
|---|---|---|
| Мультиязычное распознавание | способность одной модели распознавать речь на нескольких языках; переключение языков внутри одной фразы (code-switching) для таких моделей — отдельная сложная задача | если говорящий в основном говорит на одном языке, но вставляет отдельные слова из другого языка, модель может не заметить переключения языка внутри одной фразы |
| Пакетное распознавание | обработка уже целиком записанного аудиофайла, а не потока в реальном времени | пакетное распознавание применяют для расшифровки готовых записей |
| Wake word (слово пробуждения) | специальное слово, распознаваемое устройством постоянно в фоне, чтобы включить голосовой ассистент | «окей, Google» — типичный пример wake word |
| ITN (Inverse Text Normalization) | обратная нормализация текста — преобразование распознанных слов в привычную письменную форму (цифры, даты, сокращения) | ITN превращает «двадцать процентов» в «20%» |
Что из этого у Потока не заявлено
Собственная модель «Потока» обучена под русскую речь, включая русский вперемешку с английским, — то есть работает именно с той языковой парой, о которой шла речь в примере выше. Других языков и их сочетаний у «Потока» нет: только русский и русский вперемешку с английским.
У «Потока» заявлена сама поддержка русского вперемешку с английским, а не поведение при переключении языка ровно посреди одной и той же фразы. «Поток» — облачный сервис, распознавание идёт на серверах в России, без интернета он не работает.
Одна подписка «Потока» — это приложение для диктовки и Telegram-бот @potok_now_bot для записей и голосовых.
Частые вопросы
Не обязательно: по определению Microsoft непрерывное определение языка распознаёт смену языка между репликами в записи, но не поддерживает смену языка внутри одного предложения — отдельные вставленные слова другого языка модель может не заметить.
Скачать «Поток»
Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: learn.microsoft.com · support.microsoft.com