Как делают голосовой ввод под русскую речь: взгляд изнутри

Голосовой ввод под русскую речь делают, обучая нейросеть отдельно на русских голосовых данных — интонациях, падежных окончаниях и смешанной русско-английской лексике, а не беря готовую мультиязычную модель без адаптации. У Потока (potok.now) собственная модель, обученная именно под русскую речь, с точностью WER 2,1% на нашем бенчмарке GolosTest.

Речь на русском — это не просто набор слов на другом языке, а другая фонетика, падежные окончания, ударения и обилие профессиональных терминов, которые не встречаются в английских датасетах, на которых обучено большинство базовых распознавателей речи. Модель, которая хорошо справляется с английским, необязательно справится с русским: ей нужны отдельные тренировочные данные, размеченные носителями, и отдельная настройка под звуки и грамматику именно русского языка.

Что нужно нейросети, чтобы понимать русскую речь

Голосовой ввод строится на двух связанных частях: акустической модели, которая превращает звук в фонемы и слоги, и языковой модели, которая собирает их в связные слова и фразы с учётом контекста. Для русского языка обе части нужно тренировать отдельно: русский язык — это шесть падежей, свободный порядок слов, множество окончаний у одного и того же слова и ударения, которые меняют смысл. Модель, обученная в основном на английских данных, эти особенности не улавливает и на русской речи ошибается заметно чаще.

Второй элемент — объём и качество размеченных данных: часы русской речи, записанной с разными акцентами, темпом и фоновым шумом, размеченные носителями языка вручную. Чем больше в датасете реальной разговорной речи, а не дикторского чтения, тем лучше модель справляется с обычной диктовкой, а не только с чёткой начитанной фразой в тишине.

Третий элемент — словарь профессиональных терминов и смешанной речи. У Потока собственная модель обучена именно под русскую речь, включая термины и русский вперемешку с английским: модель понимает, когда в середине русской фразы звучит английское название программы или должности, и не пытается расслышать его как русское слово. У части сервисов из обзора отдельной русской модели нет вовсе: Talkpad, например, распознаёт мультиязычно с автоопределением языка среди 100+ языков, без отдельной модели под русский, а Voisty заявляет русский в списке 90+ поддерживаемых языков без публичных данных о качестве именно для русского.

Есть и обратный пример специализации: GigaType построен на GigaAM — нейросети Сбера, обученной специально под русский язык, а Диктуй заявляет точность 95–98% на чистой русской речи. Разница между «русский в списке поддерживаемых» и «модель обучена конкретно под русский» на практике и определяет, насколько хорошо программа справляется с настоящей, не идеально чистой русской речью.

Где разница между моделями заметнее всего

Разница между моделью, обученной под русский, и универсальной мультиязычной моделью заметнее всего там, где речь неидеальна: профессиональный жаргон и аббревиатуры, имена и названия, быстрый темп речи, лёгкий акцент, речь с шумом на фоне. На короткой чёткой фразе вроде «поставь встречу на завтра в десять» разница между моделями почти не видна — обе справляются одинаково хорошо.

Отдельная сложность для распознавания — смешанная речь, когда в русской фразе встречаются английские слова: названия программ, должностей, технических терминов. Модель, обученная понимать переключение между языками внутри одной фразы, распознаёт такие фразы целиком, а не по частям вперемешку с ошибками — это одно из тех мест, где специально обученная под русский модель выигрывает у общей мультиязычной.

Ударения и падежные окончания — ещё одна область, где заметна разница: русский язык допускает свободный порядок слов и меняет форму слова в зависимости от роли в предложении, и языковой модели приходится учитывать эту грамматику, чтобы не путать похожие по звучанию, но разные по смыслу формы. Для сервисов без отдельной русской языковой модели такие ошибки в тексте встречаются чаще, особенно в длинных фразах со сложной структурой.

Меньше всего разница ощущается в цифрах, датах и простых командах: они распознаются почти одинаково хорошо любой моделью, потому что вариативность произношения там невелика.

Когда одной хорошей модели недостаточно

Даже модель, отлично обученная под русскую речь, не решает всех задач голосового ввода. Поток — облачный сервис, распознавание на серверах в России, и без интернета он не работает: качество модели тут ни при чём, без сети распознавание в принципе не запускается. Для диктовки без связи нужна программа с офлайн-распознаванием, например GigaType на нейросети GigaAM или Voisty, хотя офлайн-модели обычно требовательнее к ресурсам компьютера, чем облачные.

Хорошая модель под русский язык не заменяет и редактирование: даже с точным распознаванием текст иногда нужно поправить — расставить структуру, убрать оговорки, подставить термин из личного словаря. Для голосовых команд по правке текста, которых у большинства программ из обзора, включая Поток, нет, придётся переключаться на клавиатуру или мышь.

Частые вопросы

Программы по теме: сравнение условий

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru