Голосовой ввод под русскую речь: как диктовать вместо печати

Голосовой ввод под русскую речь работает так же, как под любой язык: акустическая модель слышит звук, а языковая модель подбирает слово и склонение по контексту фразы, а не по словарю готовых форм. Сложность именно с русским — падежи, окончания и смесь русских с английскими терминами в одной фразе. У Потока для этого собственная модель под русскую речь и скорость надиктовки около 900 знаков в минуту.

Печатать по-русски и диктовать по-русски — разные задачи для программы распознавания: в английском почти нет падежей и окончаний, которые меняют форму слова в зависимости от места в предложении, а в русском это правило, а не исключение. Поэтому вопрос «работает ли голосовой ввод на русском» на практике распадается на два: слышит ли программа звук русской речи и умеет ли она правильно склонять и спрягать то, что услышала.

Как устроен голосовой ввод под русскую речь

Акустическая модель отвечает за первую часть: она превращает звук в последовательность вероятных звуков языка, и здесь важно, на каких записях её обучали — русская фонетика, ударения и интонации отличаются от английских или, скажем, испанских. Модель, которая почти не видела русской речи при обучении, будет чаще ошибаться уже на этом шаге, ещё до того, как дело дойдёт до выбора слов.

Вторая часть — языковая модель, которая берёт звуковые кандидаты и собирает из них слова с нужными окончаниями: не просто «стол», а «стола», «столу», «столом» — в зависимости от места слова во фразе. В русском это не отдельная тонкая настройка, а основа: без корректных падежей и окончаний надиктованный текст читается как неудачный перевод, даже если каждое отдельное слово распознано верно. Ровно поэтому одной точности слуха недостаточно — нужна модель, которая массово видела именно русские словоформы.

Отдельная трудность — смешанная речь, когда в одном предложении соседствуют русские слова и англоязычные термины: «загрузи файл в S3», «сделай merge этой ветки». Модели общего назначения, обученные сразу на множестве языков, распознают такую смесь менее предсказуемо: у Talkpad, например, заявлен автоматический выбор языка среди 100 с лишним, но отдельной модели под русский язык нет. Модель, обученная прицельно под русскую речь, включая термины и переключение между языками внутри фразы, справляется с этим случаем стабильнее — именно так устроено распознавание у Потока.

Личный словарь закрывает то, что не может предсказать ни одна модель заранее: редкие фамилии, названия внутренних систем компании, специфические термины отрасли. Если слово занесено в словарь один раз, дальше программа подставляет его по подсказке, а не подбирает ближайшую по звучанию форму из общего словаря языка.

На собственном бенчмарке GolosTest у Потока получилось WER 2,1% — это показатель для формата разговорной русской речи, на котором тестировалась модель, а не универсальная гарантия для любого текста с любыми терминами.

Где диктовка на русском выигрывает время, а где требует внимания

Там, где текст — это обычная связная речь без узких терминов и редких имён, диктовка на русском работает предсказуемо хорошо: языковая модель уверенно подбирает падежи и окончания по контексту, потому что таких конструкций в обучающих данных было много. Письма, сообщения, заметки, черновики документов — весь этот объём текста можно надиктовывать почти без правок.

Сложнее там, где в тексте много уникальных слов без явного контекста: списки названий, редкие имена и фамилии, узкая профессиональная терминология. Языковой модели не на что опереться, кроме общей статистики языка, и здесь чаще встречаются подстановки похожего по звучанию, но неверного слова. Личный словарь снимает эту проблему для слов, которые повторяются регулярно, но не для разовых редких имён.

У Диктуй, для сравнения, заявлена точность 95–98% на чистой русской речи — цифра хорошо иллюстрирует общий принцип: чистая, разборчивая речь без смешения языков и редких терминов распознаётся заметно надёжнее, чем речь с большим числом уникальных слов. GigaType и Voisty решают задачу русского языка по-разному: GigaType построен на нейросети GigaAM, обученной специально под русский, а у Voisty русский — один из более чем 90 поддерживаемых языков без отдельных публичных данных о качестве именно для него. Подробный разбор отличий такого подхода — в сравнении Потока и GigaType.

Когда лучше печатать, а не диктовать по-русски

Поток — облачный сервис, распознавание идёт на серверах в России, а без подключения к сети он не работает: если нужно надиктовать текст там, где интернета нет, программа не поможет, и здесь придётся печатать вручную или использовать программу с распознаванием на устройстве.

Печатать разумнее и там, где текст состоит в основном из точных данных без разговорной структуры: юридические формулировки, которые нельзя менять ни на слово, длинные списки артикулов или кодов, цитаты, которые должны совпадать с оригиналом буква в букву. Диктовка в таких случаях не столько экономит время, сколько добавляет этап тщательной сверки готового текста с тем, что нужно было написать. Похожий опыт постепенного перехода на диктовку описан в заметках о годе диктовки на русском языке.

Частые вопросы

Программы по теме: сравнение условий

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru