Почему для русской речи нужна отдельная модель распознавания

Русская речь отличается от английской падежами, богатым словообразованием и множеством омофонов, поэтому универсальные многоязычные модели распознают её хуже, чем язык с более простой морфологией. GigaType, например, работает на GigaAM — нейросети Сбера, обученной именно под русский. У Потока (potok.now) тоже собственная модель под русскую речь, с WER 2,1% по собственным измерениям на бенчмарке GolosTest.

Модели распознавания речи учатся на записях реальных разговоров и текстах, и чем больше данных на конкретном языке, тем точнее модель ловит именно его особенности. Английский исторически был выгоднее и разработчикам, и рынку — данных для него больше, а грамматика проще. Русский язык устроен сложнее: падежи, свободный порядок слов и специфичные термины требуют отдельной настройки, а не универсального решения на все языки сразу.

Что усложняет распознавание русской речи

Русский язык — с богатой системой падежей, гибким порядком слов и множеством словоформ одного и того же слова. Модель, обученная в первую очередь на английском, встречает незнакомые формы и путается там, где для англоязычной речи различий вообще не было бы. Добавляются профессиональные термины, аббревиатуры и имена собственные — их произношение и написание модель тоже должна была видеть в обучающих данных, а не угадывать по общим правилам языка.

Разработчики решают эту задачу по-разному. Один подход — многоязычная модель, которая распознаёт десятки языков через общий механизм автоопределения: так работает Talkpad, который по данным сайта поддерживает 100+ языков без отдельной модели именно под русский, и Voisty, где русский по данным сайта числится в списке из 90+ поддерживаемых языков без отдельных данных о качестве для него. Такой подход экономит разработчикам ресурсы, но качество распознавания одного конкретного языка зависит от того, сколько его было в общем массиве обучающих данных.

Другой подход — модель, обученная прицельно под один язык. GigaType построен на GigaAM, нейросети Сбера, обученной специально под русскую речь. «Диктуй» отдельно заявляет точность 95–98% на чистой русской речи наряду с поддержкой 50+ языков — то есть держит русский как отдельно измеряемый случай, а не часть общего списка. Molvi поддерживает русский, английский и автоопределение между ними — то есть работает с языком как с одним из нескольких целевых, а не одним из сотни второстепенных.

Оба подхода имеют право на существование: многоязычная модель удобна, если человек часто переключается между разными языками по отдельности, а модель, настроенная под один язык, обычно увереннее справляется именно с его терминами, ударениями и формами слов.

Когда разница между моделями особенно заметна

Разница между универсальной и специализированной моделью заметнее всего там, где в речи много специфической лексики. Диктовка технических терминов, аббревиатур или профессионального жаргона — юридического, медицинского, IT — требует, чтобы модель видела похожие слова в обучении, а не собирала их по буквам из общего словаря языка. Поток (potok.now) для этого держит отдельную модель, обученную под русскую речь, включая термины и переключение на русский с английским внутри одной фразы — то есть смешанную речь, где часть слов произносится по-английски.

Бытовая, разговорная речь без терминов — противоположный случай: здесь различия между подходами меньше, потому что базовые слова и обороты есть в обучающих данных любой модели, которая вообще заявляет поддержку русского. Разница чаще проявляется на длинных, быстро произнесённых фразах со свободным порядком слов — там, где модель должна понять смысл не по шаблону «подлежащее-сказуемое», а по контексту всего предложения.

Ещё один сценарий — переключение между языками внутри одной сессии диктовки. У Talkpad это устроено через автоопределение языка на лету, у Molvi — через явную поддержку русского, английского и автоопределения. Здесь важно не то, распознаёт ли сервис оба языка по отдельности, а то, как он ведёт себя на стыке — когда термин или имя произносится по-английски посреди русской фразы.

Как распознавание устроено у отдельных программ, видно в разборах GigaType и Потока и WhispeRu.

Где Поток не подходит

Поток — облачный сервис: распознавание речи идёт на серверах в России, без интернета он не работает — в отличие от сервисов с моделью на самом устройстве. Офлайн-режима и приложений для Android и iPhone у Потока нет — есть версии для Windows, macOS и Linux. Голосовых команд и правки текста голосом он тоже не поддерживает: вставляет ровно то, что было продиктовано, без редактирования на лету. Расшифровки уже записанных аудиофайлов и перевода речи между языками Поток не делает — только вставку продиктованного текста в активное поле. Бесплатный лимит в 2500 слов в неделю на одном устройстве хватит для нечастой диктовки, но не для нескольких часов диктовки ежедневно — здесь нужна платная подписка без лимита. Компаниям, которым запрещено передавать данные во внешнее облако, подойдёт только бизнес-тариф с серверами в периметре организации — по запросу.

Частые вопросы

Программы по теме: сравнение условий

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru