Фоновая музыка и голосовой ввод: насколько сильно это портит распознавание

Тихая фоновая музыка обычно не портит голосовой ввод: модели распознавания отделяют речь от ровного шума. Проблема начинается с громкого вокала и басов — слова путаются, а отклик у Потока (potok.now) держится около 0,4 с только при чистом сигнале. Чем громче музыка относительно голоса, тем больше ошибок и повторов.

Голосовой ввод переводит звук в текст: микрофон улавливает речь, программа отправляет сигнал в модель распознавания, та выбирает из потока звука слова и возвращает текст в поле ввода. Модель обучена узнавать человеческую речь на фоне разных звуков, поэтому лёгкий шум — вентилятор, разговор на кухне, тихая мелодия — почти не мешает. Вопрос в том, где проходит граница, после которой музыка начинает спорить с голосом за внимание модели. Тем, кто только разбирается с настройкой под свой язык, стоит сначала прочитать про голосовой ввод под русскую речь — там про базовую точность, а не про шум.

Как модель распознавания отделяет голос от музыки

Голосовой ввод работает в несколько шагов: микрофон записывает звук после нажатия горячей клавиши, программа определяет начало и конец речи и отправляет фрагмент в модель распознавания — на устройстве или в облаке. Модель ищет в звуковой волне паттерны, похожие на фонемы и слова языка, под который её обучали.

Проблема с музыкой в том, что она частично занимает те же частоты, что и человеческий голос, особенно вокал и бас-партии. Ровный фоновый шум — вентилятор, шум улицы, работающий кондиционер — модель отсекает довольно легко: у него нет структуры, похожей на речь. С музыкой сложнее: если в записи звучат слова песни, модель может спутать их с диктовкой или не сразу определить, какой источник звука ей нужно распознавать — голос пользователя или динамики рядом.

Громкость имеет большее значение, чем жанр музыки. Тихий фон почти всегда безопасен, потому что соотношение голоса и шума остаётся в пользу речи. Как только музыка звучит сопоставимо с голосом или громче, модель чаще ошибается: пропускает слова, вставляет лишние, обрезает фразы на середине.

Облачные и локальные модели устроены здесь похоже: обе анализируют звук статистически, и обеим нужен запас громкости голоса над фоном. Разница — в данных, на которых модель обучена, и под какой язык она заточена: у Потока, например, собственная модель, обученная специально под русскую речь, включая смешанную русско-английскую речь и термины. Это не отменяет физику сигнала: громкая музыка мешает любой модели распознавания, если забивает голос.

Когда диктовать под музыку безопасно, а когда лучше выключить звук

Если музыка звучит в наушниках, а не через колонки, микрофон её почти не слышит — тогда диктовка работает так же, как в тишине, независимо от громкости в наушниках. Проблема возникает только тогда, когда звук выходит в комнату и физически смешивается с голосом на входе микрофона.

В домашнем кабинете с колонками на средней громкости диктовка обычно надёжна: голос ближе к микрофону, чем звук из колонок, и соотношение в его пользу. Стоит сделать погромче трек с плотным миксом из баса и вокала — и вероятность ошибок растёт быстрее, чем от простого монотонного шума вроде вентилятора.

В опенспейсе или кафе к музыке добавляются разговоры соседей, а они мешают сильнее, чем сама музыка: это тоже человеческая речь на тех же частотах, и модели труднее выбрать, чей голос нужно распознавать. В таких местах безопаснее гарнитура с направленным микрофоном, а не встроенный микрофон ноутбука, который улавливает всю комнату целиком. Похожие наблюдения из повседневного использования есть в честном опыте полугода диктовки вместо клавиатуры — там же видно, как сильно разная обстановка влияет на результат.

На созвоне с музыкальной заставкой или роликом стоит на время диктовки приглушить систему: даже короткий громкий фрагмент способен испортить одну фразу целиком, и её придётся продиктовать заново.

Правило простое: диктовка и музыка обычно уживаются, если голос звучит громче или ближе к микрофону, чем колонки. Как только это соотношение переворачивается, в дело идёт любой фон, не только музыка, — и быстрее просто ненадолго убрать звук или отойти подальше от динамиков.

Когда лучше напечатать руками или разобраться со звуком отдельно

Если рядом играет громкая живая музыка или колонки работают в полную мощность — концерт, вечеринка, репетиция группы, — надёжнее напечатать текст руками или отойти в тихое место: ни одна модель не вытащит голос из такого фона стабильно. То же самое при плохом или отсутствующем интернете: Поток — облачный сервис, распознавание идёт на серверах в России, и без сети он не работает, в отличие от программ с распознаванием прямо на устройстве.

Поток не подходит и по причинам, не связанным с шумом: нет приложений для Android и iPhone, нет голосовых команд и правки текста голосом, нет расшифровки уже записанных файлов — для готовых записей у «Потока» есть Telegram-бот @potok_now_bot. Бесплатного лимита в 2500 слов в неделю мало тому, кто диктует часами каждый день в студии или колл-центре с постоянным фоном — там разумнее взять тариф без ограничения по словам.

Частые вопросы

Программы по теме: сравнение условий

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru