Акустика помещения и эхо: почему в большом кабинете голосовой ввод работает хуже

В большом кабинете с эхом микрофон улавливает не только прямую речь, но и её отражения от стен и потолка, и распознавание путает наложенные друг на друга звуки — ошибок становится больше. Ближе к микрофону и в комнате с мягкой мебелью эхо меньше мешает. У «Потока» заявленный WER 2,1% измерен на нашем бенчмарке GolosTest в контролируемых условиях, а не в гулком помещении.

Акустика помещения — это то, как звук ведёт себя в комнате: отражается от твёрдых поверхностей, гуляет эхом или, наоборот, гасится мягкими материалами. Для голосового ввода это работает так же, как для любого микрофона: чем больше отражённого звука долетает до него вперемешку с прямой речью, тем сложнее программе разобрать, что именно было сказано. Большой кабинет с голыми стенами и высоким потолком — почти эталонный пример такой сложной акустики.

Как устроен голосовой ввод и при чём тут акустика

Голосовой ввод работает в три шага: микрофон записывает звуковую волну, программа переводит её в цифровой сигнал, а нейросеть сопоставляет этот сигнал с фонемами и словами. Акустика помещения влияет ровно на первом шаге — на записи звука, ещё до того как сигнал попадает в какую-либо модель. В комнате с эхом до микрофона долетает не только прямая речь, но и её отражения от стен, стекла и потолка с небольшой задержкой: звуки накладываются друг на друга, и волна на входе получается смазанной. Модели труднее выделить границы слов и отдельные звуки в таком сигнале, поэтому ошибок становится больше.

Расстояние до микрофона усиливает эту проблему: чем дальше говорящий, тем слабее прямой сигнал относительно эха и фонового шума, и тем хуже соотношение сигнала и шума на входе. Твёрдые поверхности — голые стены, стекло, высокий потолок, паркет без ковра — отражают звук и удлиняют реверберацию; мягкая мебель, ковры, шторы и книжные полки его поглощают и делают акустику комнаты мягче.

То, где именно происходит распознавание — на устройстве или в облаке, — на эту проблему не влияет: искажение возникает при записи звука, раньше, чем программа успевает его обработать. Среди программ из подборки SpeakFlow, «Диктуй», Talkpad и Lispr распознают речь в облаке, а WhispeRu, GigaType, Molvi и Voisty — прямо на устройстве, но акустика гулкого кабинета одинаково мешает и тем, и другим: плохой сигнал на входе остаётся плохим независимо от того, где стоит модель. Полный список программ — в разделе программ голосового ввода.

Где диктовка экономит время, а где мешает акустика

Дома в комнате с мягкой мебелью, коврами и шторами голосовой ввод обычно работает предсказуемо: эхо гасится обивкой и тканью, а расстояние до микрофона в среднем небольшое — ноутбук или телефон почти всегда рядом. То же касается небольшого кабинета с закрытой дверью: чем меньше помещение и чем больше в нём мягких поверхностей, тем меньше отражений долетает до микрофона.

Большой опен-спейс, переговорная с голыми стенами и стеклянными перегородками или лекционный зал — противоположный случай: высокий потолок и твёрдые поверхности удлиняют реверберацию, а если рядом говорят другие люди, их голоса накладываются на основной сигнал и путают распознавание ещё сильнее, чем просто эхо. В такой обстановке точность падает у любой программы вне зависимости от того, облачная она или работает на устройстве, — офлайн-вариант вроде GigaType в этом смысле не исключение.

Отдельный сложный случай — видеозвонок на громкой связи: колонки воспроизводят звук собеседника, который тут же попадает обратно в микрофон и добавляется к отражениям от стен. Здесь помогают не столько настройки программы, сколько физика: наушники с микрофоном ближе ко рту снимают проблему эха от динамиков почти полностью, потому что микрофон вообще не слышит колонки.

Когда лучше печатать или взять другой инструмент

В очень шумном или сильно эхом помещении — вроде большого конференц-зала без мебели или включённой громкой связи — надёжнее напечатать текст вручную или пересесть ближе к источнику звука, чем полагаться на любую программу голосового ввода: ни одна из них не отличает искажённый эхом сигнал волшебным образом. «Поток» тут не исключение: это облачный сервис, распознавание идёт на серверах в России, и без интернета он не работает совсем, так что в переговорной без сети голосовой ввод в принципе недоступен, а не только менее точен из-за акустики. Голосовых команд «Поток» не поддерживает: микрофон выбирается не голосом, а в настройках «Потока» или в меню его значка в трее. Если акустика мешает часто, разумнее заранее пересесть ближе к ноутбуку или взять отдельный микрофон, чем менять программу.

Частые вопросы

Программы по теме: сравнение условий

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru