Что такое edge-вычисления в распознавании речи

Edge-вычисления — это обработка данных на устройстве пользователя или рядом с ним, а не на удалённом сервере: так снижается задержка, но нужны ресурсы самого устройства. Поток (potok.now) устроен ровно наоборот — это облачный сервис, распознавание идёт на серверах в России, а не на устройстве.

В распознавании речи есть два основных места, где можно обрабатывать звук: на самом устройстве или на удалённом сервере. Edge-вычисления — про первый вариант: вычисления происходят прямо на устройстве пользователя или рядом с ним, а не где-то в дата-центре.

Где именно происходят вычисления

Edge-вычисления — модель распределённых вычислений, при которой обработка данных происходит на устройстве пользователя или в непосредственной близости от него, а не на удалённом сервере в дата-центре. Смысл в том, чтобы приблизить вычисления и хранение данных к источнику этих данных, а не отправлять всё в одну центральную точку.

Для распознавания речи это означает, что часть или вся обработка звука выполняется прямо в устройстве — телефоне, ноутбуке, умной колонке, — без постоянной отправки аудио на сервер. Компромисс здесь простой: edge-вычисления снижают задержку, потому что данным не нужно идти туда и обратно по сети, но взамен требуют вычислительных ресурсов самого устройства — процессора и памяти. Чем мощнее нужна модель распознавания, тем труднее уместить её вычисления на устройстве, и тем чаще выбирают сервер вместо edge, жертвуя частью задержки ради более крупной и точной модели.

Родственные понятия — ASR-системы, в которых как раз решают, где именно обрабатывать звук, и общий разбор терминов распознавания речи.

Что дают и что забирают edge-вычисления

Главный практический пример здесь — компромисс: edge-вычисления снижают задержку, но требуют ресурсов самого устройства. Задержка падает, потому что аудио и результат распознавания не нужно гонять по сети до сервера и обратно — вычисления происходят на месте. Плата за это — нагрузка на устройство: чем сложнее модель распознавания, тем больше ей нужно процессорной мощности, памяти и энергии батареи, и не каждое устройство способно потянуть это без задержек или разряда батареи.

Именно поэтому в реальных продуктах выбор редко бывает однозначным — «всё на устройстве» или «всё на сервере»: разработчики взвешивают, что важнее для конкретной задачи, минимальная задержка ценой ограничений устройства или более мощная модель ценой отправки данных на сервер.

Как это касается «Потока», а где нет

Поток к edge-вычислениям отношения не имеет: это облачный сервис, распознавание идёт на серверах в России, а не на устройстве пользователя, и без интернета оно не работает. Ему по-прежнему нужен системный доступ к микрофону на компьютере, но сама модель распознавания работает не локально, а на сервере. Бесплатных 2500 слов в неделю хватит, чтобы попробовать, как это устроено на практике.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: en.wikipedia.org · support.microsoft.com