Бюджет задержки (latency budget) — это допустимое время отклика системы, которое закладывают при проектировании сервиса, включая распознавание речи. По документации Databricks, у большинства продакшен-приложений такой бюджет есть, и пропускную способность стараются наращивать именно в его рамках. Жёсткий бюджет задержки заставляет ограничивать пропускную способность сервиса, чтобы уложиться в заданное время ответа.
Когда систему распознавания речи проектируют, для неё заранее закладывают предел по времени ответа — этот предел и называют бюджетом задержки.
Откуда берётся бюджет задержки (latency budget)
Бюджет задержки (latency budget) — это допустимое время отклика системы, которое закладывают при проектировании сервиса. Ограничение появляется ещё на этапе проектирования, до того как сервис заработает: команда заранее определяет, сколько времени система может тратить на один ответ.
Термин относится к области серверных технологий распознавания речи (speech-tech). С ним также связаны термины сквозная модель (end-to-end model) и серверный инференс — оба тоже описывают серверную часть систем распознавания речи.
По документации Databricks, у большинства продакшен-приложений есть такой бюджет задержки, и рекомендация звучит так: наращивать пропускную способность сервиса именно в рамках этого бюджета, а не за его счёт. Источник — документация Databricks о запуске бенчмарка пропускной способности для моделей.
Рядом с этим термином часто упоминают распознавание речи (ASR).
| Термин | Что значит | Пример |
|---|---|---|
| Бюджет задержки (latency budget) | допустимое время отклика системы, заложенное при проектировании сервиса | жёсткий бюджет задержки заставляет ограничивать пропускную способность сервиса, чтобы уложиться в заданное время ответа |
| End-to-end модель | архитектура распознавания речи, где один нейросетевой блок сразу переводит звук в текст, без отдельных акустической и языковой моделей | end-to-end модели сегодня — основной подход в современном ASR |
| Серверный инференс | выполнение уже обученной модели распознавания на удалённом сервере для обработки запросов пользователей | при серверном инференсе звук уходит на сервер, а обратно приходит готовый текст; без подключения к сети такая модель недоступна |
| Распознавание речи | процесс преобразования звукового сигнала речи в текстовое представление | распознавание речи лежит в основе любой голосовой диктовки |
Пример из практики
Пример того, как бюджет задержки проявляется на практике: жёсткий бюджет задержки заставляет ограничивать пропускную способность сервиса, чтобы уложиться в заданное время ответа.
По документации Databricks, максимизировать пропускную способность рекомендуют именно с оглядкой на бюджет задержки, а не в отрыве от него. Это тот же источник, что и для определения термина: раздел документации Databricks о запуске бенчмарка пропускной способности для моделей.
Этот же пример относится к серверному инференсу: именно на этапе проектирования такой серверной части системы и закладывают бюджет задержки, до того как сервис начинает отвечать на реальные запросы.
При чём тут «Поток»
«Поток» — облачный сервис, распознавание идёт на серверах в России; без интернета он не работает. Одна подписка «Потока» — это приложение для диктовки на компьютере и Telegram-бот @potok_now_bot для записей и голосовых. Бюджет задержки — термин про общий подход к проектированию серверных систем распознавания речи, включая метрики вроде WER (word error rate), а не про архитектуру конкретного продукта.
Частые вопросы
Чтобы заранее ограничить, сколько времени система может тратить на ответ. По документации Databricks, у большинства продакшен-приложений есть такой бюджет, и пропускную способность увеличивают именно в его рамках, а не в ущерб скорости ответа.
Проверить за вечер
Установите «Поток», продиктуйте то, что обычно печатаете, и сравните. 14 дней полного доступа, карта не нужна. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Голосовое из мессенджера или запись созвона можно переслать боту @potok_now_bot — он пришлёт текст. Бот входит в ту же подписку, что и приложение «Поток».
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: learn.microsoft.com · support.microsoft.com