Что такое стриминговое распознавание

Стриминговое распознавание — режим, при котором распознанный текст появляется по мере произнесения речи, а не только после полной остановки. Такой режим показывает частичный текст ещё до конца фразы. Термин встречается в описании серверных систем распознавания речи, например у Amazon Transcribe — по документации AWS, потоковая обработка идёт в реальном времени, и транскрипты формируются частичными результатами.

Стриминговое распознавание в двух словах — это когда текст программы распознавания речи появляется по частям, ещё пока человек говорит, а не только после того, как он замолчал. Разберёмся, что это значит и где встречается такой режим.

Где встречается стриминговое распознавание

Стриминговое распознавание встречается в описании серверных систем автоматического распознавания речи (ASR), где важно показывать результат по ходу дела, а не только после полной остановки:

• у Amazon Transcribe: по документации AWS, потоковая обработка работает в реальном времени, и транскрипты формируются частичными результатами;
• в сравнении с пакетным (batch) распознаванием — там результат приходит только целиком, после того как вся запись отправлена и обработана;
• рядом с другими техническими терминами той же области — ONNX, орфографическая нормализация, токен.

Термин относится к архитектуре серверной части системы распознавания, а не к тому, что видит пользователь в готовом тексте: и стриминговый, и пакетный режим в итоге могут выдать похожий финальный результат, разница — в том, когда именно появляется текст.

Что стриминг меняет для пользователя программы

Режим распознавания влияет на то, что видит пользователь во время диктовки, а не на итоговую точность текста. При стриминговом распознавании частичный текст появляется ещё до конца фразы — по документации AWS, это возможно потому, что потоковая обработка идёт в реальном времени и выдаёт частичные результаты, а не один итоговый текст в конце. При пакетном (batch) распознавании, наоборот, пользователь не видит ничего, пока вся запись не отправлена и не обработана целиком. Разница касается ощущения скорости работы программы, а не того, насколько точно распознан текст. Другие термины из той же области собраны в словаре распознавания речи.

Где Поток тут ни при чём

Стриминговое распознавание описывает архитектуру серверной части системы распознавания вообще, а не функцию одного конкретного продукта, и прямого отношения к тому, что видит пользователь именно в «Потоке», термин не имеет. О «Потоке» здесь можно сказать только то, что закреплено в его собственном описании: это облачный сервис, распознавание идёт на серверах в России, и без интернета «Поток» не работает.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: docs.aws.amazon.com · support.microsoft.com