Перекрывающаяся речь (overlapping speech) — ситуация, когда говорят одновременно два и более человека. По определению это отрезок записи, на котором активны сразу несколько говорящих. Такие участки — одна из сложных задач для диаризации: разделить голоса и понять, кто что сказал, здесь труднее, чем в разговоре по очереди.
Стоит двум собеседникам заговорить одновременно, как программа распознавания речи начинает путаться, кому какие слова принадлежат. У этого явления есть отдельный термин.
Что такое перекрывающаяся речь и почему это сложно
Перекрывающаяся речь (overlapping speech) — это ситуация, когда говорят одновременно два и более человека. По определению системы, которая находит такие участки в записи, два и более говорящих считаются активными в промежутке между началом и концом речевого отрезка — то есть их голоса в этот момент звучат одновременно, а не по очереди. Модель обнаружения перекрытий pyannote описывает это так же: два и более говорящих активны в промежутке между началом (speech.start) и концом (speech.end) речевого отрезка.
Перекрывающаяся речь — одна из сложных задач для диаризации: разделения записи на голоса разных людей и определения, кто что сказал. Для сегментации говорящих с учётом такого перекрытия используют специальные end-to-end модели.
Как перекрывающаяся речь связана с диаризацией
Пока собеседники говорят по очереди, диаризации достаточно найти паузу между репликами; в перекрывающемся отрезке паузы нет — оба голоса звучат в одно и то же время, и программе нужно разделить именно их, а не точку между репликами. Перекрывающаяся речь — про то, сколько людей говорят одновременно в отрезке записи, а не про качество готового текста: это отдельный признак самой записи, а метрики вроде WER и CER считают уже готовый текст и с числом говорящих не связаны.
| Термин | Что значит | Пример |
|---|---|---|
| Перекрывающаяся речь (overlapping speech) | ситуация, когда говорят одновременно два и более человека | перекрывающаяся речь — одна из сложных задач для диаризации |
| Локальное (on-device) распознавание | обработка голоса непосредственно на компьютере или телефоне пользователя, без отправки на сервер | локальное распознавание работает без интернета, но требует ресурсов устройства |
| Спикер-зависимое распознавание | система, настроенная или обученная под голос конкретного человека для повышения точности | пример спикер-зависимой системы — Audrey (1952), созданная Bell Labs для распознавания цифр, произнесённых одним конкретным диктором |
| CER (Character Error Rate) | метрика точности распознавания на уровне символов, а не целых слов | CER особенно полезен для мультиязычных наборов данных и языков, где WER плохо применим из-за разнообразия способов деления текста на слова |
Что это значит для «Потока»
Разделение голосов нескольких людей — не то, что делает приложение «Поток»: оно распознаёт то, что человек говорит в микрофон при диктовке. Для готовых записей с несколькими участниками у «Потока» одна подписка на приложение для диктовки и Telegram-бот @potok_now_bot: в нём можно включить разметку по спикерам для расшифровки записи. «Поток» — облачный сервис, распознавание на серверах в России, без интернета он не работает.
Частые вопросы
Разделение голосов нескольких людей — не то, что делает приложение «Поток»: оно распознаёт то, что человек говорит в микрофон при диктовке. Перекрывающаяся речь — тема скорее готовых записей с несколькими участниками; для таких записей у «Потока» есть Telegram-бот @potok_now_bot с разметкой по спикерам.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Готовые записи расшифровывает Telegram-бот «Потока» @potok_now_bot: пришлите файл или ссылку на YouTube, VK Видео или RuTube — текст придёт в чат. Подписка «Потока» снимает лимит и в боте.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: huggingface.co · support.microsoft.com