Attention-механизм — часть нейросети, которая на каждом шаге генерации слова определяет, какие участки входных данных сейчас важнее остальных, и уделяет им больше «внимания». В распознавании речи это позволяет модели при написании очередного слова опираться на нужный отрезок звука, а не только на то, что было сказано непосредственно перед ним. Attention-механизм лежит в основе современных трансформерных ASR-моделей.
Модель должна написать очередное слово и решить, на какой именно кусок сказанного сейчас опираться — attention-механизм и есть тот способ, которым нейросеть расставляет такие приоритеты. Разбор соседних понятий — в словаре терминов распознавания речи.
Что означает термин attention-механизм
Attention-механизм — часть нейросети, которая на каждом шаге генерации слова определяет, какие участки входных данных важнее остальных, и уделяет им больше «внимания» при расчёте результата. По определению источника (Wikipedia), attention — это способ определить важность каждого элемента последовательности относительно остальных элементов той же последовательности.
Применительно к распознаванию речи это значит, что при написании конкретного слова модель не ограничена жёстким окном соседних звуков: она может «оглянуться» на любой участок произнесённой фразы и опереться именно на тот отрезок, который сейчас важнее для точного результата. Attention-механизм лежит в основе современных трансформерных моделей распознавания речи (ASR).
| Термин | Что значит | Пример |
|---|---|---|
| Attention-механизм | часть нейросети, которая позволяет модели фокусироваться на релевантных участках звука при генерации каждого слова | attention-механизм лежит в основе современных трансформерных ASR-моделей |
| Хотворд (hotword) | заранее заданное слово или фраза, которая запускает определённое действие голосом | хотворд используют для активации ассистента без нажатия кнопок |
| Мультиязычное распознавание | способность одной модели распознавать речь на нескольких языках; переключение языков внутри одной фразы (code-switching) для таких моделей — отдельная сложная задача | если говорящий в основном говорит на одном языке, но вставляет отдельные слова из другого языка, модель может не заметить переключения языка внутри одной фразы |
| Языковая модель | часть системы распознавания речи, которая оценивает, насколько правдоподобна последовательность слов в языке | языковая модель помогает выбрать «распознаю» вместо похожего по звучанию «распознаю ли» |
Пример из диктовки
Attention-механизм лежит в основе современных трансформерных ASR-моделей — то есть систем, которые превращают звук речи в текст. Когда такая модель распознаёт длинную фразу с несколькими похожими по звучанию словами в разных местах, attention помогает ей на каждом шаге сверяться с нужным участком записи, а не только с тем, что произнесено непосредственно перед текущим словом.
Как это касается Потока, а где нет
Поток — облачный сервис, распознавание на серверах в России, без интернета он не работает. Какая именно архитектура распознавания используется внутри его собственной модели, «Поток» не публикует — attention-механизм здесь фигурирует как общее устройство современных ASR-моделей, а не как заявленная деталь конкретного продукта.
Частые вопросы
Нет, это общий приём в архитектуре нейросетей: он оценивает важность каждого элемента последовательности относительно остальных элементов той же последовательности. В распознавании речи это в первую очередь работа современных трансформерных ASR-моделей.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: en.wikipedia.org · support.microsoft.com