Что такое трансформер (в ASR)

Трансформер — это архитектура нейросети, которая широко используется в современных моделях распознавания речи. Многие современные ASR-модели построены именно на архитектуре трансформера. Это внутреннее устройство модели, а не отдельная программа: как именно она реализована в конкретном сервисе диктовки, например «Потоке» (potok.now), обычно не публикуется.

Трансформер звучит как название робота, но в контексте ASR это не устройство и не бренд, а архитектура нейросети — способ, которым модель обрабатывает входные данные, включая звук.

Где встречается термин «трансформер»

Термин встречается там, где говорят об устройстве современных систем машинного обучения:

• в статьях и документации о моделях обработки текста, изображений и звука: трансформер преобразует входные данные в последовательность числовых представлений, которые называют токенами;
• в описаниях современных ASR-моделей — многие современные модели распознавания речи построены на архитектуре трансформера;
• в сравнениях архитектур нейросетей, где трансформер противопоставляют более ранним подходам к обработке последовательностей данных;
• в технических материалах разработчиков голосовых сервисов, когда они рассказывают об устройстве своей модели распознавания.

Почему упоминание трансформера ничего не решает при выборе

Слово «трансформер» в описании программы диктовки или голосового ассистента само по себе мало что говорит о том, насколько хорошо система распознаёт речь: эта архитектура широко используется в современных моделях распознавания речи, а значит, встречается у многих продуктов, а не у одного конкретного.

Смысл термина в другом: он объясняет, к какому семейству технологий относится модель, а не гарантирует результат. Одна и та же архитектура может быть обучена на разных данных, для разных языков и с разным качеством — именно от этого зависит, насколько точно программа распознаёт конкретную речь, а не от названия архитектуры самой по себе. Поэтому в описании программы стоит смотреть не столько на упоминание трансформера, сколько на то, какие языки заявлены и есть ли проверяемая метрика точности вроде WER — другие термины распознавания речи собраны в общем словаре сайта.

Где Поток тут ни при чём

Какую архитектуру нейросети использует модель «Потока» — трансформер или что-то другое, — не публикуется; известно только, что распознавание облачное, на собственной модели, обученной под русскую речь. «Поток» — облачный сервис, распознавание идёт на серверах в России, без интернета не работает.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: en.wikipedia.org · support.microsoft.com