Квантование моделей распознавания речи: при чём тут скорость ответа

Квантование — это когда веса нейросети хранят не в полной точности (32-битные числа), а огрублённо, например 8-битными. Модель становится меньше и считает быстрее, потому что процессору нужно обработать меньше данных за то же время — а значит, ответ приходит раньше. У Потока (potok.now) отклик держится около 0,4 с, и это результат именно такой оптимизации модели и всей цепочки, а не только скорости интернета.

Квантование — техника сжатия нейросетей: числа, которыми описаны веса модели, округляют до меньшей точности, чтобы модель занимала меньше памяти и считала быстрее. Для голосового ввода это напрямую связано со скоростью ответа: чем легче модель, тем быстрее она успевает обработать звук и вернуть текст, особенно если распознавание идёт не на мощном сервере, а прямо на компьютере пользователя.

Термины про скорость и модели, которые встречаются в описаниях программ

• Квантование (quantization) — снижение точности чисел в весах модели, например с 32 бит до 8. Модель занимает меньше памяти и считает быстрее, но обычно платит за это точностью: чем грубее квантование, тем выше риск ошибок распознавания.
• Дистилляция (distillation) — обучение маленькой модели повторять поведение большой; отдельный способ ускорения, который часто применяют вместе с квантованием. Пометка «Turbo» в названии модели, как у Voisty, где локальные модели включают Whisper Large V3 Turbo и NVIDIA Parakeet, обычно означает именно такую ускоренную версию.
• Инференс (inference) — сам процесс распознавания: подача звука в уже обученную модель и получение текста на выходе. Именно на этом этапе экономит время квантование, на обучение оно не влияет — модель обучают заранее, один раз.
• Локальная (офлайн) модель — распознавание выполняется на устройстве пользователя, а не на сервере разработчика; так устроены, например, Voisty, WhispeRu, GigaType и Molvi. Такие модели чаще квантуют или облегчают, потому что домашний компьютер обычно слабее сервера с мощной видеокартой.
• Отклик (latency) — время от конца фразы до появления текста. Складывается не только из скорости самой модели, но и из передачи звука по сети для облачных сервисов и загрузки на стороне сервера.
• «Быстрая модель», «облегчённая версия» — типичная формулировка в описаниях продуктов без технических подробностей. У Molvi, например, сказано: «на NVIDIA GPU лучшее качество, иначе быстрая модель на CPU» — за такой фразой обычно стоит облегчённая или квантованная версия исходной модели, но точный метод разработчики не всегда раскрывают.

Все эти термины описывают одно и то же явление с разных сторон: как сделать так, чтобы модель успевала посчитать результат быстрее, не потеряв качество распознавания настолько, чтобы это стало заметно на слух.

Как проверять обещания производителей о скорости

Формулировки вроде «молниеносное распознавание» или «работает мгновенно» ничего не говорят о механике: неизвестно, за счёт чего достигнута скорость — квантования, дистилляции, мощного сервера или просто короткой очереди запросов в момент теста. Ориентироваться стоит на конкретные цифры отклика или хотя бы на честное признание компромисса: если разработчик пишет, что за скорость отвечает более лёгкая модель, это уже полезнее пустого прилагательного.

Отдельно стоит проверять связку «офлайн» и «быстро»: локальное распознавание не гарантирует скорость само по себе — модель должна быть подобрана под конкретное железо. Если сайт честно предупреждает, что на слабом процессоре без видеокарты используется урезанная версия модели, как это описано у Molvi, это как раз пример разумной прозрачности, а не недостаток. Подробнее о том, как офлайн-модель на устройстве сравнивается с облачным распознаванием у Потока, — в материале «Поток или GigaType».

Для облачных сервисов важно ещё и то, что скорость зависит не только от модели: сеть, загруженность серверов в момент запроса и объём аудио тоже влияют на итоговый отклик. Поэтому даже точная цифра из документации — это условие лаборатории, а не гарантия для конкретного интернет-соединения. Разные подходы к скорости и офлайн-режиму у разных программ можно сравнить в каталоге программ голосового ввода.

Чего Поток не умеет

Поток распознаёт голос в облаке, а не на устройстве пользователя, поэтому его собственная скорость не зависит от мощности компьютера — но зависит от интернета: Поток — облачный сервис, распознавание идёт на серверах в России, и без сети он не работает вовсе.

Другие ограничения к скорости напрямую не относятся: офлайн-режима у Потока нет, нет приложений для Android и iPhone. Если нужна работа без подключения к сети в принципе, квантование модели тут не поможет — дело не в скорости, а в самой архитектуре сервиса.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru