Что такое квантование модели

Квантование модели — уменьшение точности числовых вычислений модели ради ускорения её работы и снижения потребления ресурсов. Термин распространён в машинном обучении, включая распознавание речи: по определению IBM, это переход от более точного формата чисел к менее точному. Квантование модели ускоряет её работу ценой небольшой потери точности.

Слово «квантование» встречается в описаниях моделей машинного обучения, в том числе систем распознавания речи, и своим техническим видом обычно пугает больше, чем следовало бы. Разберёмся, что оно значит и как связано со скоростью и точностью работы модели.

Где встречается квантование модели

Квантование модели чаще всего упоминают в похожих контекстах:

• В описании того, как модели распознавания речи ускоряют работу или уменьшают в размере: квантование — один из способов снизить точность числовых вычислений ради скорости и экономии ресурсов.
• В сравнении версий одной и той же модели: квантованная версия обычно работает быстрее и требует меньше ресурсов, чем исходная, но, по определению термина, ценой небольшой потери точности.
• В общем описании методов машинного обучения: источник термина (IBM) определяет квантование как переход от более точного формата чисел к менее точному.

Что это значит для скорости и точности

Если сервис распознавания речи рекламирует высокую скорость и работу даже на слабом оборудовании, за этим нередко стоит именно квантование модели: оно ускоряет работу ценой небольшой потери точности — так формулирует это IBM. Само по себе это не хорошо и не плохо, а компромисс, который стоит иметь в виду при сравнении скорости и заявленной точности разных инструментов распознавания речи.

Для голосового ввода это особенно заметно там, где важны и скорость ответа, и качество распознавания одновременно: квантованная модель отвечает быстрее, но, по определению термина, может немного терять в точности рядом с полноточной версией. Точность распознавания в подобных случаях принято измерять показателем WER (Word Error Rate). Подробнее о самой технологии перевода речи в текст — на странице про ASR (автоматическое распознавание речи), а другие термины из этой области собраны в словаре терминов распознавания речи.

Где Поток тут ни при чём

Квантование — техника оптимизации модели вообще, а не функция конкретного продукта, и к «Потоку» термин прямого отношения не имеет. О «Потоке» здесь можно сказать только то, что закреплено в его собственном описании: это облачный сервис, распознавание идёт на серверах в России, и без интернета «Поток» не работает.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: www.ibm.com · support.microsoft.com