ONNX (Open Neural Network Exchange) — открытый формат представления обученных моделей: он позволяет запускать одну и ту же модель в разных средах и на разном оборудовании, а не только там, где её обучили. Модель, сохранённую в этом формате, не нужно переписывать заново под каждую платформу. Модель в формате ONNX можно запустить не только там, где она была обучена.
Одну и ту же обученную модель иногда нужно запустить не там, где её учили, а на совсем другом оборудовании. ONNX — это как раз про такой перенос. Разбор соседних понятий — в словаре терминов распознавания речи.
Где встречается формат ONNX
- Перенос модели между средами: модель обучили в одном инструменте, сохранили в ONNX — и она запускается в другом, без переобучения заново.
- Локальные и офлайн-приложения распознавания речи: модель экспортируют в ONNX, чтобы она работала прямо на устройстве пользователя, а не только там, где её обучали.
- Разное оборудование: одна и та же модель в формате ONNX подходит для разных устройств, если для них есть подходящий исполнитель этого формата.
- Название расшифровывается как Open Neural Network Exchange — «открытый обмен нейросетевыми моделями», и это отражает саму идею формата: не привязывать модель намертво к одной платформе.
| Термин | Что значит | Пример |
|---|---|---|
| ONNX | открытый формат представления обученных моделей, позволяющий запускать их в разных средах и на разном оборудовании | модель в формате ONNX можно запустить не только там, где она была обучена |
| Микрофонный массив | несколько микрофонов, расположенных рядом и работающих совместно для улучшения захвата звука | микрофонный массив в ноутбуке помогает выделить голос на фоне шума |
| Восстановление пунктуации | отдельный шаг обработки, который добавляет знаки препинания в текст, изначально распознанный без них | восстановление пунктуации делает надиктованный текст похожим на написанный вручную |
| N-best гипотезы | список из нескольких наиболее вероятных вариантов распознавания одной и той же фразы | N-best гипотезы используют для выбора и последующей коррекции результата |
Почему это важно при выборе программы для диктовки
Формат вроде ONNX особенно важен там, где распознавание речи идёт на самом устройстве, а не на удалённом сервере: он позволяет запустить одну обученную модель на разном железе без постоянного подключения к облаку. Для программ с облачным распознаванием, где вся работа модели происходит на стороне сервера, формат хранения модели пользователю не виден и на работу приложения не влияет — для него важнее другие вещи: на каких языках распознаётся речь, нужен ли интернет и куда уходит записанный звук, а также как часто оно ошибается — эту долю измеряет метрика WER.
Где Поток тут ни при чём
Поток — облачный сервис, распознавание на серверах в России, без интернета он не работает. В каком формате хранится и исполняется модель на его серверах, «Поток» не публикует — для конечного пользователя это и не имеет значения: важно, что распознавание идёт в облаке, а не то, в каком виде модель там устроена.
Частые вопросы
Не обязательно. ONNX помогает переносить обученную модель между разным оборудованием и средами исполнения — это важно, когда модель запускают локально на устройстве. Для сервиса с облачным распознаванием формат модели на сервере пользователю не виден и на работу приложения не влияет.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: onnx.ai · support.microsoft.com