Что такое fine-tuning модели

Fine-tuning модели — это дополнительное обучение уже готовой модели на новых данных, чтобы она лучше справлялась с конкретной задачей или областью: например, дообучение на медицинских записях улучшает распознавание врачебных терминов. Это не создание модели с нуля, а донастройка уже обученной на новых, более узких данных.

В двух словах: fine-tuning — это когда уже обученную модель донастраивают на новых данных, а не учат заново с нуля. Разбираемся, где это встречается в голосовом вводе и почему это важно при выборе программы.

Где применяют fine-tuning модели

Термин чаще всего всплывает там, где базовой модели не хватает специализированной лексики конкретной сферы:

• в медицинских записях — дообучение на такой лексике улучшает распознавание врачебных терминов, которые в обычной речи почти не встречаются;
• в юридических документах и технической документации — сферах со своей терминологией, сокращениями и профессиональным жаргоном;
• в описаниях некоторых программ распознавания речи — как отдельная платная функция для профессиональной лексики конкретной отрасли;
• в исследовательских статьях о распознавании речи — там fine-tuning обсуждают как способ повысить точность модели на новых данных, не обучая её с нуля.

Общее в этих случаях одно: модель уже умеет распознавать речь в целом, а fine-tuning её донастраивает под конкретную область, вместо того чтобы обучать заново с нуля. Само распознавание речи как процесс — отдельный термин, автоматическое распознавание речи; другие термины из этой области собраны в словаре распознавания речи.

На что это влияет при выборе программы

Если в описании программы распознавания речи упоминается fine-tuning или дообучение под отрасль, это сигнал, что модель донастроена не абстрактно, а под конкретную лексику — медицинскую, юридическую, техническую. Для человека, который работает с такой лексикой каждый день, это может означать меньше ошибок именно в профильных терминах, а не улучшение распознавания вообще всей речи.

Стоит проверять, под какую именно область донастроена модель: fine-tuning на медицинских записях не гарантирует такого же результата, например, в юридической лексике — это разные наборы данных и разные термины. У «Потока» (potok.now) для редких слов и имён есть другой инструмент — личный словарь на тарифе Pro, куда термины добавляет сам пользователь; модель при этом обучена под русскую речь в целом, включая термины.

Где «Поток» тут ни при чём

Это облачный сервис, распознавание идёт на серверах в России, и без интернета он не работает. Для отраслевой лексики у «Потока» есть личный словарь на тарифе Pro, куда термины добавляет сам пользователь. Для бизнеса — общий словарь и сервер в периметре компании, по запросу.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: en.wikipedia.org · support.microsoft.com