Словарь

Что такое Speech framework (Apple)

Марк Весёлый · основатель «Потока» · ~4 мин
Что такое Speech framework (Apple)

Speech framework — программный интерфейс (API) Apple, который сторонние приложения для Mac и iPhone могут использовать для распознавания речи, не создавая собственную систему с нуля. Он лежит в основе диктовки с клавиатуры, но доступен разработчикам и отдельно от неё — для голосовых команд или расшифровки текста внутри своего приложения.

Разработчик делает приложение для Mac или iPhone и хочет добавить голосовой ввод — писать модель распознавания речи с нуля дорого и долго. Apple предлагает готовый инструмент для этого случая.

Где встречается Speech framework

Speech framework — это программный интерфейс (API), который Apple даёт разработчикам приложений для macOS и iOS. Вместо того чтобы создавать собственную систему распознавания речи, приложение подключает готовый framework и получает текст из записанного или живого звука. Именно на этой же технологии, по документации Apple, построена и клавиатурная диктовка — только framework можно использовать в своём приложении отдельно от клавиатуры: для голосовых команд или расшифровки текста внутри своего приложения. Смежные понятия рядом с ним — буфер обмена, фоновый процесс и специальные возможности (Accessibility): они тоже касаются того, как голосовой ввод встраивается в остальную часть системы и сторонних приложений на устройствах Apple.

Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Что framework даёт разработчику на самом деле

Speech framework — не отдельная программа с интерфейсом, а строительный блок для чужих приложений: он передаёт разработчику готовую функцию распознавания речи, которую тот встраивает в своё окно, кнопку или сценарий. Пользователь framework обычно не видит вовсе — он видит только то приложение, которое его подключило.

Разница с обычной клавиатурной диктовкой в том, что диктовка привязана к текстовому полю и клавиатуре, а framework разработчик может вызвать из любой части своего приложения — например, чтобы распознать голосовую команду без открытия поля ввода. На Windows похожий по идее выбор стоит перед тем, кто ищет встроенный голосовой ввод: Win+H открывает панель диктовки в поле, а голосовой доступ (Voice Access) управляет всей системой голосом — это две разные встроенные функции, а не варианты одного API.

ТерминЧто значитПример
Speech framework (Apple)программный интерфейс Apple, который сторонние приложения могут использовать для распознавания речи на устройствах Appleприложения для Mac и iPhone могут использовать Speech framework вместо собственной системы распознавания
Буфер обменавременное системное хранилище скопированного текста или данных перед вставкойнекоторые способы вставки текста используют буфер обмена, другие — прямую симуляцию ввода
Фоновый процесспрограмма, которая работает, не открывая видимого окна, ожидая события вроде нажатия хоткеяприложение диктовки работает как фоновый процесс, пока не активирован хоткей
Специальные возможности (Accessibility)раздел настроек ОС с функциями для людей с ограничениями, включающий, в частности, голосовое управлениедиктовка macOS включается не в специальных возможностях, а в «Системные настройки» → «Клавиатура» → «Диктовка»
Разбор темы в три шага: Где встречается Speech framework → Что framework даёт разработчику на самом деле → Ограничения Потока по этой части
О чём страница по шагам: Где встречается Speech framework → Что framework даёт разработчику на самом деле → Ограничения Потока по этой части.

Ограничения Потока по этой части

«Поток» не использует Speech framework Apple и не встраивается в приложения через API — это отдельная десктопная программа со своей горячей клавишей и собственной облачной моделью, обученной под русскую речь. Распознавание у «Потока» идёт на серверах в России, без интернета оно не работает. Одна подписка «Потока» открывает и приложение для диктовки, и Telegram-бот @potok_now_bot для записей и голосовых.

Сравнение «Потока» и Win+H по строкам: платформы, бесплатно, оплата из рф, распознавание
«Поток» и Win+H: условия по официальным сайтам сервисов.

Частые вопросы

Могут ли сторонние приложения использовать Speech framework вместо своей системы распознавания

По документации Apple, приложения для Mac и iPhone могут подключить Speech framework вместо разработки собственной системы распознавания речи — это готовый программный интерфейс с той же технологией, что использует клавиатурная диктовка.

Попробовать на своих текстах

Скачайте «Поток» для Windows, macOS или Linux: первые 14 дней — полный доступ без карты. Потом бесплатно 2500 слов в неделю или Pro за 690 ₽ в месяц. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

Голосовое из мессенджера или запись созвона можно переслать боту @potok_now_bot — он пришлёт текст. Бот входит в ту же подписку, что и приложение «Поток».

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает

Первоисточники: developer.apple.com · support.microsoft.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв