Особенности распознавания китайской речи в текст

Китайский — тональный язык: один и тот же слог передаёт разный смысл в зависимости от высоты голоса, а на письме ему соответствуют иероглифы, а не буквы алфавита. Из-за этого распознавание речи в текст требует отдельной модели, обученной именно на китайском. Поток (potok.now) обучен на русской речи и для китайского не подходит: программы с заявленной поддержкой 50 и более языков есть у других разработчиков.

Голосовой ввод для русского и для китайского языков решает похожую задачу разными средствами. В русском тексте буквы передают звук, а смысл слова почти не зависит от высоты голоса. В китайском высота голоса меняет значение слога, а на письме вместо алфавита — иероглифы. Эта разница определяет, какой должна быть модель распознавания и почему не любая программа голосового ввода одинаково хорошо работает с обоими языками.

Чем распознавание китайской речи отличается от других языков

Стандартный китайский, путунхуа, — тональный язык: слог, произнесённый с разной высотой голоса, обозначает разные слова. В путунхуа различают четыре основных тона и ещё нейтральный, и без верного тона распознавание речи в текст рискует выбрать не то слово из нескольких похожих по звучанию. В русском тексте высота голоса на смысл слова почти не влияет — модель различает похожие слова в основном по контексту соседних слов, а не по тону отдельного слога.

Второе отличие — письмо. В русском тексте буква соответствует звуку, а слова разделены пробелами. В китайском вместо алфавита — иероглифы, каждый из которых обозначает не звук, а слог или морфему, и пробелов между словами на письме обычно нет. Из-за этого распознавание речи в текст для китайского должно не просто угадать последовательность звуков, а ещё и правильно разбить её на иероглифы и выбрать нужный вариант написания среди омофонов — слогов, которые звучат одинаково, но пишутся разными иероглифами. Для этого нужна отдельная языковая модель, обученная на китайском тексте, а не общий алгоритм, подставленный под другой алфавит.

Дополнительно на задачу влияет то, какой именно китайский распознаётся. Путунхуа на основе пекинского произношения и, например, кантонский различаются по звучанию заметно, поэтому модель, обученная на одном варианте, не обязательно справится с другим — это разные направления распознавания, а не взаимозаменяемые настройки одной модели.

Сама механика голосового ввода при этом не меняется: нажатие хоткея запускает запись микрофона, звук уходит на распознавание — в облаке или на устройстве, — а результат вставляется в поле, где стоит курсор. Меняется то, что стоит за словом «распознавание»: набор моделей, обученных на конкретном языке и его тонах, а не единый движок, одинаково пригодный для любого языка.

Где голосовой ввод на китайском реально полезен, а где подводит

Голосовой ввод на китайском экономит время там же, где и на любом другом языке, — в длинных текстах со свободным словарём, где печатать иероглифы вручную, подбирая нужный вариант среди подсказок после ввода латиницей, заметно медленнее, чем говорить. Для переписки, заметок и черновиков документов диктовка избавляет от постоянного выбора иероглифа из списка подсказок.

Подводит распознавание там, где важна точность редких имён, терминов или омофонов вне контекста: если фраза короткая и по смыслу не привязана к остальному тексту, система с большей вероятностью выберет частотный иероглиф вместо нужного редкого варианта, и результат придётся проверять и исправлять вручную. То же самое касается смешанных текстов, где китайские слова соседствуют с русскими или английскими терминами: не каждая программа одинаково хорошо переключается между языками внутри одной фразы.

Если нужна работа именно с русской речью, у отдельных программ распознавание построено конкретно под неё: GigaType и Molvi заявляют поддержку русского языка, Molvi — ещё и английского, а китайского в списке у обеих нет. Общая логика голосового ввода для русской речи разобрана в материале про голосовой ввод под русскую речь; для задач с китайским языком стоит отдельно свериться со списком языков конкретной программы — например, в каталоге программ голосового ввода.

Когда голосовой ввод не подходит для китайского языка

Поток для этой задачи не подходит: модель обучена на русской речи, и китайский язык она не распознаёт. Это случай, где нужна не более тонкая настройка, а другая программа, изначально рассчитанная на нужный язык.

Среди программ с широким списком языков — Talkpad, по данным сайта заявляет 100+ языков, и Voisty, по данным сайта — 90+ языков, а также Диктуй с заявленной поддержкой 50+ языков. Перед выбором стоит свериться со списком языков конкретной программы напрямую на её сайте: общее число заявленных языков не гарантирует, что нужный из них там есть.

Для русской речи Поток — облачный сервис: распознавание идёт на серверах в России, и без подключения к интернету он не работает. Если задача смешанная — часть текста на русском, часть на китайском, — обычно проще использовать две разные программы, каждая под свой язык, чем искать одну универсальную.

Частые вопросы

Программы по теме: сравнение условий

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru