Что такое спектрограмма

Спектрограмма — это визуальное представление звука, показывающее распределение частот во времени. По одной оси на ней отложено время, по другой — частота, а громкость каждой частоты в конкретный момент показана цветом или яркостью точки. Спектрограмма — стандартный вход для акустической модели, в том числе у облачных сервисов распознавания речи вроде «Потока» (potok.now).

Как компьютер вообще «видит» звук, если он не может его услышать? Один из ответов — превратить звуковую волну в картинку, где по одной оси идёт время, а по другой — частота. Это и есть спектрограмма.

Чем спектрограмма отличается от обычной звуковой дорожки

Спектрограмма — это визуальное представление звука, показывающее распределение частот во времени. В отличие от привычной звуковой дорожки, где по горизонтали идёт время, а по вертикали — громкость звука в целом, на спектрограмме вертикальная ось — частота, а громкость каждой отдельной частоты в данный момент времени показана цветом или яркостью точки.

Разница важна для того, как со звуком работает программа распознавания. Обычная звуковая дорожка показывает, насколько громко звучит запись в каждый момент времени, но не говорит, из каких частот состоит звук. Спектрограмма отвечает именно на этот вопрос: какие частоты присутствуют в сигнале и как они меняются со временем.

Спектрограммы используются вместе с рекуррентными нейронными сетями для распознавания речи — общий принцип работы систем ASR (Automatic Speech Recognition) построен на обработке именно такого частотного представления звука, а не сырой звуковой волны.

Как спектрограмму используют на практике

У спектрограммы нет собственной единицы измерения вроде процента ошибок: это не метрика качества, а способ подготовить звук для дальнейшей обработки. Практическая роль видна в примере: спектрограмма — стандартный вход для акустической модели, то есть именно такое изображение частот часто передают в модель, а не исходную звуковую волну.

Дальше с этим изображением работает уже сама модель распознавания. Какие именно данные на входе использует та или иная система, каждая программа не обязана раскрывать — с этим термином и другими понятиями распознавания речи можно ознакомиться в общем словаре сайта.

Что из этого у Потока не заявлено

Что именно подаётся на вход акустической модели «Потока» — спектрограмма или другое представление звука — не объявлено; известно только, что распознавание в «Потоке» облачное, на собственной модели, обученной под русскую речь. «Поток» — облачный сервис, распознавание идёт на серверах в России, без интернета оно не работает.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: en.wikipedia.org · support.microsoft.com