O que é detecção de atividade de voz?

Equipe PotokAtualizado ~1 min de leitura

O que é detecção de atividade de voz? É encontrar as partes de uma gravação que contêm fala e ignorar silêncio e ruído. Um detector classifica cada quadro curto como fala ou não fala. Os trechos de fala seguem adiante, e os intervalos são descartados ou ignorados.

Transcreva uma gravação

Envie sua mensagem de voz, áudio ou vídeo para @potok_now_bot no Telegram e o texto volta para o chat.

Abrir @potok_now_bot no Telegram

Arquivos de até 2 GB · exportação em TXT, MD, DOCX, PDF, SRT e VTT · identificação de falantes e marcação de tempo · cerca de 30 idiomas

Pontos principais

  • Detectores simples comparam o volume de um quadro com um limiar, enquanto os mais fortes usam um modelo treinado que distingue a fala de outros sons.
  • Cortar o silêncio economiza tempo e custo de processamento, já que o reconhecedor não precisa ler minutos de uma sala vazia.
  • A detecção de fala também dá um tempo aproximado de início e fim de cada frase, que as etapas seguintes podem reaproveitar nos trechos de legenda.
  • Os erros vão para os dois lados: uma palavra baixa cortada no começo de uma frase, ou uma tosse ou um trecho de música tratado como fala.
  • Um detector que funciona bem em um arquivo de estúdio silencioso pode falhar numa rua barulhenta, onde o ruído é tão alto quanto a voz.

Como fica

// list silent gaps longer than half a second
ffmpeg -i call.wav -af silencedetect=noise=-30dB:d=0.5 -f null -
//   silence_start: 12.4
//   silence_end: 15.9 | silence_duration: 3.5
//   silence_start: 41.0
// the stretches between these gaps are the speech segments

Mais

Veja a lista completa de idiomas, as ferramentas e o glossário.

Perguntas frequentes

Por que detectar a voz antes de transcrever?

Isso remove silêncio e ruído, e o reconhecedor trabalha só com fala. Assim diminui a chance de palavras inventadas nos intervalos.

VAD é o mesmo que redução de ruído?

Não. A detecção decide quais partes manter. A redução de ruído muda o som dentro dessas partes. As duas podem ser usadas juntas.

O VAD pode cortar o começo de uma frase?

Sim, quando o falante começa baixinho. Bons sistemas acrescentam uma pequena margem ao redor de cada trecho para não cortar o primeiro som.

Preciso cortar o silêncio antes de enviar para o Potok?

Não. Envie a gravação completa como está, de até 2 GB. Cortar só ajuda a reduzir um arquivo muito grande.

Como encontro intervalos de silêncio em um arquivo?

Use o filtro silencedetect do ffmpeg. Ele mostra o início e o fim de cada trecho silencioso para o limiar que você escolher.

Fontes

Cada fonte foi aberta manualmente na data indicada. As páginas mudam, então abra a fonte se algum detalhe for importante para você.

  1. Voice activity detection (Wikipedia), Wikipedia · verificado em
  2. Background noise (Wikipedia), Wikipedia · verificado em

Teste com a sua própria gravação

Envie sua mensagem de voz, áudio ou vídeo para @potok_now_bot no Telegram e o texto volta para o chat.

Abrir @potok_now_bot no Telegram