O que é o benchmark FLEURS? É um conjunto público de teste com fala lida em 102 idiomas, usado para comparar sistemas de reconhecimento de fala sobre o mesmo material. O resultado de cada sistema é pontuado contra um texto de referência, o que dá uma taxa de erro comparável por idioma.
Transcreva uma gravação
Envie sua mensagem de voz, áudio ou vídeo para @potok_now_bot no Telegram e o texto volta para o chat.
Abrir @potok_now_bot no Telegram
Arquivos de até 2 GB · exportação em TXT, MD, DOCX, PDF, SRT e VTT · identificação de falantes e marcação de tempo · cerca de 30 idiomas
Pontos principais
- Os falantes leem frases em voz alta, então os dados são mais limpos do que reuniões, ligações ou gravações de rua reais.
- As pontuações costumam ser dadas como taxa de erro de palavras ou, para idiomas escritos sem espaços, como taxa de erro de caracteres.
- Um idioma com muitas horas de teste ainda pode ter pontuação ruim se o modelo teve poucos dados de treinamento nele.
- As pontuações publicadas vêm dos criadores dos modelos ou de terceiros, e não do produto que as cita.
- Como todos os sistemas leem as mesmas frases, a diferença de pontuação entre dois sistemas em um idioma é mais fácil de interpretar.
Como fica
from datasets import load_dataset
// one language of the test split, English (US)
fleurs = load_dataset("google/fleurs", "en_us", split="test")
print(fleurs[0]["transcription"]) # reference text for scoring
print(fleurs[0]["audio"]["sampling_rate"])
Mais
Veja a lista completa de idiomas, as ferramentas e o glossário.
Perguntas frequentes
Quem publica os dados do FLEURS?
O conjunto de dados é lançado pelo Google e distribuído pelo Hugging Face. Qualquer pessoa pode carregá-lo, então pesquisadores podem reproduzir uma pontuação publicada.
Uma boa pontuação no FLEURS prevê o meu resultado?
Só de forma aproximada. Fala lida em um ambiente silencioso é mais fácil do que uma entrevista ruidosa, então a sua gravação costuma pontuar pior do que o benchmark.
Por que os benchmarks importam?
Eles permitem comparar sistemas sobre o mesmo material de teste e o mesmo método de pontuação, o que informa mais do que qualquer promessa de marketing sobre qualidade.
Os números do FLEURS são medições nossas?
Quando as páginas do Potok os citam, são resultados publicados por terceiros, e não testes nossos. Use-os como guia e experimente um arquivo curto seu.
O que o benchmark não cobre?
Salas barulhentas, vozes sobrepostas, fala espontânea e vocabulário especial aparecem pouco em dados de fala lida, então confira esses casos no seu próprio áudio.
Fontes
Cada fonte foi aberta manualmente na data indicada. As páginas mudam, então abra a fonte se algum detalhe for importante para você.
- FLEURS speech dataset (Google, Hugging Face), Hugging Face · verificado em
- Word error rate (Wikipedia), Wikipedia · verificado em
Teste com a sua própria gravação
Envie sua mensagem de voz, áudio ou vídeo para @potok_now_bot no Telegram e o texto volta para o chat.
Abrir @potok_now_bot no Telegram