Qu'est-ce que le benchmark FLEURS ? C'est un jeu de test public de parole lue en 102 langues, qui sert à comparer des systèmes de reconnaissance vocale sur le même matériel. Le résultat de chaque système est noté face à un texte de référence, ce qui donne un taux d'erreur comparable par langue.
Transcrire un enregistrement
Envoyez votre message vocal, audio ou vidéo à @potok_now_bot sur Telegram et le texte vous revient dans la conversation.
Ouvrir @potok_now_bot dans Telegram
Fichiers jusqu'à 2 Go · export en TXT, MD, DOCX, PDF, SRT et VTT · étiquettes des intervenants et horodatage · environ 30 langues
L'essentiel
- Les locuteurs lisent des phrases à voix haute : les données sont donc plus propres que de vraies réunions, appels ou enregistrements de rue.
- Les scores sont d'ordinaire donnés en taux d'erreur de mots, ou en taux d'erreur de caractères pour les langues écrites sans espaces.
- Une langue avec beaucoup d'heures de test peut mal scorer si le modèle avait peu de données d'entraînement pour elle.
- Les scores publiés viennent des concepteurs de modèles ou de tiers, pas du produit qui les cite.
- Comme tous les systèmes lisent les mêmes phrases, un écart de score entre deux systèmes sur une langue est plus facile à interpréter.
À quoi cela ressemble
from datasets import load_dataset
// one language of the test split, English (US)
fleurs = load_dataset("google/fleurs", "en_us", split="test")
print(fleurs[0]["transcription"]) # reference text for scoring
print(fleurs[0]["audio"]["sampling_rate"])
Pour aller plus loin
Consultez la liste complète des langues, les outils et le glossaire.
Questions fréquentes
Qui publie les données FLEURS ?
Le jeu de données est publié par Google et distribué via Hugging Face. Chacun peut le charger : les chercheurs peuvent donc reproduire un score publié.
Un bon score FLEURS prédit-il mon résultat ?
Seulement de façon approximative. La parole lue dans un cadre calme est plus facile qu'un entretien bruyant : votre propre enregistrement scorera en général moins bien que le benchmark.
À quoi servent les benchmarks ?
Ils permettent de comparer des systèmes sur le même matériel de test et la même méthode de notation, ce qui en dit plus que n'importe quelle promesse publicitaire sur la qualité.
Les chiffres FLEURS sont-ils nos propres mesures ?
Quand les pages de Potok les citent, ce sont des résultats publiés par d'autres, pas nos propres tests. Prenez-les comme un repère, puis essayez un court fichier à vous.
Que ne couvre pas le benchmark ?
Pièces bruyantes, voix qui se chevauchent, parole spontanée et vocabulaire spécialisé sont peu présents dans des données de parole lue : vérifiez ces cas sur votre propre audio.
Sources
Chaque source a été ouverte manuellement à la date indiquée. Les pages évoluent : ouvrez la source si un détail compte pour vous.
- FLEURS speech dataset (Google, Hugging Face), Hugging Face · vérifié le
- Word error rate (Wikipedia), Wikipedia · vérifié le
Essayez avec votre propre enregistrement
Envoyez votre message vocal, audio ou vidéo à @potok_now_bot sur Telegram et le texte vous revient dans la conversation.
Ouvrir @potok_now_bot dans Telegram