Was ist der FLEURS-Benchmark? Es ist ein öffentliches Testset mit vorgelesener Sprache in 102 Sprachen, mit dem Spracherkennungssysteme am selben Material verglichen werden. Die Ausgabe jedes Systems wird gegen einen Referenztext bewertet, das ergibt pro Sprache eine vergleichbare Fehlerrate.
Aufnahme transkribieren
Senden Sie Ihre Sprachnachricht, Audio- oder Videodatei an @potok_now_bot in Telegram, und der Text kommt im Chat zurück.
@potok_now_bot in Telegram öffnen
Dateien bis 2 GB · Export als TXT, MD, DOCX, PDF, SRT und VTT · Sprecherkennzeichnung und Zeitmarken · rund 30 Sprachen
Wichtige Fakten
- Die Sprecher lesen Sätze laut vor, die Daten sind daher sauberer als echte Besprechungen, Anrufe oder Straßenaufnahmen.
- Werte werden meist als Wortfehlerrate angegeben, bei Sprachen ohne Leerzeichen als Zeichenfehlerrate.
- Eine Sprache mit vielen Teststunden kann trotzdem schlecht abschneiden, wenn das Modell wenig Trainingsdaten dafür hatte.
- Veröffentlichte Werte stammen von den Modellherstellern oder Dritten, nicht von dem Produkt, das sie zitiert.
- Weil alle Systeme dieselben Sätze lesen, ist ein Wertunterschied zwischen zwei Systemen in einer Sprache leichter zu deuten.
So sieht es aus
from datasets import load_dataset
// one language of the test split, English (US)
fleurs = load_dataset("google/fleurs", "en_us", split="test")
print(fleurs[0]["transcription"]) # reference text for scoring
print(fleurs[0]["audio"]["sampling_rate"])
Mehr
Sehen Sie sich die vollständige Liste der Sprachen, die Werkzeuge und das Glossar an.
Häufige Fragen
Wer veröffentlicht die FLEURS-Daten?
Der Datensatz wird von Google veröffentlicht und über Hugging Face verteilt. Jeder kann ihn laden, sodass Forschende einen veröffentlichten Wert nachvollziehen können.
Sagt ein guter FLEURS-Wert mein Ergebnis voraus?
Nur grob. Vorgelesene Sprache in ruhiger Umgebung ist leichter als ein verrauschtes Interview, Ihre eigene Aufnahme schneidet daher meist schlechter ab als der Benchmark.
Warum sind Benchmarks überhaupt wichtig?
Sie erlauben den Vergleich von Systemen am selben Testmaterial und mit derselben Bewertungsmethode, das ist aussagekräftiger als jede Werbeaussage zur Qualität.
Sind FLEURS-Zahlen unsere eigenen Messungen?
Wenn Seiten von Potok sie nennen, sind es veröffentlichte Ergebnisse anderer und keine eigenen Tests. Nehmen Sie sie als Orientierung und probieren Sie eine kurze eigene Datei aus.
Was deckt der Benchmark nicht ab?
Laute Räume, überlappende Stimmen, spontane Sprache und Spezialvokabular sind in vorgelesenen Daten dünn vertreten, prüfen Sie diese Fälle daher an Ihrem eigenen Audio.
Quellen
Jede Quelle wurde am angegebenen Datum von Hand geöffnet. Seiten ändern sich, öffnen Sie die Quelle also, wenn Ihnen ein Detail wichtig ist.
- FLEURS speech dataset (Google, Hugging Face), Hugging Face · geprüft
- Word error rate (Wikipedia), Wikipedia · geprüft
Probieren Sie es mit Ihrer eigenen Aufnahme aus
Senden Sie Ihre Sprachnachricht, Audio- oder Videodatei an @potok_now_bot in Telegram, und der Text kommt im Chat zurück.
@potok_now_bot in Telegram öffnen