WER lügt: Wie KI-Systeme beim Englisch-Yoruba-Sprachwechsel versagen
Elf KI-Systeme zur Spracherkennung wurden auf Code-Switching zwischen Englisch und Yoruba getestet - mit ernüchterndem Ergebnis. Die übliche Fehlerrate WER verschleiert dabei das eigentliche Ausmaß der Probleme.
👁 114 Aufrufe
- Das System mit der besten WER ist statistisch nicht von einem führenden Audio Language Model zu unterscheiden, schneidet aber bei schalterlokalisierten Metriken deutlich schlechter ab.
- Die Yoruba-Fehlerrate liegt bei fast allen getesteten Systemen bei 0,97, was praktisch einem vollständigen Versagen bei dieser Sprache entspricht.
- Die Studie vergleicht elf Systeme anhand eines Datensatzes mit 2.000 Äußerungen und führt neue Metriken wie die Switch Entry Token Error Rate (SETER) ein.
Chibuzor Okocha und Christan Earl Grant haben eine Studie vorgelegt, die zur IEEE Speech Language Technology angenommen wurde und auf arXiv unter der Kennnummer 2609.11786 erschienen ist. Sie untersuchen, wie gut moderne Systeme zur automatischen Spracherkennung (ASR) und sogenannte Audio Language Models (audio LMs) mit Code-Switched Speech umgehen - also mit Sprache, bei der Sprecher mitten im Satz zwischen zwei Sprachen wechseln. Im Mittelpunkt steht die Kombination Englisch und Yoruba, eine westafrikanische Sprache mit Diakritika, die als ressourcenarm gilt.
Was wurde getestet und wie
Die Autoren haben elf Systeme verglichen: sechs ASR-Modelle und fünf Audio Language Models. Als Grundlage diente ein deterministischer Datensatz mit 2.000 Äußerungen sowie eine einheitliche Bewertungs-Pipeline. Neben der üblichen Word Error Rate (WER) haben die Autoren mehrere zusätzliche Metriken eingeführt. Dazu gehören die Switch Entry Token Error Rate (SETER), fensterbasierte Fehlerraten an Sprachwechselpunkten, sprachspezifische Fehlerraten sowie eine diakritika-unempfindliche WER. Alle Metriken, Implementierungen und Skripte werden von den Autoren veröffentlicht, um reproduzierbare Bewertungen zu ermöglichen.
Der zentrale Befund: WER verdeckt das eigentliche Problem
Das wichtigste Ergebnis der Studie lautet: Die aggregierte WER verbirgt das tatsächliche Verhalten der Systeme beim Code-Switching. Das System mit der besten WER - ein ASR-Modell - ist auf dieser Metrik statistisch nicht von einem führenden Audio Language Model zu unterscheiden. Sobald jedoch die schalterlokalisierten Metriken herangezogen werden, zeigt sich ein anderes Bild: Das Audio Language Model schneidet bei sämtlichen dieser Metriken deutlich besser ab.
Bei den Systemen, die überhaupt als zuverlässige Transkriptoren eingestuft werden können, bricht die Yoruba-Erkennung nahezu vollständig zusammen. Die Fehlerrate für Yoruba-Token liegt bei fast allen Systemen bei 0,97 - ein Wert, der praktisch einem vollständigen Versagen entspricht. Englische Token werden hingegen deutlich besser erkannt. Fehler häufen sich besonders stark an den Stellen, an denen ein Wechsel ins Yoruba stattfindet.
Besondere Probleme bei generativen Audio Language Models
Die Studie identifiziert eine weitere Schwachstelle, die speziell generative Audio Language Models betrifft. Mehrere dieser Systeme versagen als exakte Transkriptoren: Sie produzieren stattdessen Übersetzungen, erzeugen unnötige Zusatztexte (Verbosity) oder geben Inhalte aus dem Eingabe-Prompt wieder (Prompt Leakage). Dieses Verhalten ist laut den Autoren stark vom verwendeten Prompt abhängig. Genauere Angaben dazu, welche Systeme konkret betroffen sind oder wie stark dieser Effekt ausfällt, enthält der Abstract nicht - diese Details dürften im vollständigen Paper zu finden sein, das mir hier nicht vorliegt.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was bedeutet das
Diese Studie ist aus meiner Sicht wichtig, weil sie ein methodisches Problem benennt, das über den Einzelfall Englisch-Yoruba weit hinausreicht. Wenn die Standardmetrik WER systematisch verschleiert, dass ein System an Sprachwechselpunkten nahezu blind ist, dann sind alle Ranglisten, die auf WER allein beruhen, für mehrsprachige Kontexte wenig aussagekräftig. Besonders ernst nehme ich den Befund zur Yoruba-Fehlerrate von 0,97: Das bedeutet, dass afrikanische Sprachen in Code-Switching-Szenarien von den getesteten Systemen faktisch ignoriert werden - trotz der offiziell niedrigen Gesamtfehlerraten. Dass die Autoren ihre Metriken und Skripte öffentlich machen, ist ein konkreter Schritt in Richtung vergleichbarer Bewertungen für unterrepräsentierte Sprachen. Ob die Forschungsgemeinschaft diese Werkzeuge aufgreift, bleibt abzuwarten.
Quelle: arXiv cs.AI: Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech (dokument z 2026-09-12). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.
Häufig gestellte Fragen
Warum versagen KI-Spracherkennungssysteme beim Wechsel zwischen Englisch und Yoruba?
Die getesteten Systeme erkennen Yoruba-Token mit einer Fehlerrate von 0,97, was praktisch einem vollständigen Versagen entspricht. Fehler häufen sich besonders stark an den Stellen, an denen ein Wechsel ins Yoruba stattfindet, während englische Token deutlich besser erkannt werden.
Was ist die Word Error Rate und warum reicht sie für mehrsprachige Spracherkennung nicht aus?
Die WER ist eine aggregierte Fehlermetrik, die beim Code-Switching das tatsächliche Verhalten der Systeme verschleiert. Ein System kann eine niedrige Gesamt-WER aufweisen und dennoch an Sprachwechselpunkten nahezu vollständig versagen, was erst durch zusätzliche Metriken wie SETER sichtbar wird.
Welche neuen Metriken schlagen die Autoren der Studie zur Bewertung von Code-Switching vor?
Die Autoren führen die Switch Entry Token Error Rate (SETER), fensterbasierte Fehlerraten an Sprachwechselpunkten, sprachspezifische Fehlerraten sowie eine diakritika-unempfindliche WER ein. Alle Metriken, Implementierungen und Skripte werden öffentlich veröffentlicht.
Welche besonderen Probleme haben generative Audio Language Models bei der Transkription?
Mehrere generative Audio Language Models versagen als exakte Transkriptoren und produzieren stattdessen Übersetzungen, unnötige Zusatztexte oder geben Inhalte aus dem Eingabe-Prompt wieder. Dieses Verhalten ist laut den Autoren stark vom verwendeten Prompt abhängig.
Stroop-Test entlarvt KI-Schwäche: Warum Sprachmodelle bei längeren Listen kollabierenAlgorithmen
Sprachvermögen stammt von Neandertalern: Wie uralte DNA-Schalter unsere Kommunikation prägenArchäologie
Wie ein doppeltes KI-System Schmerz objektiv misst - und dabei das F7/F8-Netz entdeckteAlgorithmenMore on this from WISSNOX
anleitungen·Wie man Text sinngemäß mit KI übersetzt: Schritt für SchrittWie man Text sinngemäß mit Hilfe von KI übersetzt - Schritt für Schritt, mit fertigen Prompts zum Kopieren und Hinweis, welches Tool man wählen sollte.