Was KI-Modelle und Prüfungen gemeinsam haben Antwort-Wahl-Aufgaben sind auch zur Kompetenzfeststellung bei KI ein Problem

Aktuelle Forschungsergebnisse aus den USA machen deutlich: Antwort-Wahl-Aufgaben – also Prüfungen im Multiple-Choice-Format – setzen falsche Anreize. Forscher:innen von OpenAI und der Georgia Tech haben untersucht, warum Sprachmodelle wie GPT halluzinieren. Sie ziehen dabei den Vergleich zu Multiple-Choice-Prüfungen: Wer unsicher ist, wird zum Raten verleitet, weil es Punkte bringen kann. Wer die Frage leer lässt, erhält sicher null Punkte.

Dieses Belohnungssystem fördert oberflächliche, aber oft falsche Antworten. Genau das passiert auch bei Sprachmodellen: Anstatt Nichtwissen zu kennzeichnen, erzeugen sie plausible, aber fehlerhafte Antworten. Das Ergebnis sind Halluzinationen.

Für die berufliche Bildung lässt sich daraus eine klare Lehre ziehen. Auch dort bilden Antwort-Wahl-Aufgaben nur eingeschränkt ab, was Facharbeiter:innen wirklich können müssen. Kompetenzen entstehen im Handeln, nicht im Ankreuzen. Raten ersetzt nicht Verstehen.

Bereits der Hauptausschuss des Bundesinstituts für Berufsbildung hat in seiner Empfehlung 180 deutlich gemacht, dass Prüfungen in der beruflichen Bildung auf berufliche Handlungskompetenz ausgerichtet sein müssen. Prüfungsaufgaben sollen reale betriebliche Situationen widerspiegeln, ergebnis- und prozessorientiert sein und zur eigenständigen Problemlösung anregen. Die Empfehlung warnt ausdrücklich davor, zu stark auf standardisierte Antwort-Wahl-Aufgaben zu setzen, weil diese nur Teilaspekte von Wissen abprüfen.

 

Kernaussagen der BIBB-Empfehlung 180

• Prüfungen sollen berufliche Handlungskompetenz erfassen, nicht nur Einzelwissen;
• Aufgaben müssen sich an realen betrieblichen Anforderungen orientieren;
• Ganzheitliche Prüfungsformen wie praxisnahe Aufgaben, Projektarbeiten oder fallbasierte Szenarien sind zu bevorzugen;
• Antwort-Wahl-Aufgaben können lediglich ergänzend eingesetzt werden, nicht als zentrales Prüfungsformat.

Für Betriebsräte, Ausbilder:innen und Prüfer:innen ergibt sich daraus ein doppelter Handlungsauftrag: Zum einen kritisch mit dem Fragentyp „Antwort-Wahl“ umgehen und ihn nur gezielt einsetzen. Zum anderen darauf achten, dass Prüfungen den beruflichen Alltag realistisch widerspiegeln und die Entwicklung von Handlungskompetenz unterstützen.