Statistik von Klausuraufgaben

Wie baut man eine optimale Prüfung?

Als Professor an der Hochschule hat man die spannende Aufgabe Klausuren zu erstellen und dann auch noch zu korrigieren. Entgegen der Meinung mancher Studenten ist das kein Versuch "auszusortieren" sondern mit einer möglichst fairen Prüfung gerecht Leistung zu bewerten.

Wie schaut die optimale Prüfungsfrage aus?

Eine gute Prüfungsfrage erkennt man meiner Ansicht daran, dass die Antworten von den guten Studenten richtig gegeben werden und dass schwache Studenten damit Schwierigkeiten haben.

Selbstverständlich müssen die Fragen auch inhaltlich sinnvoll sein.

Die Qualität bezüglich der Trennschärfe einer Frage kann man dadurch messen, dass man die erreichten Punkte bei einer bestimmten Aufgabe mit der gesamten Punktzahl vergleicht, die ein Student bei anderen Fragen erreicht. 

Ein guter Student, der viele Punkte sammelt, sollte also auch in einer einzelnen Aufgabe überdurchschnittlich abschneiden. Genau das kann man mathematisch mit einer Korrelationsanalyse messen.

Ich habe das mal für eine meiner letzten Klausuren durchgeführt und dabei gesehen, dass zumindest alle Aufgaben eine positive Korrelation zum Gesamtresultat hatten. 

Die beste Aufgabe erreichte eine Korrelation von 0,7!

Ich darf diese Frage aus der "Einführung in die Wirtschaftsinformatik" hier wiedergeben:

"Welche wesentlichen Aufgaben übernimmt eine Grafikkarte?"

Die geringste, oder besser gesagt keine Korrelation hatte die Frage:

"Wie viele verschiedene Ziffern hat eine Schreibmaschinentastatur?"

(Obwohl die Antwort "10" einfach ist, waren weit weniger als die Hälfte in der Lage die Frage zu beantworten)

Betrachtet man die Prüfungsergebnisse in der Gesamtschau als Grafik erhält man nach dem Sortieren der Aufgaben nach richtigen Ergebnis und Studenten nach Leistung eine interessante Visualisierung der Klausur:

Klausurergebnisse: Nach Rechts verschiedene Studenten, nach Oben verschiedene Aufgaben,
Wert gibt die Qualität der Lösung an. 

Im Idealfall würde es einen linearen Anstieg von links Oben nach rechts Unten geben, aber die Menschen sind natürlich nicht einfach linear einzusortieren. Letztendlich freue ich mich aber, dass es eine doch bemerkenswert homogene Struktur gibt. 

Daraus folgere ich: Es gab genügend leichte und schwere Aufgaben, jeder hatte eine Chance, obwohl ich leider feststellen muss, dass nicht jeder Student seine Chance nutzt und leider ein Drittel das gewünschte Leistungsniveau nicht erreicht hat.

Hinweis zur Berechnung:

Alle Punkte für jede Aufgabe wurden in Excel eingetragen und durch die jeweils mögliche erreichbare Punktezahl dividiert..

Für jeden Teilnehmer wurde die Summe der Punkte errechnet und mit der Funktion: =KORREL(v1,v2) die Korrelation der Aufgaben mit der Gesamtleistung bestimmt.

Zur Visualisierung der Ergebnisse wurde die Funktion "Bedingte Formatierung/Farbskalen" verwendet. Danach wurden die Zeilen und Spalten aufsteigend sortiert.

Ich würde mich freuen, wenn Kollegen mit mir vergleichbare Resultate (anonym!) austauschen.