Gegeben sei die aktuelle Lehrevaluation des Institutes für Informatik (wobei die im folgenden beschriebene Problematik leider alle Institute der Math.-Nat. II betrifft). Diese besteht aus einer Menge von Online-Fragebögen für jede einzelne Veranstaltung, in der die Studenten jeweils ankreuzen, -klicken, -whatever können, wie ihnen diese gefallen haben – soweit so gut.
Geradezu dämlich ist hingegen die Idee gewesen, veranstaltungsunabhängig alle Studenten eines Institutes mit ein und demselben Passwort auszustatten, da dies gleich drei offensichtliche Nachteile mit sich bringt:
- Studenten können wahlfrei über alle Veranstaltungen abstimmen, also insbesondere auch die, die sie nie besucht haben (bzw. deren Existenz ihnen nicht mal bewusst war),
- Studenten können für jede Veranstaltung beliebig oft abstimmen,
- da ein- und dasselbe Passwort hunderten von Studenten gegeben wurde (selbstverständlich auch noch unverschlüsselt) und für einen langen Zeitraum genutzt wird, ist anzunehmen, dass man den Kreis der abstimmenden Personen nach kurzer Zeit auf “beliebige Leute” erweitern kann.
Passendes Zitat eines Professors auf einer Lehrveranstaltungswebseite (die ich momentan aus gutem Grund nicht verlinke):
Und, ja: Mir ist bekannt, dass man Evaluationen mehrfach (beliebig viele) abgeben kann und dass beliebige Leute Evaluationen abgeben können.
Und, nein: Ich habe nichts zur Entschuldigung dafür vorzutragen 🙁
Dass die beschriebene Problematik nicht nur theoretischer Natur ist, kann man inzwischen auch auf dem Evaluationsserver gut nachvollziehen (man beachte die oben stehenden Zahlen – insbesondere die Anzahl der beantworteten Fragen):
evaluation.hu-berlin.de/evaluation/…
Wir haben also bereits den Zustand erreicht, dass die Umfrageergebnisse insgesamt vollkommen unbrauchbar sind (zumindest würde ich nicht ernsthaft ausschließen wollen, dass es mehrere automatisierte Antwort-Skripte gab und nur (mindestens) eines die Daten so offensichtlich verändert hat) – und ich habe leider einen banalen Grund mehr (neben den fehlenden Bindestrichen in den Namen Adlershofer Uni-Gebäude), mich für meine Uni zu schämen…
Nachtrag:
Ja, ich konnte der Versuchung widerstehen, selbst auch noch ein Skript zu schreiben, das meine eigene Lehrveranstaltung pusht.
Oha. Da muss ich jetzt doch was zu schreiben. Ich habe mich nämlich auch zusammenreißen können ein Skript zu schreiben, das die offensichtlichen Mängel des Systems noch offensichtlicher zeigt.
Und zwar aus dem einfachen Grunde, dass es noch schlimmer geht. Eine Alternative wäre z.B. die Bewertung an Accounts zu binden, was ich aus datenschutzrechtlicher Sicht sehr bedenklich finde. Wenn Accounts im Spiel sind ist es generell intransparent inwiefern eine Kopplung von Account von Stimmabgabe möglich ist.
Die generellen Probleme bei der Lehrevaluation als Online-System sehe ich beim Datenschutz, bei der Akzeptanz der Ergebnisse (die bei dieser Variante z.B. gar nicht mehr gegeben ist, da die Ergebnisse “beliebig” sind) und der Teilnahmemotivation (gleich ‘nen Bogen ausfüllen vs. irgendwann ™ das Ganze online machen).
Ich sehe keine sinnvolle Möglichkeit der technischen Umsetzung, die alle Kriterien ausreichend befriedigt. Deshalb bin ich generell für die Offline-Evaluation mittels Fragebögen in den Veranstaltungen, wie sie bisher durchgeführt wurde.
Der einzige wirkliche Grund für die Online-Evaluation ist ohnehin eine Arbeits- / Kostenersparnis. Aber das sollte einem eine Evaluation schon wert sein.
Wie ich schon beim Fachschaftsfrühstück ausführlich beschrieb (kein versteckter Vorwurf, Enno 😉 ) , fand ich den Ansatz, den ich vor einigen Jahren verwendet habe, hinreichend akzeptabel:
Jedem an der Veranstaltung angemeldeten (Goya) Studenten wurde ein Token zugemailt, dass er genau einmal zur Beantwortung des Fragebogens benutzen konnte. Gleichzeitig haben wir die Studenten in den Lehrveranstaltungen ermutigt, die Token untereinander auszutauschen, so dass wir spätestens ab diesem Moment keine Antwort mehr einem konkreten Studenten zuordnen hätten können (dass hätten wir zwar auch so nicht, da die Umfrage-Software Antworten und Token in separaten, nicht untereinander referenzierbaren Tabellen gespeichert hat, aber auf diesem Weg war die Anonymität auch für die Studenten nachvollziehbar).
Und ja, ich bin ein Fan der Online-Evaluation, da ich die Erfahrung gemacht habe, dass die Studenten deutlich mehr Kommentare in den Freitextfeldern hinterlassen. Zumindest für mich waren diese Kommentare stets wesentlich interessanter als die Erkenntnis, das n% meiner Studenten zu m% mit der Lehrveranstaltung zufrieden sind…
Zum Datenschutz: Wer in der Informatik nach dem Geschlecht fragt, sollte niemals vom Datenschutz auch nur reden dürfen.
Eine Bindung der Beantwortung an einen Uni-Account wäre unzulässig, zumindest, wenn nicht ein Verfahren benutzt wird, wie das von Kuni vorgeschlagen.
Ich denke, dass die Evaluation fast komplett eingespart werden kann. Das einzige, was bleiben sollte, sind die Freitextfelder. Mich zumindest interessiert der Rest der Informationen eigentlich eh nicht.
Wenn ich jetzt auch ein Blog hätte, würde ich mit “Kuni macht den Fefe des IfI” trackbacken.
Wow hier lesen noch Leute außer Enno und mir?
Sonst kann ich nur sagen, ich stimme euch zu, sowohl was die Irrelevanz dieses Verfahrens angeht, als auch das die Kommentare viel interessanter sind (allerdings auch mehr Aufwand vom Studi erfordern und tippen geht für viele schneller als Paperwork).
@Jörg: Wird in den Online-Fragebögen nach dem Geschlecht gefragt? o.O … das die nicht kapieren, dass die Informatik da eben etwas spezieller ist.
Ich erinnere mich an eine Begrüßung von Bell in seiner Linuxvorlesung: “Guten Morgen meine Herrn. Oh und Dame.”
Ich persönlich halte die Evaluationen eher für komplett sinnlos. Entweder wollen die Profs gute Lehre machen – dann brauchen sie aber die Evaluation nicht. Oder sie wollen, daß diese nervige Lehre nicht ständig ihre Forschung stört – dann kümmern sie sich aber auch nicht um die Evaluation.
Frage also: Für wen machen wir das eigentlich?
ich bin zwar kein Prof, gehöre aber definitiv in die nichtleere Schnittmenge von “Will gute Lehre machen” und “Bin interessiert an Kommentaren”
Zum einen erfahre ich dadurch (wie auch schon in Vergangenheit mehrfach geschehen), was man noch verbessern kann (auf einige Vorschläge wäre ich selbst nicht gekommen) und zum anderen freue ich mich natürlich zugegebenermaßen auch über den einen oder anderen netten Kommentar.
Ich hatte überlegt, statt “Profs” “Lehrbeauftragte” zu schreiben, aber das Problem betrifft tatsächlich in erster Linie (C4-)Professoren. Die wissen dann auch, daß ihnen sowieso niemand was kann.
Warum nicht einfach ein anonymes Kommentarsystem? Quasi ein Bug-Tracker für die Lehre?
Der Tracker hätte 2 immanente Probleme:
1. Er würde naturgemäß nur Negatives enthalten (Bugtracker). Niemand macht sich die Mühe ein Ticket zu schreiben, wenn ihm etwas gefällt.
2. Er würde wahrscheinlich wenig genutzt werden. Es fehlt dann einfach die gezielte Anschub. Das wird dann zu einem “Jemand(tm) sollte dem Prof mal sagen, dass …”. Oder er würde nur sehr eklatante Probleme enthalten, wo dann die Motivation entsprechend hoch ist. Bei solchen Problemen sollte man aber am besten direkt mit dem Prof reden und/oder die Fachschaft als Vermittler einschalten.
Bei einer Evaluation hingegen wird zu einem festen Zeitpunkt gesagt “macht mal bitte”.
Gute Frage.
Irgendwo hast du schon Recht. Allerdings kann über die Bewertungen schon indirekt Druck aufgebaut werden. Niemand hat gerne schwarz auf weiß, dass er die schlechteste Lehrveranstaltung macht.
Außerdem ermöglicht es Steuerung. So soll von der Unileitung geplant sein, dass die Fakultäten ihre “schlechtesten” Profs schulen. Sie also dazu bewegen/ermuntern und sie dabei unterstützen ihre Lehre zu verbessern (Didaktik-Kurse).
Weiterhin durch entsprechende rechtliche Veränderungen denkbar wäre eine Kopplung des Gehalts auch an die Evaluationsergebnisse. Dafür braucht es dann natürlich ein vernünftiges Evaluationsverfahren.
Unser damaliger Dekan Prof. Frensch hatte erwähnt, dass in Yale ein Teil des Gehalts der Lehrenden an die Lehrevaluation gekoppelt ist.
Die haben eine zweiteilige Evaluation. Im einen Semester gibt es eine Evaluation, wo die Studis die 5 besten/schlechtesten Dinge aufschreiben sollen (quasi die Kommentarvariante). Diese Evaluation findet im Semester statt, damit der Dozent noch im Semester Änderungen vornehmen/ausprobieren kann.
Und dann gibt es im folgenden Semester eine Evaluation am Ende des Semesters, wo die Studis angeben wie ihnen die Veranstaltungen gefallen haben.
Das klappt natürlich nur gut bei recht starren Lehrplänen (jedes Semester dieselbe Veranstaltung). Aber ich finde die Idee recht reizvoll.
Und unser Präsi will wohl auch eine stärkere Verbindlichkeit z.B. durch rechtliche/vertragliche Änderungen erreichen.
Für verbesserungswillige Lehrende sind natürlich die Kommentare am Wichtigsten.
Für die Anderen könnte Geld vielleicht durchaus eine Motivation sein.
Ich find die anderen aber immerzu abstrakt … ich habe teilweise Schwierigkeiten einzuschätzen ob etwas jetzt 4 von 5 Punkte wert ist oder eher 3 von 5 … und andere haben ganz andere Ansprüche an eine Lehrveranstaltung … kann mir (überspitzt) vorstellen einer gibt bei einer tollen Veranstaltung nur 4 von 5 weil er nicht jedes Mal mit Kaffee empfangen wird … verständlich was ich sagen will?
Wenn ich mich erinnere, glaube ich nicht, dass ich als Student etwas von einer Evaluation gehalten hätte. Wir sind auch zu Vorlesungen gegangen, von denen wir wussten, dass sie unkonzentriert, unvorbereitet und chaotisch waren.
Ja. Diese Probleme gibt es immer bei Benotungen. Das sollte sich aber über die Menge der Bewertungen rausmitteln. Man kann auch Ausreißer raus schmeißen oder was weiß ich.
Ich verstehe das Problem auch gerade bei einer 5-stufigen Skala nicht. Man gibt 3 für eine durchschnittliche Veranstaltung und was besseren, wenn die Veranstaltung beim jeweiligen Attribut besser war (geht natürlich auch in die andere Richtung). Die Vermeidung von Extremwerten ist auch ein altbekanntes Problem. Allerdings verstehe ich nicht inwiefern sich das von dir Beschriebene global negativ auf die Evaluation mittels Fragebögen auswirken soll. Es geht ja nicht darum den Profs 20% des Gehalts zu kürzen, wenn sie nicht überall 5 von 5 haben.
Generell haben wir am Institut für Psychologie eine Reihe von Profis, die uns einen “guten” Fragebogen konzipieren können müssten. Das sollte also nicht das Problem sein.
Freitextfelder liefern nunmal “lediglich” qualitative Ergebnisse. Manchmal benötigt man aber auch quantitative Ergebnisse.
Die Skala geht aber von “stimmt gar nicht” bis “stimmt sehr”. Eine völlig normale Veranstaltung sollte also volle Punkte bekommen. Was bekommt dann eine außerordentlich gute?
Wieso? Das ergibt sich mir gerade nicht.
Aber ich habe mir den aktuellen Fragebogen jetzt mal angeguckt (besuche ja keine VL und habe somit auch nix zu bewerten) und festgestellt, dass eine 6-stufige Skala eingesetzt wird, damit nicht vermehrt mit 3 abgestimmt wird, sondern eine Tendenz da sein muss.
Nehmen wir mal “Die veranstaltungsbegleitenden Materialien erleichterten das Verständnis des Inhalts/Stoffes.” je nach Materialien stimmt diese Aussage mehr oder eben weniger. Wenn man nicht davon ausgeht, dass unsere VLs eh alle spitze sind, dann könnte man im Mittel (bei einer “normalen” Veranstaltung) z.B. von einer 4 ausgehen (wir sind eher gut). Ich würde nur besonders guten Folien/Ergänzungsmaterialien die 6 geben. Es kommt da ja auch vor allem auf Vergleiche zu den anderen Veranstaltungen an.
Ich sehe absolut nicht, dass eine durchschnittliche Veranstaltung volle Punktzahl bekommen muss. Demnach bleibt noch genug Luft nach oben.