• Erstellung von Fragebögen.
• Durchführung von papier- oder onlinebasierten Umfragen.
• Automatische Zeitsteuerung von online-Umfragen.
• Elektronisches Einlesen und automatisches Auswerten eingescannter Papierfragebögen.
• Handschriftenerkennung.
• Automatische statistische Auswertung der erhobenen Daten (zusätzlich SPSS-kompatibler Datenexport möglich).

Jedem KU-Mitglied, welches Umfragen durchführen möchte, steht in EvaSys der Editor zum Erstellen von Fragebögen zur Verfügung. Fragebögen sind individuell gestaltbar. Folgende Fragetypen lassen sich (für die nachfolgende automatisierte Datenaufbereitung) erzeugen:

• Skalafragen,
• Multiple-Choice-Fragen,
• Entscheidungsfragen,
• offene Fragen,
• Matrixfeldfragen,
• Notenwertfragen.

Berücksichtigung der Besonderheiten der einzelnen Fächer

• Bei der Beschreibung dessen, was "Gute Lehre" sein soll, ist es von hoher Bedeutung, die Besonderheiten der einzelnen Fächer an der Universität zu berücksichtigen.
• Dazu gehören beispielsweise die unterschiedlichen Motivationen und Motivgrundlagen der Studierenden, die bedingt durch die zu unterrichtende Materie sehr unterschiedlichen Lehr- und Lernmethoden,
• und auch die stark variierenden Kriterien dafür, was Studien- und Berufserfolg sind.

Anpassung der Fragebögen an den Veranstaltungstyp

• Neben der Varianz von Lehre zwischen den Fächern finden sich auch unterschiedliche Kriterien guter Lehre innerhalb eines Faches, und zwar zwischen verschiedenen Veranstaltungstypen.
• Es hat sich bewährt, bei der Konstruktion von Fragebögen schon zu Beginn unterschiedliche Gütekriterien etwa für Veranstaltungen mit hoher oder geringer studentischer Beteiligung zu formulieren.
• In der Zukunft werden sicherlich auch Veranstaltungen mit hoher oder niedriger Präsenz (etwa online-Kurse oder blended learning) entsprechend zu evaluieren sein.

Einbeziehung von Dozierenden und Studierenden

• Evaluation kann nur dann zur Verbesserung der Lehre beitragen, wenn die wichtigsten Akteure in die Entwicklung und Nutzung der Instrumente eingebunden sind.
• Faire und transparente Verfahren führen zu einer wesentlich höheren Akzeptanz durch die Beteiligten.

Klare Definition der Konstrukte/Dimensionen

• Bei der Konstruktion von Fragebögen zur Evaluation von Lehrveranstaltungen werden bislang häufig die Dimensionen im Vorfeld nicht genau definiert.
• Stattdessen geschieht die Definition oft operational: Das heißt, Items werden formuliert ohne einen klaren Bezug zu einem Konstrukt herzustellen.
• In dem Prozess der Entwicklung eines neuen Fragebogens (oder der Anpassung von bestehenden Bögen) sollte die klare Definition der Konstrukte und ihrer dazugehörigen Facetten daher ganz am Anfang stehen.

Messung über mehrere Items

• Sind die Konstruktdefinitionen formuliert, können Items konstruiert und gesammelt werden.
• Ein besonders wichtiges Gütekriterium hierzu ist die Messung von Konstrukten über mehrere Items, da auf diese Weise die Messgenauigkeit deutlich erhöht, bzw. der Messfehler reduziert werden kann.
• Die a priori festgelegte Zuordnung von Items zu Konstrukten sollte außerdem empirisch überprüft werden (etwa durch Faktorenanalysen).

Formulierung von Items

• Items, welche die a priori festgelegten Konstrukte messen sollen, müssen einerseits dieses Konstrukt valide erfassen, also inhaltlich bedeutsam sein, andererseits von den Befragten auch verstanden und beantwortet werden können.
• Neben der empirischen Überprüfung der Güte von Items hat sich die Anwendung von acht Regeln bewährt, die von Mummendey (Mummendey, H.-D. (1999) Die Fragebogen-Methode. Göttingen) formuliert wurden:

1. Einfache Sprache
2. Kurze Sätze mit einheitlichem Aussehen
3. 1 Item = 1 Gedanke
4. Mehrere Interpretationen vermeiden
5. Ja- oder Nein-Tendenz vermeiden
6. Vermeiden: "Alle", "Immer", "Niemals", ...
7. Vermeiden: Doppelte Verneinung
8. Mischen von positiven und negativen Aussagen

Antwortformate

• Die Verwendung von Schulnoten als Antwortformate hat zwar auf den ersten Blick den Anreiz, intuitiv verständlich zu sein, sie birgt aber zahlreiche Gefahren, da die Bedeutung der einzelnen Werte subjektiv sehr unterschiedlich sein kann und sich messmethodische Mängel dadurch ergeben, dass die subjektiven Abstände zwischen den einzelnen Noten nicht äquivalent sind.
• So ist der Unterschied zwischen 1 und 2 ein anderer als zwischen 4 und 5 (also zwischen "bestanden" und "nicht bestanden").
• Als Alternative bieten sich Skalierungen, also Antwortformate, an, die empirisch gut überprüft sind und die messmethodischen Kriterien besser erfüllen.

Multimodale Evaluation

• Die studentische Sichtweise auf die Qualität von Veranstaltung ist ein ganz bedeutsamer Baustein bei der Beurteilung der Lehre.
• Dennoch kann dies nicht die einzige Quelle sein: Es müssen noch weitere Daten (multimodal) erhoben und verknüpft werden.
• Dies sind unter anderem subjektive Beurteilung durch Dozierende, objektive Daten wie etwa Modulnoten, aber auch langfristige Kennwerte wie Studienerfolg, Berufserfolg, aber auch subjektive Beurteilungen durch Studierende im Längsschnitt, also etwa rückblickend zum Ende des Studiums oder auch nach einiger Zeit der beruflichen Aktivität.

Kontrollvariablen

• Bewertungen durch die Studierenden sind oft erst durch den Kontext oder auch die Lehrbedingungen interpretierbar.
• Vor diesem Hintergrund erscheint es wichtig, in die Fragebögen Kontrollvariablen aufzunehmen, etwa die Häufigkeit des Veranstaltungsbesuchs.

Arbeitspapier von PD Dr. Markus Müller, Sozial- und Organisationspsychologie.

Auch bei der Durchführung von Befragungen ist es besonders wichtig, die Regel zum Datenschutz zu beachten. Es liegt hierfür eine spezielle Information zugrunde:

Datenschutz und Datensicherheit in der Evaluationssoftware

Die Normierung in EvaSys wurde in Zusammenarbeit mit Dr. Heiner Rindermann von der Universität Magdeburg entwickelt. Es wird eine abgewandelte Form der Z-Transformation durchgeführt.

Die genauen Erläuterungen zu den Formeln und der Interpretation der Ergebnisse werden im EvaSys-Anwenderhandbuch erklärt (Ausschnitt aus dem Handbuch).

Hier geht es zum kompletten Handbuch.

Qualitative Evaluationsverfahren

Eine Übersicht über mögliche qualitative Evaluationsverfahren ist folgender Handreichung zu entnehmen.

Qualitative Evaluationsverfahren ergänzen die quantitativen Formate der Lehrveranstaltungsevaluation. Insbesondere sollen sie angewendet werden, wenn in einer Lehrveranstaltung aufgrund einer geringen Zahl an Teilnehmerinnen und Teilnehmern zu erwarten ist, dass quantitative Befragungen nicht ausgewertet werden können.

Eine Übersicht möglicher qualitativer Evaluationsverfahren können Sie dieser Handreichung entnehmen.