Trierer Inventar zur Lehrevaluation
TRIL - Trierer Inventar zur Lehrevaluation (PSYNDEX Tests Abstract)
Trier Inventory of Teaching Quality/journal
Online im Internet: https://www.testarchiv.eu/de/test/9004523
Anmerkung: Das Verfahren wurde 2002 in das Testarchiv des ZPID aufgenommen
Nachweis im Testarchiv: Arbeitskreis "Lehrevaluation" im Fach Psychologie (Gläßer, E., Gollwitzer, M., Kranz, D., Meiniger, C., Schlotz, W., Schnell, T. & Voß, A.) in Zusammenarbeit mit dem Zentrum für Psychologische Diagnostik, Begutachtung und Evaluation (ZDiag). (2002). TRIL. Trierer Inventar zur Lehrevaluation [Verfahrensdokumentation aus PSYNDEX Tests-Nr. 9004523,
Fragebogen weibliche Dozierende und Fragebogen männliche Dozierende]. In Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) (Hrsg.), Elektronisches Testarchiv. Trier: ZPID.
o Prof. Dr. Andreas Voß, Psychologische Methodenlehre, Psychologisches Institut, Universität Heidelberg, Hauptstrasse 47-51, D-69177 Heidelberg ; E-Mail: andreas.voss@psychologie.uni-heidelberg.de ; URL: https://www.psychologie.uni-heidelberg.de/ae/meth/team/voss/index.html ; Stand: 22.05.2021
o Prof. Dr. Tatjana Schnell, Universität Innsbruck, Institut für Psychologie, Schwerpunkt: Existenzielle Psychologie, Persönlichkeits- und Differentielle Psychologie, Empirische Sinnforschung, Innrain 52, A-6020 Innsbruck, Österreich ; E-Mail: tatjana.schnell@uibk.ac.at ; URL: https://www.uibk.ac.at/psychologie/mitarbeiter/schnell/ ; Stand: 2.11.2021
o Dr. Wolff Andreas Schlotz, Max-Planck-Institut für empirische Ästhetik, Frankfurt am Main (1971-2020) ; URL: https://www.aesthetics.mpg.de/institut/news/news-artikel/article/nachruf.html ; Stand: 11.11.2022
o Dr. Dirk Kranz, Universität Trier, Fachbereich I - Psychologie, Universitätsring 15, D-54296 Trier ; E-Mail: dirk.kranz@uni-trier.de ; URL: https://www.uni-trier.de/universitaet/fachbereiche-faecher/fachbereich-i/faecher-und-institute/psychologie/professuren/entwicklungspsychologie/team/dr-dirk-kranz ; Stand: 17.8.2022
Abstract
Diagnostische Zielsetzung:Als multidimensionales Instrument erfasst das TRIL (Arbeitskreis "Lehrevaluation" im Fach in Zusammenarbeit mit dem Zentrum für Psychologische Diagnostik, Begutachtung und Evaluation, 2002) Lehrveranstaltungsqualitäten aus studentischer Perspektive.
Aufbau:
Das TRIL umfasst 42 Items. Es besteht aus den folgenden fünf bzw. sechs Skalen: (1) Strukturiertheit und didaktische Qualität (k = 6), (2) Anregungs- und Motivationsgehalt (k = 5), (3) Interaktions- und Kommunikationsklima (k = 5), (4) Persönlicher Gewinn (k = 4), (5) Anwendungsbezug (k = 4) und (6) Qualität studentischer Referate (k = 4). Die restlichen 22 Items erfassen "Weitere Fragen zur Veranstaltung", "Gesamtbeurteilung", "Arbeitsanforderungen", "Fehlzeiten", "Grund für den Besuch der
Veranstaltung" und "Abschießende offene Fragen".
Grundlagen und Konstruktion:
Die Testkonstruktion beruht auf der Klassischen Testtheorie. Bei der Konstruktion wurden Items ausgewählt, die den Dozenten explizite Informationen zur qualitativen Verbesserung ihrer Lehrveranstaltung sowie eine breite Anwendungsmöglichkeit bieten. Hierfür wurde die Definition der Nützlichkeit von Lienert und Raatz (1994) zur Hilfe genommen. Auch die Konstruktvalidität der Skalen und Items sollte gegeben sein (Gollwitzer, Kranz & Vogel, 2006; Gollwitzer & Schlotz, 2003). Das TRIL wurde anschließend aufgrund testtheoretischer Erkenntnisse (Trennschärfen, Interkorrelationen der Fragen und Skalen etc.) und spezifischer Bedarfe in Kooperation mit den Studiengangvertreterinnen und -vertretern dahingehend adaptiert, dass es nun aus 15 bis 34 Items auf vier Skalen bestand (Weis, Karthaus &
Lischetzke, 2014): (1) Struktur und Didaktik, (2) Anregungsgehalt, (3) Veranstaltungsklima und 4) Anwendungs- und Praxisbezug (siehe auch Fondel, Lischetzke, Weis & Gollwitzer, 2015). Für die Verkürzung waren inhaltliche und ökonomische Aspekte ausschlaggebend.
Empirische Prüfung und Gütekriterien:
Reliabilität: Das TRIL weist auf Skalenebene gute bis sehr gute interne Konsistenzen auf (Gollwitzer et al., 2006, S. 91).
Validität: Zur Überprüfung der Konstruktvalidität wurden Ergebnisse einer Beobachtungsstudie (ICC-Werte) mit den TRIL-Werten korreliert (Gollwitzer et al., 2006, S. 97-98, Tabelle 2). Hohe signifikante Korrelationen finden sich für die Skala Interaktion und Kommunikation (r = .50-.84) sowie für Anwendungsbezug (r = .58), während auch einige negative Korrelationen nachgewiesen wurden (z. B. "Verständnisfragen Studierende" der Skala Struktur und Didaktik: r = -.79; S. 97 f.). Eine Faktorenanalyse ergab ein Fünffaktorenmodell mit 48% Varianzaufklärung. In der Studie von Fondel et al. (2015) wurde anhand einer adaptierten Version des TRIL mit 19 Items die faktorielle Validität (Multilevel-CFA), Messinvarianz über Veranstaltungsarten hinweg als auch die Beurteilerübereinstimmung unter N = 1 823 Studierenden (Konsistenz vs. Methodenspezifität) untersucht. Gollwitzer et al. (2006) geben als
weiteren Validitätsbeleg an, dass anhand einer Anwenderbefragung die Dozenten mit den Bewertungen der Studierenden sehr stark übereinstimmen.
Normen: Es liegen keine Normen vor.
Alle Items
Anmerkung: Im Folgenden werden die 42 Items des TRIL vorgestellt.Struktur und Didaktik
1. Die Lehrziele waren klar und nachvollziehbar.
2. Der inhaltliche Aufbau der Veranstaltung war den Zielen angemessen.
3. Die gesetzten Lehrziele sind erreicht worden.
4. Die Dozentin wirkte stets gut vorbereitet.
5. Sie hat didaktische Hilfsmittel (z. B. Folien, Tafelbilder) sinnvoll eingesetzt.
6. Sie hat komplizierte Dinge strukturiert erklärt.
Anregung und Motivation
7. Die Dozentin wirkte in der Veranstaltung engagiert.
8. Sie hat anregend und akustisch verständlich gesprochen.
9. Sie hat die Veranstaltung interessant gestaltet.
10. Sie hat mich motiviert, konzentriert bei der Sache zu bleiben.
11. Die Veranstaltung zog sich schleppend dahin.
Interaktion und Kommunikation
12. In der Veranstaltung herrschte ein offenes Klima für eigene Beiträge.
13. Es fanden ausreichend Diskussionen statt.
14. Die Diskussionen der Studierenden waren produktiv.
15. Fragen und Beiträge waren stets willkommen.
16. Die Dozentin hat es verstanden, Diskussionen gut zu leiten.
Persönlicher Gewinn durch die Veranstaltung
17. Das Thema der Veranstaltung hat mich interessiert.
18. Die behandelten Themen waren für mich bedeutsam und relevant.
19. Ich habe in dieser Veranstaltung etwas Sinnvolles und Wichtiges gelernt.
20. Mein Verständnis für das Studienfach hat sich durch die Veranstaltung weiterentwickelt.
Anwendungsbezug
21. Es wurden Bezüge zwischen Theorie und Praxis aufgezeigt.
22. Die Dozentin hat den Stoff an lebensnahen Beispielen veranschaulicht.
23. Sie hat zur kritischen Auseinandersetzung mit den behandelten Themen angeregt.
24. Die behandelten Inhalte waren lebensfern.
Referate (nur ausfüllen, wenn Referate Teil der Veranstaltung waren)
25. Referate waren grundsätzlich ein nützlicher Bestandteil dieser Veranstaltung.
26. Die gehaltenen Referate waren strukturiert und verständlich.
27. Die Referate waren interessant.
28. Die Referenten/innen wurden durch die Dozentin adäquat ergänzt.
Weitere Fragen zur Veranstaltung
29. Ich habe mich auf die Veranstaltung regelmäßig vorbereitet (z. B. durch Lesen der Literatur).
30. Ich habe die einzelnen Sitzungen regelmäßig nachbereitet (z. B. durch Diskussionen mit Kommilitoninnen/Kommilitonen bzw. Lesen der Literatur).
31. Bei Fragen u. ä. war die Dozentin auch außerhalb der Veranstaltung ansprechbar.
Gesamtbeurteilung
32. Alles in allem hat sich der Besuch dieser Veranstaltung für mich gelohnt.
Arbeitsanforderungen
33. Die gestellten Anforderungen waren ...
Fehlzeiten
34. Ich habe in der Veranstaltung ... gefehlt.
Grund für den Besuch der Veranstaltung (Mehrfachantworten möglich)
35. Pflichtveranstaltung
36. Schein
37. Prüfungsrelevanz
38. Dozent/in
39. Interesse am Thema
40. und/oder: _______
Abschließende offene Fragen (Falls der Platz nicht ausreicht, benutzen Sie bitte auch die Rückseite.)
41 Was fanden Sie besonders gut an der Veranstaltung?
42 Was fanden Sie schlecht bzw. was ist verbesserungswürdig?
Altersbereiche
Der Fragebogen ist für Erwachsene (Studierende) konzipiert worden.Durchführungszeit
Zur Dauer der Testung liegen keine Angaben vor.Bewertung
Das TRIL ist ein Evaluationsinstrument für Lehrveranstaltungen aus der Sicht der Studierenden. Laut Gollwitzer et al. (2006, S. 102-103) erweist sich das TRIL als praktisch bedeutsam, da es gegenüber anderen standardisierten Evaluationsinstrumenten eher bevorzugt wird und da die Befragten an einer weiteren Lehrevaluation mittels TRIL interessiert waren. Des Weiteren wurde das TRIL von den Studierenden als nützlich und benutzerfreundlich bewertet.Literatur
- Arbeitskreis "Lehrevaluation" im Fach Psychologie (Gläßer, E., Gollwitzer, M., Kranz, D., Meiniger, C., Schlotz, W., Schnell, T. & Voß, A.) in Zusammenarbeit mit dem Zentrum für Psychologische Diagnostik, Begutachtung und Evaluation (Zdiag). (2002). TRIL. Trierer Inventar zur Lehrevaluation (Fassung für männliche Dozierende und Fassung für weibliche Dozierende). Trier: Universität Trier.
- Fondel, E., Lischetzke, T., Weis, S. & Gollwitzer, M. (2015). Zur Validität von studentischen Lehrveranstaltungsevaluationen. Messinvarianz über Veranstaltungsarten, Konsistenz von Urteilen und Erklärung ihrer Heterogenität. Diagnostica, 61 (3), 124-135.
- Gollwitzer, M., Kranz, D. & Vogel, E. (2006). Die Validität studentischer Lehrveranstaltungsevaluationen und ihre Nützlichkeit für die Verbesserung der Hochschullehre: Neuere Befunde zu den Gütekriterien des "Trierer Inventars zur Lehrevaluation" (TRIL). In G. Krampen & H. Zayer (Hrsg.), Didaktik und Evaluation in der Psyche (S. 90-104). Göttingen: Hogrefe.
- Gollwitzer, M. & Schlotz, W. (2003). Das "Trierer Inventar zur Lehrveranstaltungsevaluation" (TRIL): Entwicklung und erste testtheoretische Erprobungen. In G. Krampen & H. Zayer (Hrsg.), Psychologiedidaktik und Evaluation IV (S. 114-128). Bonn: Deutscher Psychologen Verlag.
- Lienert, G. A. & Raatz, U. (1994). Testaufbau und Testanalyse (5. völlig neu bearbeitete und erweiterte Auflage). Weinheim: Beltz.
- Weis, S., Karthaus, C. & Lischetzke, T. (2014). Elemente der Lehrveranstaltungsevaluation an der Universität Koblenz-Landau: Theoretische Einordnung und empirische Befunde. Qualität in der Wissenschaft, 8 (2/3), 61-69.
Klassische Testtheorie; Fragebögen; Studierende (Masterstudium); Psychologiestudium (Master); Pädagogische Psychologie; Hochschulausbildung; Evaluation von Lehrveranstaltungen
Verfahren zur Beurteilung der Lehreffizienz
7.5.7