0001 | info@leibniz-psychology.org | © 2025 ZPID | |
| ![]() | |
Vollansicht des PSYNDEX Tests-Dokuments: Inventar zur Evaluation von Blended Learning | ||
PSYNDEX Tests-Dokument: 9006865 | ||
IEBL - Inventar zur Evaluation von Blended Learning (PSYNDEX Tests Review) | ||
Inventory for the Evaluation of Blended Learning Courses/zpid | ||
Peter, J., Leichner, N., Mayer, A.-K. & Krampen, G. | ||
(2014). Das Inventar zur Evaluation von Blended Learning (IEBL): Konstruktion und Erprobung in einem Training professioneller Informationskompetenz. In M. Krämer, U. Weger & M. Zupanic (Hrsg.), Psychologiedidaktik und Evaluation X (S. 275-282). Aachen: Shaker. Online im Internet: https://www.testarchiv.eu/de/test/9006865 | ||
Bezugsquelle: Das Verfahren ist im Open Test Archive des ZPID enthalten und steht unter der Creative Commons-Lizenz "Namensnennung - Weitergabe unter gleichen Bedingungen)" (CC BY-SA); E-Mail: testarchiv@leibniz-psychology.org; URL: https://www.testarchiv.eu/; Stand: 01.05.2025. Anmerkung: Das Verfahren wurde 2015 in das Testarchiv des ZPID aufgenommen. Nachweis im Testarchiv: Peter, J., Leichner, N., Mayer, A.-K. & Krampen, G. (2015). IEBL. Inventar zur Evaluation von Blended Learning [Verfahrensdokumentation und Fragebogen sowie Auswertungshilfe]. In Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) (Hrsg.), Elektronisches Testarchiv. Trier: ZPID. | ||
Adresse(n): o Dr. Dipl.-Psych. Johannes Peter, Competence Lead Data Engineering & Data Science, Media-Saturn-Holding GmbH, Wankelstraße 5, D-85046 Ingolstadt ; URL: https://www.xing.com/profile/Johannes_Peter19/cv ; Stand: 16.11.2021 o Dr. Nikolas Leichner, Universität Koblenz-Landau, Methodenzentrum, Fortstraße, D-776829 Landau ; E-Mail: leichner@uni-landau.de ; URL: https://www.uni-koblenz-landau.de/de/methodenzentrum/ueberuns/team/mosaik/leichner ; Stand: 06.05.2021 o Dr. Anne-Kathrin Mayer, Medizinische Hochschule Brandenburg, Campus Neuruppin, Fehrbelliner Straße 38, D-16816 Neuruppin ; E-Mail: akm.psychologie@gmail.com ; URL: https://www.mhb-fontane.de/de/details-zu/anne-kathrin-mayer ; Stand: 4.3.2025 o Prof. Dr. Dr. Günter Krampen (1950-2023), Universität Trier, Fachbereich I - Psychologie ; URL: https://de.wikipedia.org/wiki/G%C3%BCnter_Krampen ; Stand: 01.05.2025 | ||
WWW-Informationen:
| ||
AbstractDiagnostische Zielsetzung:Das IEBL dient der subjektiven Evaluation von Blended Learning-Lehrveranstaltungen, die sich durch die Kombination von Online- und Präsenzlehre auszeichnen. Das Ziel ist es, über Gesamtbewertungen herkömmlicher Instrumente zur Lehrevaluation hinaus zu erfassen, inwieweit die Umsetzung der Online- und Präsenzanteile gelungen ist und inwieweit aus Sicht der Teilnehmenden an der Veranstaltung die jeweiligen Vorteile der beiden Komponenten zum Tragen gekommen sind.
| ||
Testkonzept | ||
Theoretischer HintergrundDas Inventar zur Evaluation von Blended Learning (IEBL; Peter, Leichner, Mayer & Krampen, 2014) dient der subjektiven Evaluation von Blended Learning-Lehrveranstaltungen, die sich durch die Kombination von Online- und Präsenzlehre auszeichnen. Das Ziel ist es, über Gesamtbewertungen herkömmlicher Instrumente zur Lehrevaluation hinaus zu erfassen, inwieweit die Umsetzung der Online- und Präsenzanteile gelungen ist und inwieweit aus Sicht der Teilnehmenden an der Veranstaltung die jeweiligen Vorteile der beiden Komponenten zum Tragen gekommen sind. Die Dimensionen des IEBL beziehen sich daher sowohl auf das Training im Ganzen als auch auf spezifische Aspekte der Online- und der Präsenzlehre. | ||
TestaufbauDas Inventar umfasst 46 Items, die aus Aussagen über Lehrveranstaltungen bestehen und zu acht Skalen zusammengefasst werden. Zur Evaluation von Lehrveranstaltungen im Ganzen dienen die Subskalen (1) "Allgemeiner Nutzen" (k = 6 Items), (2) "Didaktische Qualität" (k = 7 Items) und (3) "Angemessenheit der Beanspruchung" (k = 5 Items). Zur Evaluation der Onlineanteile dienen die Subskalen (4) "Akzeptanz der Onlinelehre" (k = 5 Items), (5) "Fehlender sozialer Austausch" (k = 3 Items) und (6) "Nutzerfreundlichkeit" (k = 7 Items). Die Evaluation der Präsenzanteile erfolgt durch die beiden Subskalen (7) "Akzeptanz der Präsenzlehre" (k = 5 Items) und (8) "Dozent/in" (k = 8 Items). | ||
AuswertungsmodusBeim überwiegenden Teil der Items ist der Grad der Zustimmung zu der jeweiligen Aussage auf einer siebenstufigen Likert-Skala anzugeben (1 = "trifft nicht zu" bis 7 = "trifft völlig zu"). Bei den Items der Subskala "Angemessenheit der Beanspruchung" indizieren niedrige Werte (1-3) Unterforderung, mittlere Werte (4) eine ausgewogene Beanspruchung und hohe Werte Überforderung (5-7). Die Items 8, 9, 20, 29, 31, 33, 35 müssen vor der Bildung der Skalen umgepolt werden. Die Items sind den einzelnen Skalen folgendermaßen zugeordnet:(1) Allgemeiner Nutzen: 9R, 14, 15, 16, 17, 18; (2) Didaktische Qualität: 1, 2, 3, 4, 5, 6, 7; (3) Angemessenheit der Beanspruchung: 8R, 10, 11, 12, 13; (4) Akzeptanz der Onlinelehre: 19, 20R, 21, 22, 23; (5) Fehlender sozialer Austausch: 24, 25, 26; (6) Nutzerfreundlichkeit: 27, 28, 29R, 30, 31R, 32, 33R; (7) Akzeptanz der Präsenzlehre: 34, 35R, 36, 37, 38; (8) Dozent/in: 39, 40, 41, 42, 43, 44, 45, 46. Umzupolende Items sind mit einem R gekennzeichnet. Als Skalenwert fungiert das arithmetische Mittel der jeweiligen Items. | ||
AuswertungshilfenEine Auswertungsschablone für die Papier-und-Bleistift-Fassung kann leicht selbst angefertigt werden. Für die Auswertung mittels SPSS liegt eine Syntax vor, welche die Befehle zur Vergabe von Variablenlabels, zur Umpolung einzelner Items, zur Bildung der Skalenwerte und zur Reliabilitätsanalyse enthält. | ||
AuswertungszeitDie Auswertungszeit nimmt aufgrund einfacher Auswertungsregeln nur wenige Minuten in Anspruch. | ||
Itembeispiele1. Der inhaltliche Aufbau des Trainings ist logisch/nachvollziehbar.2. Das Training ist gut organisiert. 3. Der Stoff wird anhand von Beispielen veranschaulicht. | ||
Alle Items1. Der inhaltliche Aufbau des Trainings ist logisch/nachvollziehbar.2. Das Training ist gut organisiert. 3. Der Stoff wird anhand von Beispielen veranschaulicht. 4. Die Bedeutung/Der Nutzen der behandelten Themen wird vermittelt. 5. Ein Bezug zwischen Theorie und Praxis/Anwendung wird hergestellt. 6. Zum Mitdenken/Durchdenken des Stoffes wird angeregt. 7. Die behandelten Themen werden kritisch/von verschiedenen Seiten beleuchtet. 8. Mein Vorwissen: 1 = zu wenig, um dem Training folgen zu können, 4 = genau richtig, 7 = alles mir schon bekannt gewesen, Besuch überflüssig. 9. Es treten oft unnötige inhaltliche Überschneidungen mit anderen Kursen auf. 10. Schwere des Stoffes als solches: 1 = viel zu wenig, 4 = genau richtig, 7 = viel zu schwer. 11. Umfang des Stoffes: 1 = viel zu wenig, 4 = genau richtig, 7 = viel zu viel. 12. Das Tempo des Trainings ist: 1 = viel zu langsam, 4 = genau richtig, 7 = viel zu schnell. 13. Die Anforderungen sind: 1 = viel zu niedrig, 4 = genau richtig, 7 = viel zu hoch. 14. Ich lerne durch das Training. 15. Mein Wissensstand ist nach dem Training viel höher als vorher. 16. Ich lerne etwas Sinnvolles und Wichtiges. 17. Das Training motiviert dazu, sich selbst mit den Inhalten zu beschäftigen. 18. Der Besuch des Trainings lohnt sich. 19. Die Lerninhalte in Online-Modulen bereitzustellen, statt sie ausschließlich durch Präsenzlehre zu vermitteln, erscheint mir sinnvoll. 20. Es wäre besser, auf die Online-Module zu verzichten und alle Lerninhalte durch Präsenzlehre zu vermitteln. 21. Der Vorteil von Online-Modulen, sein eigenes Lerntempo bestimmen zu können, kommt bei diesen Lerninhalten zur Geltung. 22. Die Lerninhalte werden in den Online-Modulen verständlich vermittelt. 23. Die Online-Übungsaufgaben sind nützlich für das Verständnis der Lerninhalte. 24. Ich hätte mir bei der Bearbeitung der Online-Module mehr direkte Hilfe seitens eines Dozierenden gewünscht. 25. Ich hätte mir bei der Bearbeitung der Online-Module mehr Kontakt mit Dozierenden gewünscht. 26. Bei der Bearbeitung der Online-Module hat mir der Kontakt mit anderen Teilnehmenden gefehlt. 27. In der Online-Lernumgebung habe ich mich bereits bei ihrer ersten Benutzung schnell zurechtgefunden. 28. Die Bedienung der Online-Lernumgebung finde ich einfach. 29. In der Online-Lernumgebung bin ich auf viele fehlerhafte Links gestoßen. 30. Die Online-Lernumgebung ist übersichtlich. 31. Die Bedienung der Online-Lernumgebung ist oft sehr verwirrend. 32. Beim wiederholten Aufrufen der Online-Lernumgebung finde ich mich schnell wieder zurecht. 33. In der Online-Lernumgebung klicke ich oft auf falsche Links und werde dann zu Seiten geführt, zu denen ich eigentlich nicht wollte. 34. Durch die Präsenzlehre wird mein Verständnis der Lehrinhalte gefestigt. 35. Die Präsenzlehre ist unnötig. Die Online-Module mit Rückmeldung zu den Übungsaufgaben reichen aus. 36. Durch die Präsenzlehre erreiche ich ein tiefergehendes Verständnis der Lehrinhalte. 37. Die Diskussionen in der Präsenzlehre sind eine sinnvolle Ergänzung zu den Online-Modulen. 38. Die Präsenzlehre ist hilfreich, weil dort offene Fragen über die Inhalte der Online-Module beantwortet werden. 39. Die Dozentin/Der Dozent spricht verständlich und anregend. 40. Die Dozentin/Der Dozent kann Kompliziertes verständlich machen. 41. Die Dozentin/Der Dozent engagiert sich bei der Lehrtätigkeit und versucht Begeisterung zu vermitteln. 42. Dem/Der Dozenten/Dozentin ist es wichtig, dass die Teilnehmer etwas lernen. 43. Die Dozentin/Der Dozent ist im Umgang mit den Studenten freundlich. 44. Die Dozentin/Der Dozent ist kooperativ und aufgeschlossen. 45. Die Dozentin/Der Dozent fördert Fragen und aktive Mitarbeit. 46. Diskussionen werden gut geleitet (Anregung von Beiträgen, Eingehen auf Beiträge, Bremsen von Vielrednern). | ||
Durchführung | ||
TestformenDas Verfahren kann sowohl in Einzel- als auch in Gruppenuntersuchungen eingesetzt werden. Eine Anwendung ist sowohl im Online- als auch im Papier-und-Bleistift-Format möglich. Es existieren keine anderssprachigen Testversionen oder sonstige Adaptionen. | ||
AltersbereicheDas IEBL kann bei Jugendlichen und Erwachsenen eingesetzt werden. Da derzeit (März 2016) keine Normierung des Verfahrens vorliegt, sind keine spezifischen Altersgrenzen zu beachten. | ||
DurchführungszeitDie Bearbeitungsdauer für das IEBL beträgt etwa 5 bis 10 Minuten. | ||
MaterialDas Testmaterial besteht allein aus dem Fragebogen, zu dessen Bearbeitung in der Papier-und-Bleistift-Fassung zusätzlich ein Stift benötigt wird. | ||
InstruktionDie Instruktionen sind standardisiert und auf dem Fragebogen abgedruckt. | ||
DurchführungsvoraussetzungenBei der Anwendung des IEBL sind keine spezifischen Durchführungsvoraussetzungen zu beachten. Ein Trainingsmanual Blended Learning von Informationskompetenz (BLInk) liegt vor (Leichner, Peter, Waeldin, Mayer & Krampen, 2015). | ||
TestkonstruktionDas Verfahren wurde nach Prinzipien der Klassischen Testtheorie entwickelt und psychometrisch evaluiert. Da es im deutschsprachigen Raum bereits eine Vielzahl an Instrumenten zur subjektiven Evaluation von Lehrveranstaltungen gibt, wurden die Instrumente miteinander verglichen. Das Heidelberger Inventar zur Lehrveranstaltungsevaluation - revidierte Form (HILVE-II; Buhl, 1999) wurde als Grundlage für das IEBL ausgewählt, da es im Unterschied zu anderen Instrumenten weniger stark an der Evaluation reiner Präsenzlehre ausgerichtet ist. Das HILVE-II ist die revidierte Version des Heidelberger Inventar zur Lehrveranstaltungs-Evaluation (HILVE; Rindermann & Amelang, 1994). Die Items der HILVE-II-Kategorien "Struktur", "Auseinandersetzung", "Verarbeitung", "Thema", "Redundanz", "Anforderungen", "Lernen - quantitativ", "Lernen - qualitativ", "Interessenförderung" und "Allgemeineinschätzung" wurden für den Bereich der Gesamtbewertung übernommen.Die Grundlage der Items zur Evaluation der Online-Lehre bildeten die Kategorien "Akzeptanz der Online-Lehre" und "Nutzerfreundlichkeit" aus der Auflistung von Glowalla, Herder, Süße und Koch (2009). Die Items zur Kategorie "Nutzerfreundlichkeit" wurden nach den Kriterien von Kerkau (2009) entwickelt. Als Pendant zur Onlinelehre wurden zur Evaluation der Präsenzlehre Items der Kategorie "Akzeptanz der Präsenzlehre" gebildet. Ergänzend wurden die Items der HILVE-II-Kategorien "Lehrkompetenz", "Dozentenengagement", "Interessantheit" und "Interaktionsmanagement" zur Bewertung des Dozierenden übernommen. Die Daten zur Konstruktion wurden im Rahmen von zwei Studien an Psychologiestudierenden (Studie 1: n = 67; Studie 2: n = 64) computerbasiert erhoben; im Rahmen der Studien wurde eine Blended Learning-Lehrveranstaltung zur Vermittlung fachlicher Informationskompetenz evaluiert (z. B. Leichner, Peter, Mayer & Krampen, 2014). Auf der Basis einer Hauptkomponentenanalyse des zusammengefassten Datensatzes (n = 131) wurde die im Abschnitt "Testaufbau" beschriebene Struktur ermittelt (Peter et al., 2014). | ||
Gütekriterien | ||
ObjektivitätDie standardisierten Instruktionen sichern zusammen mit der einfachen Auswertung sowohl Durchführungs- als auch Auswertungsobjektivität. Zur Beurteilung der Interpretationsobjektivität liegen hingegen zu wenige Informationen vor. | ||
ReliabilitätDie Subskalen zur Gesamtbewertung weisen allgemein eine gute interne Konsistenz auf, wie in Tabelle 1 (siehe unter "Normierung") zu sehen ist. Mit Ausnahme der Skala 3 (Angemessenheit der Beanspruchung) liegen die Alpha-Werte nach Cronbach über .70; die Alpha-Werte der meisten Skalen liegen sogar über .80. | ||
ValiditätBei Peter et al. (2014) wird mittels t-Tests gezeigt, dass die Skalen "Angemessenheit der Beanspruchung", "Akzeptanz der Präsenzlehre" und "Dozent/in" sensitiv für Veränderungen in der Gestaltung von Lehrveranstaltungen sind: Beispielsweise ist infolge einer höheren Individualisierung der Präsenzlehre eine höhere Akzeptanz der Präsenzlehre festzustellen. Ferner zeigen sich signifikante Korrelationen zwischen den inhaltlich ausgewählten Skalen "Allgemeiner Nutzen", "Angemessenheit der Beanspruchung", "Akzeptanz der Onlinelehre" und "Akzeptanz der Präsenzlehre" und dem objektiven Lerngewinn, der im Rahmen von Prä-Post-Messungen erhoben wurde: Beispielsweise gehen höhere Werte auf der Subskala "Akzeptanz der Onlinelehre" mit einem höheren Lerngewinn einher. | ||
NormierungDerzeit (März 2016) liegt noch keine Normierung des IEBL vor. Für eine grobe Orientierung können die in Tabelle 1 dargestellten Mittelwerte und Standardabweichungen der Konstruktionsstichprobe (Peter et al., 2014) herangezogen werden. Ergänzend liegen Daten aus einer weiteren mit n = 51 Psychologiestudierenden durchgeführten Evaluationsstudie vor, in der eine curricular integrierte Blended Learning-Lehrveranstaltung zur Vermittlung fachlicher Informationskompetenz evaluiert wurde (Studie 3).Tabelle 1 Mittelwerte und Standardabweichungen der IEBL-Skalen in drei Studien (Studie 1 und 2: Konstruktionsstichprobe, (vgl.) Peter, Leichner, Mayer & Krampen, 2014, S. 280; Studie 3: n = 51 Psychologiestudierende) ----------------------------------------------------------------------Anmerkungen. n1 = 67, n2 = 64, n3 = 51. k = Itemanzahl, M = Mittelwert, SD = Standardabweichung, Alpha = Cronbachs Alpha. 1 = Allgemeiner Nutzen, 2 = Didaktische Qualität, 3 = Angemessenheit der Beanspruchung, 4 = Akzeptanz der Onlinelehre, 5 = Fehlender sozialer Austausch, 6 = Nutzerfreundlichkeit, 7 = Akzeptanz der Präsenzlehre, 8 = Dozent/in. | ||
AnwendungsmöglichkeitenDas IEBL kann zur Evaluation von Blended Learning-Lehrveranstaltungen eingesetzt werden, die sich durch eine Kombination von Online- und Präsenzlehre auszeichnen. Einsatzmöglichkeiten bestehen damit z. B. im Schul- und Hochschulkontext, in der beruflichen Aus- und Weiterbildung und in der Erwachsenenbildung. Dabei ist sowohl der Einsatz in praktischen als auch in forschungsbezogenen Kontexten denkbar. | ||
BewertungZusammenfassend stellt der IEBL ein systematisch konstruiertes Instrument dar, das ökonomisch in der Durchführung ist. Reliabilitätsanalysen weisen allgemein auf eine gute interne Konsistenz der Skalen hin. Darüber hinaus zeigen sich erste günstige Hinweise zur Validität der Skalen. Problematisch erscheint die Summenwertbildung bei den Items der Skala "Angemessenheit der Beanspruchung", da hier der optimale Wert jeweils in der Mitte liegt und hohe bzw. niedrige Werte suboptimale Bewertungen bedeuten. Eine Summenskala müsste daher von den Abweichungen von dem optimalen Wert ausgehen. Für eine weiterführende empirische Erprobung des Instruments sind die Anwendung im Rahmen thematisch abweichender Blended Learning-Lehrveranstaltungen und eine konfirmatorische Überprüfung der Faktorenstruktur zielführend. | ||
Literatur
| ||
Autorenbeschreibung: Johannes Peter und Anne-Kathrin Mayer (09.03.2016) | ||
APA-Schlagworte/PSYNDEX Terms: | Classical Test Theory; Questionnaires; Rating Scales; Educational Measurement; Teaching; Teaching Methods; Educational Program Evaluation; Course Evaluation; Educational Quality; Learning; Computer Applications Klassische Testtheorie; Fragebögen; Rating-Skalen; Pädagogisches Testen; Lehren; Lehrmethoden; Evaluation von Bildungsprogrammen; Evaluation von Lehrveranstaltungen; Bildungsqualität; Lernen; Computeranwendungen | |
weitere Schlagworte: | 2014 (IEBL); 2015 (Open Test Archive); Open Access; PsychData; Blended Learning; 46 Items; Skalen: 1 Evaluation von Lehrveranstaltungen: 1a Allgemeiner Nutzen, 1b Didaktische Qualität, 1c Angemessenheit der Beanspruchung; 2 Evaluation der Onlineanteile: 2a Akzeptanz der Onlinelehre, 2b Fehlender sozialer Austausch, 2c Nutzerfreundlichkeit; 3 Evaluation der Präsenzanteile: 3a Akzeptanz der Präsenzlehre, 3b Dozent/in; Normierungs-/Untersuchungsjahr: keine Angaben; Stichprobe(n): 67+64+51 | |
Klassifikation: | Pädagogische Messung und Beurteilung; Curricula, Bildungsprogramme und Lehrmethoden; Lernen und Leistung Verfahren zur Beurteilung der Lehreffizienz 7.5.7 | |
Anwendungstyp: | Research (Tests), Students | |
Art der Publikation: | Test; Electronic Resources (90; 94) | |
Sprache: | German | |
Land: | Germany | |
Publikationsjahr: | 2014 | |
Änderungsdatum: | 201603 | |
info@leibniz-psychology.org | © 1996-2025 ZPID |