0001 | info@leibniz-psychology.org | © 1996-2022 ZPID | |
| ![]() | |
Vollansicht des PSYNDEX Tests-Dokuments: Survey-Feedback-Instrument zur Organisationsdiagnose an Schulen | ||
PSYNDEX Tests-Dokument: 9004179 | ||
ODAS - Survey-Feedback-Instrument zur Organisationsdiagnose an Schulen (PSYNDEX Tests Review) | ||
Survey Feedback Inventory für Organizational Diagnosis at Schools/author | ||
Ulber, D. | ||
(1998). Survey-Feedback-Instrument zur Organisationsdiagnose an Schulen. Berlin: Freie Universität, Institut für Allgemeine Pädagogik. Online im Internet: https://www.testarchiv.eu/de/test/9004179 | ||
Bezugsquelle: Das Verfahren ist im Open Test Archive des ZPID enthalten und steht unter der Creative Commons-Lizenz "Namensnennung - Weitergabe unter gleichen Bedingungen)" (CC BY-SA); E-Mail: testarchiv@leibniz-psychology.org; URL: https://www.testarchiv.eu/; Stand: 1.5.2021. Anmerkung: Das Verfahren wurde 2001 in das Testarchiv des ZPID aufgenommen Nachweis im Testarchiv: Ulber, D. (2001). ODAS. Survey-Feedback-Instrument zur Organisationsdiagnose an Schulen [Verfahrensdokumentation aus PSYNDEX Tests-Nr. 9004179, Eltern-Fragebogen, Lehrer/-innen-Fragebogen und Schüler/-innen-Fragebogen]. In Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) (Hrsg.), Elektronisches Testarchiv. Trier:
ZPID. | ||
Adresse(n): o Prof. Dr. Daniela Ulber, Hochschule für Angewandte Wissenschaften Hamburg (HAW), Hamburg University of Applied Sciences, Fakultät Wirtschaft und Soziales, Alexanderstraße 1, D-20099 Hamburg ; E-Mail: daniela.ulber@haw-hamburg.de ; URL: https://www.ewi-psy.fu-berlin.de/v/master_schulentwicklung/lehrende/dulber/index.html/ ; Stand: 5.11.2021 | ||
AbstractDiagnostische Zielsetzung:Das Instrument ODAS zur Organisationsdiagnose an Schulen wurde als Survey-Feedback-Instrument entwickelt, das ein Screening der relevanten Dimensionen der Organisation Schule ermöglicht und somit Grundlage für schulische Organisationsentwicklungsmaßnahmen, Profilbildungen und Schulprogrammentwicklungen sein kann.
| ||
Testkonzept | ||
Theoretischer HintergrundDas Instrument ODAS (Ulber, 1999) wurde entwickelt als Survey-Feedback-Instrument, das Grundlage für eine von den Schulmitgliedern getragene Handlungsplanung und -durchführung von Organisationsentwicklungsmaßnahmen, Profilbildungen und Schulprogrammentwicklungen sein kann. Um dieser Zielstellung gerecht zu werden, soll ODAS die folgenden Ansprüche erfüllen:- Einen umfassenden Überblick über alle relevanten beeinflussbaren Bereiche der Organisation Schule ermöglichen, Ergebnis ist entsprechend eine Globaldiagnose und keine Detaildiagnose. - Aufzeigen von Stärken und Schwächen. - Die Wahrnehmungen aller beteiligten Gruppen einbeziehen, nämlich der Schüler, Lehrer und Eltern. - Rückspiegelung subjektiver Wahrnehmungen: In Anlehnung an die interpretative Ausrichtung organisationstheoretischer Forschung wird organisationale Wirklichkeit als sozial konstruiert und bewusstseinsabhängig gesehen (Türk, 1989). Veränderungen sind in Organisationen - als selbstorganisierende, komplexe Systeme - nur möglich, wenn sie in Anknüpfung an die Konstruktionen der Systemmitglieder erfolgen und demzufolge auch von ihnen mitgetragen werden können. Anspruch ist entsprechend keine objektive, externe Bewertung der Schulen im Sinne von "gute Schule", "mittlere Schule" oder ein Vergleich von Schulen (i.S. von z.B. an Schule A ist der Unterricht besser als an Schule B). - Hohe Augenscheinvalidität und Durchschaubarkeit von Durchführung, Auswertung und Interpretation: Für die Schulmitglieder soll der gesamte Inhalt und Ablauf der Erhebung verständlich und nachvollziehbar sein. Die Auswahl der zu erfassenden Bereiche erfolgte in Anlehnung an das systemische Organisationsmodell von Harrison (1994). Das Modell basiert auf der organisationspsychologischen Systemtheorie, wie sie von Katz und Kahn (1966) sowie von Nadler und Tushman (1980) vertreten wird. Organisation wird aufgefasst als komplexes soziales System, das aus vielen Elementen besteht, die durch dynamische Beziehungen verknüpft sind, wobei sich diese Beziehungen nicht in einfachen Ursache-Wirkungsschemata darstellen lassen. Organisationen sind offen und stehen im ständigen Austausch mit ihrer Umwelt, wobei sie trotz ständiger Umweltveränderungen ihre Eigenart bewahren. Da das Ziel der Analyse in der Erhebung spezifischer Stärken und Schwächen einer einzelnen Schule liegt, wurden nur diejenigen Variablen übernommen, durch die sich Schulen voneinander unterscheiden können und die im Rahmen einer Organisationsentwicklungsmaßnahme verändert werden können (aus diesem Grund bleiben Variablen wie gesellschaftlicher Kontext, Entlohnungssystem und die formale Hierarchie außen vor). Das Instrument erfasst demgemäß die folgenden Variablen: - Umwelt: Qualität der Kontakte zur Umwelt (wie Elternverbände, Gewerkschaften...); - Inputs: physikalische Umgebung (Schulgelände, Klassenräume...); Weiterbildung, Engagement und Burnout der Lehrer; Sachmittel für den Unterricht; - Wichtigkeit verschiedener Schulziele; - Kultur: Flexibilität der Schule (als relevanter Teilaspekt der Kultur für Organisationsentwicklungsmaßnahmen); - Verhalten und Prozesse: Klima im Kollegium; Klima bei den Schüler; Erreichbarkeit und Gesprächsbereitschaft; Informationsfluss; Qualität der Zusammenarbeit; Führung und Partizipation; Umgang mit Konflikten und Problemen; - Arbeitsprozess: Arbeitsbedingungen und Qualität des Unterrichts; - Organisationsstruktur: außerunterrichtliche Aktivitäten; Ausführung der Verwaltungsaufgaben; informelle Struktur; Belohnungssystem (Anerkennung); Elternsprechtag; - Outputs: Grad der Erreichung der Schulziele; Zufriedenheit; Image. | ||
TestaufbauODAS besteht aus einem Interviewleitfaden für ein Gespräch mit der Schulleitung, bei dem objektive Daten über die Schule erhoben werden und eine eventuelle Anpassung der Fragebögen an die Schule besprochen wird, und aus Fragebogenversionen für Lehrer, Schüler und Eltern, die aus den folgenden Teilen bestehen:- geschlossene Fragen: mind. 75 Fragen, für Lehrer, Eltern und Schüler (die Anzahl der Fragen variiert mit der Anzahl der besuchten Gremien und der zusätzlich vereinbarten Fragen); - 36 geschlossene Fragen, die nur von den Lehrern zu beantworten sind, z.B. zu ihren Arbeitsbedingungen oder ihrem Verhältnis zu Schulleitung. Je Item gibt es vier bipolare Antwortvorgaben - meist "stimmt genau", "stimmt eher", "stimmt eher nicht", "stimmt nicht". Die Items bestehen aus Statements, die die Schule betreffende Meinungen oder Bewertungen beinhalten. Zusätzlich gibt es drei offene Fragen zu Stärken, Schwächen und Besonderheiten der Schule. | ||
AuswertungsmodusDer Schwerpunkt liegt auf der Auswertung der geschlossenen Fragen, die einzeln ausgewertet werden. Je Frage werden die Prozentwerte der Antworten getrennt nach den Gruppen Lehrer, Schüler und Eltern berechnet. Die Antworten auf die offenen Fragen werden ausgezählt und in Kategorien zusammengefasst.Die Rückmeldung erfolgt optimalerweise in zwei Schritten: - Rückmeldung an das Kollegium: alle Bereiche werden berichtet; - Rückmeldung an interessierte Schüler und Eltern, hierbei werden die nur vom Kollegium beantworteten Items ausgespart (wie z.B. Klima im Kollegium). Für die Datenrückmeldung werden die Ergebnisse nach dem folgenden Schema zusammengefasst: Zustimmung bzw. Ablehnung > = 70% ++ (positiv)Anmerkungen. Zustimmung ("stimmt genau"/"stimmt eher") bei positivem Statement bzw. Ablehnung ("stimmt eher nicht"/"stimmt nicht") bei negativem Statement. Beispiel Ergebnispräsentation ----------------------------------------------------------------------Anmerkungen. Bei Abweichungen der Gruppen werden sie getrennt dargestellt (S = Schüler, E = Eltern, L = Lehrer); nur von den Lehrkräften zu beantwortenden Items werden in der Spalte "nur L" gekennzeichnet. Die am häufigsten genannten Antworten auf die Fragen nach Stärken und Schwächen werden ebenfalls dargestellt. Exploratorische Faktorenanalysen ergaben die folgenden Subskalen, die die Bildung von Scores sowie deren Vergleich mit den Werten anderer Schulen ermöglichen: - Skalen für alle Schulmitglieder: I Partizipationsmöglichkeiten, II Lehrerverhalten Schülern und Eltern gegenüber/Unterricht, III Ausstattung der Schule, IV Klima bei den Schülern, V Wichtigkeit verschiedener Schulziele, VI Grad der Zielerreichung, VII Gesamtbewertung der Schule, VIII Handlungsspielraum/Flexibilität, IX Organisation/Transparenz. - Skalen für die Lehrkräfte: LI Schulleitung/Verwaltung, LII Klima im Kollegium, LIII Erfahrene Anerkennung/Burnout, LIV Fortbildungen, LV Arbeitsbedingungen. - Skalen zur Beurteilung der einzelnen Gremien. | ||
AuswertungshilfenEs liegen keine speziellen Auswertungshilfen vor. | ||
AuswertungszeitDa es sich bei ODAS um ein Instrument der Organisationsdiagnose (und nicht der Individualdiagnose) handelt, werden pro Fall (eine ganze Schule) eine beträchtliche Anzahl von Fragebögen verwendet; die Anzahl variiert mit der Schulgröße und der Art der Stichprobenziehung. Im Allgemeinen wird eine Vollerhebung der Lehrkräfte und eine Klumpen- oder Zufallsstichprobe bei Schülern und Eltern gezogen, wobei darauf zu achten ist, dass alle Jahrgänge beteiligt sind. Für Dateneingabe und Auswertung bietet es sich deshalb an, ein geeignetes Computerprogramm (z.B. SPSS oder EXCEL) zu verwenden. Die Eingabe eines Fragebogens dauert ca. 5 Minuten. | ||
Itembeispiele1 Die meisten Klassenräume sind so ausgestattet, dass man sich in ihnen wohlfühlt.7 Der Unterricht an dieser Schule ist meistens interessant und abwechslungsreich. 23 Wenn an dieser Schule wichtige Entscheidungen getroffen werden, werden sie begründet und damit nachvollziehbar gemacht. 36 Vielen Schülerinnen und Schülern ist es sehr wichtig, besser in der Schule als die anderen zu sein. 41 An dieser Schule fährt man am besten, wenn man die eigene Meinung für sich behält und keinerlei Kritik übt. 52 Ich bin froh, dass ich diese Schule besuche. (Schülerversion) L10 An der Schule gibt es umständliche Routinevorgehensweisen, die effektiver gehandhabt werden könnten. (Lehrerversion) L16 Im Kollegium findet eine gut funktionierende und produktive fachliche Zusammenarbeit statt (z.B. Besprechen der Notengebung, klassenübergreifender Projektunterricht, Austausch von selbst erstellten Unterrichtsmaterialien). (Lehrerversion) (Zur Fachkonferenz, Lehrerversion:) c Die Zusammenkünfte ziehen in der Regel wichtige Konsequenzen nach sich. | ||
Durchführung | ||
TestformenEs gibt Fragebogenversionen für Lehrer, Eltern und Schüler, die an die spezifischen Gegebenheiten der Schule (z.B. bzgl. Gremien oder spezieller Schulziele) angepasst werden können. Die Bearbeitung der Fragebögen ist sowohl in Einzel- als auch Gruppentestung möglich. Parallelformen liegen nicht vor. | ||
AltersbereicheSchüler ab der 7. Klasse und Erwachsene. | ||
Durchführungszeit15 - 25 Minuten. | ||
MaterialFragebogen und Schreibgerät. | ||
InstruktionDen Fragebögen ist eine schriftliche Instruktion vorangestellt. | ||
DurchführungsvoraussetzungenEs sind keine besonderen Qualifikationen erforderlich. | ||
TestkonstruktionDie Testkonstruktion orientierte sich an den Kriterien der Klassischen Testtheorie, wobei z.T. den Spezifika eines Organisationsdiagnoseinstruments Rechnung getragen wurde.Auf der Grundlage des Organisationsmodells von Harrison (1994) wurde eine Vorversion der Fragebögen erstellt. Diese Vorversion wurde von Experten aus der Pädagogischen Psychologie, Schulpsychologie und Pädagogik, Lehrern verschiedener Schulen und 145 Schülern einer Hauptschule bezüglich Vollständigkeit und Verständlichkeit geprüft. Mit den Experten und Lehrern fanden Besprechungen statt, die Lehrer und Schüler füllten die Fragebögen aus und nannten fehlende Bereiche und unverständliche Items. Auf der Grundlage der Stellungnahmen und Verbesserungsvorschläge wurde eine Itemrevision vorgenommen. Das überarbeitete Instrument wurde an 14 Schulen verschiedenen Schultyps erprobt. Es wurden meist Lehrer, Schüler und Eltern mit einbezogen, mit den folgenden Ausnahmen: An einer Hauptschule wurden nur die Lehrer befragt, an einer anderen auf Wunsch des Kollegiums nur die Lehrer und Schüler. An einer Grundschule konnten die Kinder nicht befragt werden, weil sie mit den Fragebögen überfordert gewesen wären und an einer Berufsschule wurde von der Organisationsentwicklungsgruppe die Meinung der Eltern für nicht wichtig gehalten. Bei den Lehrkräften handelt es sich durchweg um Vollerhebungen, an den Orientierungsstufen, der Gesamtschule, der Realschule und der Grundschule wurden ebenfalls bei den Schülern sowie den Eltern Vollerhebungen durchgeführt; bei den übrigen Schulen wurden bei diesen Gruppen nur Stichproben befragt (i.A. Klumpenstichproben: Schüler und Eltern je einer Klasse pro Klassenstufe). Insgesamt wurden 4783 Personen in die Erhebung mit einbezogen: 479 Lehrer, 2778 Schüler und 1526 Elternteile. Bezüglich der Items wurde zunächst betrachtet, inwieweit der Antwortbereich ausgeschöpft wurde. Bei allen Items wurden alle Antwortvorgaben genutzt. Weiterhin wurde geprüft, inwieweit die Items zwischen Schulen und den Gruppen Lehrer/Schüler/Eltern trennen können. Dazu wurde die Gesamtstichprobe in 37 Untergruppen getrennt nach Schule und Gruppenzugehörigkeit aufgeteilt. Es wurde für jedes der 111 Items geprüft, ob der Range über diese 37 Gruppen von ++ bis - reicht, d.h. ob das Item von mindestens einer Untergruppe mit großer Mehrheit positiv bewertet wird und von mindestens einer anderen Untergruppe mit großer Mehrheit negativ gesehen wird. Über die Daten, die von allen Schulmitgliedern (Lehrer/innen, Schüler/innen und Eltern) bearbeitet wurden, wurde eine Hauptkomponentenanalyse mit Varimaxrotation über die Items berechnet. Zur Bestimmung der Faktorenanzahl wurde der Screetest verwendet. Auf der Grundlage der Faktoren wurden Skalen gebildet, wobei diejenigen Items Bestandteil einer Skala sind, die mit mindestens .4 auf demselben Faktor laden und eine part-whole-korrigierte Trennschärfe von mindestens .3 aufweisen. Analog wurde für die Items vorgegangen, die nur von den Lehrkräften beantwortet wurden. Bei der Bestimmung der Skalen zu den Schulgremien wurde deduktiv vorgegangen, um eine einfache inhaltliche Interpretierbarkeit der Skalen zu gewährleisten. Je Skala sind die gleichen 6 Items zur Beurteilung eines bestimmten Schulgremiums enthalten (bei Faktorenanalysen über alle Items luden sie zwar meist auch auf gemeinsamen Faktoren, aber unsystematisch, z.B. einerseits Faktoren mit Items zu verschiedenen Gremien, andererseits Faktoren mit Items zu einem einzelnen Gremium). In Tabelle 1 sind die Kennwerte der Skalen sowie die jeweilige Itemanzahl dargestellt. Tabelle 1 Kennwerte der Skalen sowie die jeweilige Itemanzahl n (I) ---------------------------------------------------------------------- | ||
Gütekriterien | ||
ObjektivitätAufgrund der Fragebogenform, der standardisierten Vorgehensweise und der schriftlichen Instruktion kann das Verfahren Objektivität hinsichtlich seiner Durchführung und Auswertung in Anspruch nehmen. | ||
ReliabilitätZur Bestimmung der Reliabilität wurde die Split-half-Korrelation zwischen den Itemsummen der halbierten Befragtengruppen berechnet. Die Idee dazu ist die folgende: Da die einzelne Schule (und nicht der oder die einzelne Befragte) Untersuchungsobjekt ist, kann die Korrelation zwischen den Befragten Aufschluss über den wahren Wert geben (analog dazu, wie es sonst die Korrelation zwischen den Aufgaben tut). Zudem kann geprüft werden, ob der Verzicht auf Vollerhebungen statthaft ist oder ob das Ergebnis dadurch verzerrt wird.Es wurde wie folgt vorgegangen: Diejenigen Untergruppen, die mindestens n = 20 Befragte enthalten, wurden per Zufall in zwei Teile unterteilt. Für jeden dieser Teile wurden je Variable die Punktsummen aufsummiert und die Korrelation zwischen diesen Variablensummen berechnet. Es ergeben sich die folgenden r-Werte: - für Lehrer (mit 9 Untergruppen): durchschnittlich .85 (von .75 - .92); - für Schüler (12 Untergruppen): durchschnittlich .97 (von .93 - .99); - für Eltern (11 Untergruppen): durchschnittlich .94 (von .86 - . 99). Kritisch anzumerken bei diesem Verfahren ist der Zusammenhang mit der Stichprobengröße (analog zum Zusammenhang zwischen Testlänge und Reliabilität bei der klassischen Reliabilitätsbestimmung). Tabelle 2 enthält die internen Konsistenzen der einzelnen Skalen. Tabelle 2 Interne Konsistenzen der einzelnen Skalen ---------------------------------------------------------------------- | ||
ValiditätNeben der Sicherung der Inhaltsvalidität durch Expertengespräche bei der Itemkonstruktion fand eine kommunikative Validierung bei der Datenrückmeldung und bei anschließenden Gesprächen mit den Schulmitgliedern statt. Inwieweit die Diagnoseergebnisse auch handlungsleitend sind und Veränderungen in den Organisationen auslösen, wurde in einer schriftlichen Nachbefragung ein Jahr nach der Ergebnispräsentation geklärt. Die Ergebnisse dieser Befragung liegen noch nicht vollständig vor, im bisherigen Rücklauf werden unterschiedliche Aktivitäten an den Schulen genannt, beispielsweise schulinterne Lehrerfortbildungen, Umgestaltung des Schulgebäudes, Absprachen mit anderen Schulen zur Zusammenarbeit, Einführung fächerübergreifenden Unterrichts und neuer Arbeitsgemeinschaften, gemeinsame Gremienvorbereitung und Moderation, neue Formen der Konfliktbearbeitung.Bezüglich der Konstruktvalidität belegen die Ergebnisse der explorativen Faktorenanalyse (siehe unter "Testkonstruktion"), dass heterogene Bereiche erfasst werden und sinnvolle Faktoren resultieren. | ||
NormierungEine Normierung wurde nicht durchgeführt. Mittelwerte und Standardabweichungen verschiedener Schulen, getrennt nach der Gruppenzugehörigkeit Lehrer, Eltern, Schüler, können von der Autorin bezogen werden. | ||
AnwendungsmöglichkeitenSchulberater und Schulangehörige können ODAS als umfassende Ist-Analyse der Schulorganisation verwenden und Organisationsentwicklungsmaßnahmen, Profilbildungen und Schulprogrammentwicklungen zugrunde legen. Das Instrument gibt hierfür einen umfassenden Überblick über wahrgenommene Stärken und Schwächen einer Schule sowie über Unterschiede in den Wertungen zwischen Lehrern, Schülern und Eltern. Auf der Grundlage der Ergebnisse kann eine Entscheidung über die zu verändernden (und auch über die beizubehaltenden) Bereiche getroffen werden.Weitere Anwendungsmöglichkeiten des Verfahrens liegen in der Schulforschung und -evaluation. | ||
BewertungDas Survey-Feedback-Instrument ODAS zur Organisationsdiagnose an Schulen stellt ein taugliches Instrument sowohl für die Systemberatung und -entwicklung von Schulen als auch für die Schulforschung dar: Für den Praxisbereich ermöglicht ODAS einen verständlichen und ökonomischen Überblick über die Sichtweisen der Schulbeteiligten auf die für einen Organisationsentwicklungsprozess relevanten Dimensionen der Schulorganisation, für die Forschung stellt ODAS mehrere Skalen zu relevanten Konstrukten der Schulforschung zur Verfügung, deren Inhaltsvalidität und interne Konsistenz abgesichert sind. Im Bereich der Schulentwicklung hat eine breite Erprobung des Instruments stattgefunden, deren Ergebnisse die Brauchbarkeit des Instruments nahe legen. Speziell für den Forschungszusammenhang stellt der bisherige Verzicht auf Außenkriterien bei der Validierung sowie auf eine Normierung ein Manko dar. Diskussionswürdig bleibt, inwieweit die Kriterien der klassischen Testtheorie, die sich auf Individualdiagnostik beziehen und von einem "wahren Wert" ausgehen, auf die Diagnose von Organisationen entsprechend einer interpretativen, konstruktivistischen Ausrichtung anwenden lassen. | ||
Literatur
| ||
Wichtige neuere Publikationen
| ||
Rezensionen
| ||
Autorenbeschreibung: Daniela Ulber (03.01.2001) | ||
APA-Schlagworte/PSYNDEX Terms: | Classical Test Theory; Questionnaires; Rating Scales; Screening Tests; Subtests; Parents; Teachers; Students; Schools; School Environment; Organizational Climate; Organizational Structure; Organizational Development; Working Conditions Klassische Testtheorie; Fragebögen; Rating-Skalen; Screening Tests; Untertests; Eltern; Lehrkräfte; Schülerinnen, Schüler und Studierende; Schulen; Schulumwelt; Organisationsklima; Organisationsstruktur; Organisationsentwicklung; Arbeitsbedingungen | |
weitere Schlagworte: | 1998; 2006; 2001 (Open Test Archive); Open Access; Lehrerversion; Elternversion; Schülerversion; Skalen für alle Schulmitglieder; Skalen für die Lehrkräfte; Skalen zur Beurteilung der einzelnen Gremien; Normierungs-/Untersuchungsjahr: keine Angaben | |
Klassifikation: | Pädagogische Messung und Beurteilung; Arbeits- und Organisationspsychologie; Bildungsorganisation und pädagogisches Personal Sonstige nicht näher klassifizierbare Verfahren 13.99 | |
Anwendungstyp: | Organizational Diagnosis | |
Art der Publikation: | Test; Electronic Resources (90; 94) | |
Sprache: | German | |
Land: | Germany | |
Publikationsjahr: | 1998 | |
Änderungsdatum: | 201104 | |
info@leibniz-psychology.org | © 1996-2022 ZPID |