Muenster Epistemic Trustworthiness Inventory
METI - Muenster Epistemic Trustworthiness Inventory (PSYNDEX Tests Review)
Muenster Epistemic Trustworthiness Inventory/author
Online im Internet: https://www.testarchiv.eu/de/test/9007152
Anmerkung: Das Verfahren wurde 2017 in das Testarchiv des ZPID aufgenommen
Nachweis im Testarchiv: Hendriks, F., Kienhues, D. & Bromme, R. (2017). METI. Muenster Epistemic Trustworthiness Inventory [Verfahrensdokumentation aus PSYNDEX Tests-Nr. 9007152 und Fragebogen]. In Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) (Hrsg.), Elektronisches Testarchiv. Trier: ZPID.
o Dr. rer. nat. Friederike Hendriks, Nachwuchsgruppenleitung, Technische Universität Braunschweig, Institut für Kommunikationswissenschaft & Institut für Pädagogische Psychologie, Bienroder Weg 97, D-38106 Braunschweig ; E-Mail: f.hendriks@tu-braunschweig.de ; URL: https://www.tu-braunschweig.de/fourc/person-hendriks ; Stand: 17.08.2021
o Dr. Dorothe Kienhues, Westfälische Wilhelms-Universität Münster, Pädagogische Psychologie, Arbeitseinheit Prof. Dr. Rainer Bromme, Fliednerstraße 21, D-48149 Münster ; E-Mail: kienhues@uni-muenster.de ; URL: https://www.uni-muenster.de/PsyIPBE/aejucks/personen/dkienhues.html ; Stand: 5.11.2021
WWW-Informationen:
- Wie sich das von Laien in Experten gesetzte Vertrauen im digitalen Zeitalter messen lässt: "The Muenster Epistemic Trustworthiness Inventory (METI)": Drei Forschungsdatensätze im Primärdatenarchiv PsychData des ZPID (https://doi.org/10.5160/psychdata.hsfe15mu08) (Stand: 11.12.2018)
- Hendriks, F., Kienhues, D. & Bromme, R. (2015). Measuring laypeople's trust in experts in a digital age: The Muenster Epistemic Trustworthiness Inventory (METI). PLoS ONE, 10 (10), e0139309. [English items included in online materials] (http://journals.plos.org/plosone/article/asset?id=10.1371%2Fjournal.pone.0139309.PDF) (Stand: 11.12.2018)
Abstract
Diagnostische Zielsetzung:Beim Muenster Epistemic Trustworthiness Inventory (METI; Hendriks et al., 2014, 2015a) handelt es sich um ein Messinstrument zur Erfassung von Vertrauenswürdigkeitseinschätzungen gegenüber Personen, die ihr Wissen öffentlich verfügbar machen. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben.
Aufbau:
Es handelt sich um 14 Items in Form antonymer Adjektivpaare, die auf drei Dimensionen verteilt sind (6 Items zu Expertise, 4 Items zu Integrität, 4 Items zu Wohlwollen).
Grundlagen und Konstruktion:
Das METI basiert auf der Klassischen Testtheorie. Die Adjektive der Skala wurden anhand theoretischer Überlegungen zu epistemischer
Vertrauenswürdigkeit neu entwickelt bzw. aus bestehenden Skalen entnommen, die Vertrauenswürdigkeit oder Glaubwürdigkeit messen. Außerdem wurden sie durch 12 Experten, die zu Vertrauen forschen, hinsichtlich ihrer Relation zum Konzept "Vertrauen" bewertet. Die Zahl der Items beträgt 14 Items. Mittels explorativer und konfirmatorischer Faktorenanalysen wurden die drei Faktoren des METI in zwei unabhängigen Stichproben gefunden.
Empirische Prüfung und Gütekriterien:
Reliabilität: In insgesamt drei experimentellen Studien der Autoren, die das Instrument als abhängige Variable verwendeten, finden sich folgende Werte für die interne Konsistenz: Expertise Alpha > .85, Integrität Alpha > .75, Wohlwollen Alpha >.75.
Validität: Die Dreifaktorenstruktur wurde durch explorative und konfirmatorische Faktorenanalysen in zwei unabhängigen Samples nachgewiesen. Validität und Sensitivität des METI wurde in einer Studie nachgewiesen, in der die Beschreibung fiktiver Autoren eines Wissenschaftsblogs in sechs Bedingungen variiert wurde: Die Beschreibungen des Autors (immer ein Wissenschaftler) wurde so verfasst, dass hohe oder niedrige Expertise, Integrität oder Wohlwollen nahegelegt wurden. Es zeigte sich, dass auf der jeweils in den Beschreibungen adressierten Dimension des METI die Ratings der TeilnehmerInnen wie vorhergesagt am höchsten bzw. am niedrigsten ausfielen.
Normen: Das Verfahren ist nicht normiert.
Testkonzept
Theoretischer Hintergrund
Beim Muenster Epistemic Trustworthiness Inventory (METI; Hendriks, Kienhues & Bromme, 2014, 2015a) handelt es sich um ein Messinstrument zur Erfassung von Vertrauenswürdigkeitseinschätzungen gegenüber Personen, die ihr Wissen öffentlich verfügbar machen (z. B. Experten). Die theoretische Grundannahme bezüglich der epistemischen Vertrauenswürdigkeit ist, dass insbesondere dann, wenn Menschen über unzureichendes Vor- und Fachwissen zu einem bestimmten Inhaltsbereich verfügen, sie Vertrauenswürdigkeitseinschätzungen über Personen vornehmen, die ihnen als Informationsquellen dienen - etwa ob eine bestimmte Person die Möglichkeiten und die Absichten hat, möglichst wahre, valide Aussagen zu einem Thema zu machen (Hendriks et al., 2015a). Diese Urteile sollen mithilfe des Inventars METI erfasst werden.Die Einschätzung der epistemischen Vertrauenswürdigkeit differenziert sich in "Expertise" (Hat die Person das Fachwissen und die Erfahrung, valide Aussagen zum betreffenden Thema zu machen?), "Integrität" (Handelt die Person nach den Regeln und Normen ihrer Profession?) und "Wohlwollen" (Handelt die Person zum Wohl Anderer?). Dies wird durch die drei Dimensionen des METI reflektiert.
Testaufbau
Das METI umfasst mit insgesamt 14 Items die drei Dimensionen Expertise, Integrität und Wohlwollen.(1) Expertise: Hat die Person das Fachwissen und die Erfahrung, valide Aussagen zum betreffenden Thema zu machen? (6 Items);
(2) Integrität: Handelt die Person nach den Regeln und Normen ihrer Profession? (4 Items);
(3) Wohlwollen: Handelt die Person zum Wohl Anderer? (4 Items).
Die Items sind in Form antonymer Adjektivpaare auf einer siebenstufigen Skala zu beantworten (z. B. kompetent 1 - 2 - 3 - 4 - 5 - 6 - 7 inkompetent).
Auswertungsmodus
Die Items werden in der Art eines siebenstufigen semantischen Differentials dargestellt. Hierbei befindet sich eine Hälfte des Itempaars links, die andere Hälfte rechts von sieben Antwortoptionen, von denen eine markiert werden muss - es ist darauf zu achten, dass alle Items gleich gepolt sind (z.B. links positiv formulierte Adjektive, rechts negativ formulierte Adjektive).Markierungen nahe des positiv formulierten Adjektivs (z. B. kompetent) weisen auf eine hohe Zuweisung epistemischer Vertrauenswürdigkeit auf der jeweiligen Dimension (hier Expertise) hin; Markierungen nahe des negativ formulierten Adjektivs (z. B. inkompetent) auf niedrige Zuweisung epistemischer Vertrauenswürdigkeit. Die Auswertung erfolgt anhand einer Zuweisung numerischer Werte zu den Stufen der Skala. Damit hohe Werte auch mit hohen Vertrauenswürdigkeitseinschätzungen übereinstimmen, kann die Skala zur Berechnung entsprechend umkodiert werden.
Zur inferenzstatistischen Auswertung werden Mittelwerte der einzelnen Items jeder Dimension (Expertise, Integrität, Wohlwollen) pro Person generiert.
Auswertungshilfen
Schablonen zur raschen Auswertung können leicht selbst angefertigt werden.Auswertungszeit
Die Auswertung beträgt wenige Minuten.Itembeispiele
Als Beispielitem eignet sich "seriös-unseriös". Dies kann bereits in der Art eines semantischen Differentials präsentiert werden, damit die Bearbeitenden die Gelegenheit haben, das Ausfüllen zu üben, bevor sie mit der Bearbeitung der Testitems beginnen. Das Beispielitem wird nicht ausgewertet.Alle Items
Tabelle 1 enthält alle Items in deutscher und in englischer Sprache.Tabelle 1
Items des METI in deutscher und englischer Sprache (Hendriks, Kienhues & Bromme, 2014, 2015a)
--------------------------------------------------------------------------------Anmerkungen. verantw.bewusst = verantwortungsbewusst.
Dimension Deutsche Version Englische Version
--------------------------------------------------------------------------------
Expertise kompetent-inkompetent competent-incompetent
Expertise intelligent-unintelligent intelligent-unintelligent
Expertise gut ausgebildet-schlecht ausgebildet well educated-poorly educated
Expertise fachmaennisch-unfachmaennisch professional-unprofessional
Expertise erfahren-unerfahren experienced-inexperienced
Expertise qualifiziert-unqualifiziert qualified-unqualified
--------------------------------------------------------------------------------
Integrity aufrichtig-unaufrichtig sincere-insincere
Integrity ehrlich-unehrlich honest-dishonest
Integrity gerecht-ungerecht just-unjust
Integrity fair-unfair fair-unfair
--------------------------------------------------------------------------------
Benevolence moralisch-unmoralisch moral-immoral
Benevolence ethisch-unethisch ethical-unethical
Benevolence verantw.bewusst-verantwortungslos responsible-irresponsible
Benevolence ruecksichtsvoll-ruecksichtslos considerate-inconsiderate
--------------------------------------------------------------------------------
Durchführung
Testformen
Das Inventar ist sowohl als Online-Fragebogen als auch in einer Paper-Pencil-Version einsetzbar. Die TeilnehmerInnen sollten es individuell ausfüllen.Altersbereiche
Das Verfahren ist für Erwachsene ab 16 Jahren geeignet. Wegen des verwendeten Vokabulars wird ein geringeres Alter der TeilnehmerInnen nicht empfohlen.Durchführungszeit
Es gibt keine Zeitbegrenzung. Den Probanden soll genügend Zeit gegeben werden, um alle Einschätzungen vorzunehmen.Material
Als Material steht der Fragebogen zur Verfügung. Für die Paper-Pencil-Version wird ein Schreibgerät benötigt; für die Onlineversion ein Computer.Instruktion
Die Instruktion des Verfahrens ist standardisiert und lautet: "Ihre Aufgabe besteht darin für [Person] anzugeben, wie Sie diese/diesen mit Hilfe der Skalen beschreiben würden. Geben Sie bitte auf jeder Skala an, wie Sie [Person] einschätzen. Möglicherweise scheinen Ihnen einige Adjektivpaare nicht immer angemessen zu sein. Bitte treffen Sie trotzdem für jedes Paar eine persönliche Entscheidung.Bei der Beantwortung geht es ausschließlich um Ihre eigenen Ansichten und Einschätzungen, es gibt also keine richtigen oder falschen Antworten." (Kurzinstruktion).
Durchführungsvoraussetzungen
Es gibt keine besonderen Durchführungsvoraussetzungen.Testkonstruktion
Das METI basiert auf der Klassischen Testtheorie. Die Adjektive der Skala wurden anhand theoretischer Überlegungen zu epistemischer Vertrauenswürdigkeit neu entwickelt bzw. aus bestehenden Skalen entnommen, die Vertrauenswürdigkeit oder Glaubwürdigkeit messen (Berlo, Lemert & Mertz, 1969; McCroskey & Teven, 1999). Außerdem wurden sie durch 12 Experten, die zu Vertrauen forschen, hinsichtlich ihrer Relation zum Konzept "Vertrauen" bewertet.Die Onlineversion des Verfahrens wurde mit einer Software für Online-Umfragen entwickelt und an N = 237 Probanden (Alter: 19-47 Jahre, M = 25.39, SD = 4.38; 76% weiblich, 27% männlich) dahingehend überprüft, welche Faktorenzahl am besten mit den Items vereinbar ist (Hendriks et al., 2015a, S. 4-5). In einer Folgestudie mit N = 345 Probanden (Alter: M = 21.27, SD = 3.93; 69% weiblich, 31% männlich) wurde eine konfirmatorische Faktorenanalyse durchgeführt (siehe unter "Validität"), die die Dreifaktorenlösung bestätigte.
Durch die beiden Faktoranalysen wurden weiterhin Items ausgeschlossen, die nicht stabil genug mit den drei Faktoren des METI (Expertise, Integrität, Wohlwollen) korrelierten. Die endgültige Zahl der Items beträgt 14 Items.
Gütekriterien
Objektivität
Objektivität in Durchführung, Auswertung und Interpretationen werden durch standardisierte Instruktionen, vorgegebene Auswertungsschritte und Interpretationshinweise angestrebt.Reliabilität
Als Nachweis für die Reliabilität wurde die interne Konsistenz (Cronbachs Alpha) überprüft, die hinreichend ausfällt. In insgesamt drei experimentellen Studien der Autoren, die das Instrument als abhängige Variable verwendeten (Hendriks, Kienhues & Bromme, 2016a, 2016b) finden sich folgende Werte für die interne Konsistenz: Expertise Alpha > .85, Integrität Alpha > .75, Wohlwollen Alpha >.75.Validität
Die Dreifaktorenstruktur wurde durch explorative und konfirmatorische Faktorenanalysen in zwei unabhängigen Samples nachgewiesen. Hendriks et al. (2015a, S. 5-6) fanden in Studie 1 eine Dreifaktorenlösung, nachdem zwei Items eliminiert wurden. Unter den verbleibenden Items gab es keine Mehrfachladungen unter den Items. Die drei Faktoren klären 62% der Varianz auf. Eine Korrelationsberechnung zwischen den drei Faktoren ergab Werte von r = .37 (Expertise-Wohlwollen), r = .51 (Expertise-Integrität) und r = .63 (Integrität-Wohlwollen). In einer weiteren Studie wurde erneut eine konfirmatorische Faktorenanalyse durchgeführt. Zwei weitere Items wurden hierbei ausgeschlossen. Der Fit des Modells zu den Daten war gut (CFI = .97, TLI = .96, RMSEA = .06, SRMR = .06). Dabei wurden wiederum Korrelationen zwischen den Faktoren nachgewiesen (r = .52-.71; S. 7-8).Validität und Sensitivität des METI wurde durch eine Studie an N = 152 Probanden im durchschnittlichen Alter von M = 26.22 Jahren (SD = 5.24) und einem 75%igen Anteil an Frauen nachgewiesen (Studie 3 in Hendriks et al., 2015a). Hierbei wurde die Beschreibung fiktiver Autoren eines Wissenschaftsblogs in sechs messwiederholten Bedingungen variiert: Die Beschreibungen des Autors (immer ein Wissenschaftler) wurde so verfasst, dass hohe oder niedrige Expertise, Integrität oder Wohlwollen nahegelegt wurden. Es zeigte sich, dass auf der jeweils in den Beschreibungen adressierten Dimension des METI die Ratings der TeilnehmerInnen wie vorhergesagt am höchsten bzw. am niedrigsten ausfielen. Die Ergebnisse (Haupteffekt, Interaktionseffekte) für alle drei Dimensionen waren signifikant, mit teilweise großen Effektstärken (Hendriks et al., 2015a, S. 12-14).
Normierung
Das Verfahren ist nicht normiert. Die drei vorhandenen Forschungsdatensätze finden sich im Psychologischen Datenarchiv PsychData des Leibniz-Zentrums für Psychologische Information und Dokumentation ZPID (Hendriks, Kienhues & Bromme, 2015b).Anwendungsmöglichkeiten
Das METI ist ein Inventar zur Erfassung epistemischer Vertrauenswürdigkeit. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben.Bewertung
Das Inventar wurde zur Messung epistemischer Vertrauenswürdigkeit entwickelt. Die theoretische Grundannahme bezüglich der epistemischen Vertrauenswürdigkeit ist, dass insbesondere dann, wenn Menschen über unzureichendes Vor- und Fachwissen zu einem bestimmten Inhaltsbereich verfügen, sie Vertrauenswürdigkeitseinschätzungen über Personen vornehmen, die ihnen als Informationsquellen dienen - etwa ob eine bestimmte Person die Möglichkeiten und die Absichten hat, möglichst wahre, valide Aussagen zu einem Thema zu machen (Hendriks et al., 2015a). Dieses Urteil soll mithilfe des METI auf den drei Dimensionen Expertise, Integrität und Wohlwollen erfasst werden. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben. Die hohen Korrelationen zwischen den drei Skalen zeigen allerdings, dass die Bewertungen nicht unabhängig sind.Literatur
- Berlo, D. K., Lemert, J. J. B. & Mertz, R. J. R. (1969). Dimensions for evaluating the acceptability of message sources. Public Opinion Quarterly, 33 (4), 563-576.
- Hendriks, F., Kienhues, D. & Bromme, R. (2014). The Muenster Epistemic Trustworthiness Inventory (METI). Münster: Westfälische Wilhelms-Universität Münster, Pädagogische Psychologie.
- Hendriks, F., Kienhues, D. & Bromme, R. (2015a). Measuring laypeople's trust in experts in a digital age: The Muenster Epistemic Trustworthiness Inventory (METI). PLoS ONE, 10 (10), No. e0139309. [English items included in online materials] (DOI: 10.1371/journal.pone.0139309) -PSYNDEX-Lit Dok.-Nr. 0305481
- Hendriks, F., Kienhues, D. & Bromme, R. (2015). Wie sich das von Laien in Experten gesetzte Vertrauen im digitalen Zeitalter messen lässt: "The Muenster Epistemic Trustworthiness Inventory (METI)": Drei Forschungsdatensätze (Version 1) [Files auf CD-ROM]. Trier: Psychologisches Datenarchiv PsychData des Leibniz-Zentrums für Psychologische Information und Dokumentation ZPID. Online im Internet, URL: https://dx.doi.org/10.5160/psychdata.hsfe15mu08 (Stand: 21.12.2016)
- Hendriks, F., Kienhues, D. & Bromme, R. (2016a). Disclose your flaws! Admission positively affects the perceived trustworthiness of an expert science blogger. Studies in Communication Sciences, 16 (2), 124-131. (DOI: 10.1016/j.scoms.2016.10.003)
- Hendriks, F., Kienhues, D. & Bromme, R. (2016b). Evoking vigilance: would you (dis)trust a scientist who discusses ethical implications of research in a science blog? Public Understanding of Science, 25 (8), 992-1008. (DOI: 10.1177/0963662516646048)
- McCroskey, J. C. & Teven, J. J. (1999). Goodwill: A reexamination of the construct and its measurement. Communications Monographs, 66, 90-103.
Klassische Testtheorie; Fragebögen; Rating-Skalen; Adjektive; Persönlichkeitstests; Vertrauen; Erfahrungsniveau; Wissensstand; Integrität; Eindrucksbildung
Tests zur Erfassung des Vertrauens
7.2.3