-
Was ist Testtheorie?
- - TT stellt den theoretischen Hintergrund zur
- Konstruktion und Interpretation von Testverfahren dar
- - Beschreibt die grundlegenden theoretischen
- Annahmen, die notwendig sind, um von einer beobachteten, aber meist nicht messfehlerfreien Messung auf den dahinterliegenden „wahren Wert“ des zu erfassenden Merkmals schließen zu können.
-
Hauptgütekriterien
Objektivität ==> Unabhängigkeit von der Person des Untersuchungsleiters gegeben, wenn Standardisierung der Testprozedur (Durchführungsobjektivität) sowie der Auswertung und Interpretation (Auswertungs- und Interpretationsobjektivität) erfolgt
Reliabilität ==> Genauigkeit bzw. Zuverlässigkeit eines Tests gegeben, wenn das Merkmal messfehlerfrei erfasst wird.
Validität ==> Gültigkeit eines Tests gegeben, wenn er das Merkmal misst, was er zu messen vorgibt.
-
Nebengütekriterien
Normierung ==> Bezugssystem zur Einordnung von Testergebnissen im Vergleich zu den Ergebnissen (Merkmalsausprägungen) anderer Personen
Testfairness ==> Resultierende Testergebnisse führen zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen
-
Was ist ein Test?
- Ein Test ist ein systematisches Verfahren mit dem einen Probanden konstruierte Stimuli vorgegeben werden, auf die er/sie reagiert. Auf Grund dieser Reaktion kann der
- Testanwender dem Probanden Zahlen zuordnen, von denen er auf das Vorhandensein und die relative Merkmalsausprägung schließt.“ Kerlinger, 1964.
-
Woraus besteht ein Item?
Ein Stimulus Teil / Itemstamm ==> Frage, Aussage, Bild, Geschichte, Zeichnung, Rechenaufgabe …
- und ein Reaktionsteil ==> Ankreuzalternative,
- leere Zeile, Antwortskala
-
Was ist ein Testitem?
zu bearbeitende Frage eines Tests;
variieren unter anderem in Abhängigkeit von der Art des Testes.
-
Testskala
Satz von Items, die sich auf das gleiche Konstrukt beziehen
-
Zwei Testarten
Maximum performance: Antworten können richtig oder falsch sein, es liegt ein verbindlicher Beurteilungsmaß vor; (Konzentrations-, Intelligenz-, Eignungs- Entwicklungs-, Schultests)
Typical performance: es werden Persönlichkeitsmerkmale, Eigenschaften, Motive, Interessen, Einstellungen, etc. erfragt (Persönlichkeitsfragebogen, Objektive Persönlichkeitstests, Projektive Verfahren)
-
Konstruktprinzipien
Rationale (Orientierung an Theorie)
Externale (Orientierung an Personengruppen)
Induktive
-
Schritte der Rationalen Testkonstruktion
(1) Definition und Spezifikation des interessierenden Konstrukts
(2) Identifizierung von Verhaltensindikatoren
(3) Testentwurf (vorläufiger Itempool)
(4) Statistische Itemanalyse
(5) Überprüfung der Testgütekriterien
(6) Normierung
-
Rationale Konstruktion
(Orientierung an Theorie)
- - Methode der Deduktion (das Ableiten)
- - Basis ==> elaborierte Theorie
- - Expertengruppe
- Definition und spezifikation des Konstrukts (Eingrenzung oder Erweiterung)
- Verhaltensindikatoren festlegen (beobachtbare Verhaltensweisen in denen sich das Merkmal manifestiert)
- Formulierung in Statement- oder Fragebogenform
Bsp.: I-S-T- erstellung Itempool (Theorie Primärfaktoren Thurstone, fluide und kristalline Intelligenz)- Itemanalyse- Ermittlung der Gütekriterien
-
Externale Konstruktion
(Orientierung an Personengruppen)
- auch: kriteriumsbezogene Skalenentwicklung
- Resultat: Instrument zur Klassifikation oder Diskriminierung von Gruppen (=externes Kriterium)
- Prinzip: Vorlegen einer möglichst großen und inhaltlich breit gefächerten Anzahl von Items
- Itemauswahl durch mehr oder weniger explizite Hypothesen geleitet
Erprobung der Items an einer Personengruppe, die sich hinsichtlich des Kriteriums stark unterscheidet
Auswahl jener Items, die am besten zwischen den Gruppen unterscheiden
-
Externale Konstruktion Probleme und Beispiel
- - Kreuzvalidierung nötig
- - geringe Augenscheinvalidität
- - heterogene items
Interpretation: Im sinne von Wk dafür, der einen oder der anderen Gruppe anzugehören (keine dimensionale Interpretation)
- Beispiel: MMPI-2
- Persönlichkeitsfragebogen für den klinischen Bereich
v.1 generierung des Itempools (1000 Items) an klinisch auffällig vs. gesund erprobt, 556 signifikante Diskriminierng ==> zu Skalen
- v.2 Überarbeitung
- Änderung an Items (Umformulierung, unangemessen) + 154 neue Items ==> 567 Items
-
Induktive Konstruktion
Beispiel
(basiert auf Faktorenanalyse)
- keine klare Vorstellung wie Merkmal oder Konstrukt beschaffen
- generierung von Items auf Basis vager Vorstellung und Literatur
- Durchführung einer exploratorischer Faktorenanalyse
- Interpretation der Faktoren
- Beispiel: Big Five Lexikalischer Ansatz
- 18000 Wörter menschliches Verhalten voneinander zu unterscheiden ==> 4500 Eigenschaftswörter extrahiert => Personen schätzen anderen Personen anhand denen => Faktorenanalyse führt zu 12 Faktoren => andere finden nur 5
-
Was ist wichtig bei Itemformulierung?
- Eindeutigkeit
- Verständlichkeit
- Konditionalsätze vermeiden (Bsp.: Ich fühle mich gut, wenn ich klavier spiele)
- Negative Formulierung vermeiden (Bsp.: Ich bin nicht oft traurig)
- Universalausdrücke vermeiden (Ich bin immer gut gelaunt)
- Passung von Itemstamm und Antwortformat
-
Was untersuchen Faktorenanalysen?
korrelative Beziehung zwischen Variablen
-
Was für Faktorenanalysen gibt es?
Exploratorische und Konfirmatorische
-
Was ist die Explorative Faktorenanalyse?
(Faktorenanalysen untersuchen korrelative Beziehungen zwischen Variablen)
exploratives, hypothesengenerierendes Verfahren
- Ziele:
- Datenreduktion
- Variablen zu homogenen Untergruppen
- entwicklung psychologischer Tests
- Ursache für Korrelation erklären
- Bestimmung der Konstruktvalidität
-
Wann wird die Exploratorische FA angewendet?
- Validierung
es ist ein instrument der Induktiven Testkonstruktion
??liegt für ein interessierendes Konstrukt kein theoretisches Modell vor, kann mit Hilfe der ex.FA Klarheit geschaffen werden ob das Konstrukt eindimensional oder mehrdimensional ist und welche Items sich zu Dimensionen zusammenfassen lassen.
Aus der Empirie kann dann ein theoretisches Modell entwickelt werden
- Validierung: Nachweis faktorieller Validität
-
welche Exploratorische FAs gibt es?
- - Hauptkomponentenanalyse (PCA)
- - Hauptfaktoren- oder Hauptachsenanalyse (PFA)
- - Maximum-Likelihood-Faktorenanalyse (ML)
-
welche Konfirmatorische FAs gibt es?
- - Maximum-Likelihood (ML) - Diskrepanzfunktion
- - Unweighted-Least-Square (ULS)- D.f.
- - Generalized-Least-Square (GLS)- D.f.
- - Weighted-Least-Square (WLS)-Diskrepanzfunktion
-
Was sind die Ziele der explorativen FA?
- - Datenreduktion
- - Zusammenfassung von Variablen zu homogenen Untergruppen
- - Entwicklung psychologischer Tests
- - Zurückführen von Variablen auf latente Variablen (Ziel: Ursachen für Korrelationen klären)
- - Bestimmung der Konstruktvalididtät
-
Exploratorische Faktorenanalyse: Unterschiede der FAs
PCA
Hauptkomponentenanalyse
- - Zusammenfassung ohne Rückführung auf latente Variable
- - Annahme, dass die gesamte Varianz einer Variablen aufgeklärt werden kann (h^2 = 1)
-
Exploratorische Faktorenanalyse: Unterschiede der FAs
PFA
- Hauptachsenanalyse
- - Zusammenhänge zwischen Variablen (Items werden auf eine latente Variable zurückgeführt
- (Bsp.: geselligkeit und optimismus korrelieren miteinander, da sie beide durch die latente Variable Extraversion beeinflusst werden)
- Annahme: Erfassung der Messfehler sind unabhängig von der latenten Variablen, da die l.V. nicht die gesamte Varianz eines Items erklären
- Kommunalität h^2 wird daher nicht einst gesetzt sondern über Rebialität geschätzt
- Rechnerische Durchführung sonst identisch zur PCA
-
Exploratorische Faktorenanalyse: Unterschiede der FAs
ML
- Maximum Likelihood
- - selber Umgang mit dem Kommunalitätsproblem wie PFA
- - Abweichendes Kriterium bei der Faktorenextraktion
-
Welche exploratorische FA Methode wählen?
- Die Hauptachsenanalyse (PFA) führt im Vergleich zur Hauptkomponentenanalysen (PCA) zu besseren Schätzungen der Parameter
- Die ML-FA führt zu besseren Schätzungen als die Hauptachsenanalyse (allerdings an srengere Voraussetzungen gebunden)
- Prinzip der Faktorenextraktion wird zunächst an der PCA erklärt und anschließend die Unterschiede zur PFA und ML dargestellt (Kommunalitätsproblem)
-
Ex.FA: was ist Faktorladung (a)?
Korrelation zwischen einer Variablen mit Faktor bzw. Faktorwerten
-
Ex.FA: was ist Faktorwert?
Wert einer Person auf dem Faktor (Wert = z-standardisiert, d.h. Faktorwert 0 = MW)
Der Fw ist ein gewichteter Wert, der den Ausprägungsgrad einer Person auf einem Faktor darstellt. Die Gewichtung erfolgt anhand der Faktorladungen der Items (Gewichtete Summe der Werte einer Person auf allen Items)
z-standardisierter Wert, M= 0.00 SD = 1.00
-
Ex.FA: was ist Kommunalität (h^2)?
Varianzanteil einer Variablen, der durch alle Faktoren erklärt wird
-
Ex.FA Faktorenrotation Ziel
- Einfachstruktur
- - einige Variablen sollen hoch mit dem Faktor korrelieren andere, für den Faktor irrelevante Variablen, hingegen geringen
- ermöglicht eindeutige Zuordnung Item ==> Faktor
-
Ex.FA Faktorenrotation Varimaxkriterium
- Die Varimax Rotation soll die Varianz (der Ladungsquadrate) maximieren
- Bsp.: Auf Faktor 1 variieren nach der F.extraktion die Korrelationen der einzelnen Variablen mit dem Faktor zwischen .4 und .5
- nach rotation: variieren die Korr. der Variablen auf Faktor 1 zwischen .1 und .8 ==> die Varianz der Korrelationen (Ladungsquadrate) wurde maximiert
Kommunalität und Summe der Faktoren Eigenwerte bleiben gleich
-
Ex.FA Itemauswahl aufgrund der Ladung:
- |a| < .30: Item ist vernachlässigbar
- |a| >= .40: Item kommt in Frage
- |a| >= .60: Item sollte berüksichtigt werden
-
Ex.FA Fürntratt-Kriterium
a^2 / h^2 > .5
-
wann wird Konfirmatorische FA genutzt?
Instrument der Deduktiven Testkonstruktion
Liegt für ein interessierendes Konstrukt ein theoretisches Modell vor, kann mit Hilfe der konfirmatorischen FA geprüft werden, ob das Modell auf die Daten passt (empirische Kovarianzmatrix versus modellimplizierte Kovarianzmatrix)
Items (manifeste Variablen) sind den Faktoren (latenten Variablen bereits zugeordnet)
-
ExFA Schritte der PCA
1. Theoretische Vorüberlegungen
2. Auswahl von Variablen bzw. Items
3. Erfassung der Variablen
4. Erstellung einer Korrelationsmatrix
5. Faktorenextraktion
6. Bestimmung der Faktorenanzahl
7. Faktorenrotation
8. Interpretation der Faktoren (Komponenten)
-
Exploratische Faktorenanalyse: Bedingungen der Faktorenextraktion
Faktoren sind wechselseitig von einander unabhängig
Sie erklären sukzessive maximale Varianz
-
Ü1: Wann wird eine Exploratorische FA und wann eine Konfirmatorische FA angewendet?
Exploratorische ==> induktive
Konfirmatorische ==> deduktive bzw. rationale
-
Ü2: Worauf muss man bei der Auswahl von Antwortalternativen (Distraktoren) im Leistungstest besonders achten
Die Distraktoren müssen plausibel erscheinen damit eine richtige Beantwortung der Aufgabe über das Ausschlussprinzip so gut wie möglich verhindert wird. Darüber hinaus sollten Antwortalternativen disjunkt sein.
-
Ü3: Wie berechnet sich die Schwierigkeit bei Leistungstests? (Nenner kann sich unterschiedlich bestimmen)
Bei Powertest: Anzahl der korrekten Beantwortungen der Items / Anzahl der Probanden
Bei Speedtest: Anzahl der korrekten Beantwortungen der Items/Anzahl der Probanden die das Item bearbeitet haben
-
Ü4: Wie hängt schwierigkeit und Itemvarianz zusammen?
Die Schwierigkeit eines Items lässt sich für dichotome Items direkt in die Itemvarianz überführen und für intervallskalierte Items bestimmt sie, wie hoch die Itemvarianz maximal sein kann (bei mittlerer Schwierigkeit kann die Varianz die größten Werte annehmen)
-
- Was gibt Item Schwierigkeit an?
- Wertbereich
wie groß der Anteil an Personen ist, die das Item im Sinne des Merkmals beantwortet haben
Wertbereich: zwischen 0 und 1, Variation .2 bis .8 angestrebt
-
Itemvarianz und Itemschwierigkeit
- Unter I.v. versteht man die Differenzierungsfähigkeit eines Items hinsichtlich der untersuchten Probandenstichprobe
- Die I.sch. begrenzt die mögliche Ausprägung der Varianz
-
Trennschärfe
korrelativer Zusammenhang zwischen dem Itemwert und den Testwerten ==> wie gut ein Item das misst, was der Summenwert misst.
- 0-1; sollte bei homogenen Merkmalen hoch sein
- .4 bis .7 gibt als gute Trennschärfe
Richtwert >=.30
Die zu berechnende Item ist in dem Summenscore nicht drin !!!
-
was berücksichtigt Trennschärfe?
- die Schwierigkeit des Items
- Varianz der Testwerte
- Varianz des Items
-
Gründe für schiefe Verteilungen
- Itemauswahl nicht ausgewogen hinsichtlich der Schwierigkeit
- heterogene Stichprobe (aus Unterstichproben zusammengesetzt)
- keine Normalverteilung des Merkmals in der Population gegeben
- Lösung:
- - Optimierung der Itemauswahl
- - Normalisierung (nichtlineare Transformation)
- -- Logarithmierung bei rechtsschief
- -- Flächentransformation Verteilungsunabhängig
-
Wie kann man Reliabilität maximieren?
- Wahl mittelschwerer Items ==> erhöht die Itemvarianz und dadurch die Trennschärfe
- Reduktion der Heterogenität durch das Aussortieren von Items mit geringer Trennschärfe
-
Was ist das Problem wenn man Reliabilität maximiert durch:
- Wahl der mittelschweren Items
- Reduktion der Heterogenität?
Die Maßnahmen reduzieren die Validität:
- Wahl mittelschwere Items:
- ==> schlechtere Differenzierung in "Extrem Bereichen"
- ==> Testwertvarianz sinkt
- ==> Korrelation mit Außenkriterien fallen tendenziell kleiner aus
Reduktion der Heterogenität kann zu einer Reduktion der Inhaltsvalidität führen
-
Was ist eine Faktorenmatrix?
Matrix mit quadrierten Korrelationen zwischen der Variablen und Faktorwerten
-
Definition Reliabilität nach der KTT
Rel = Var(T) / Var(X)
Die Reliabilität beschreibt die Genauigkeit mit der ein Merkmal erfasst wird.
Die Reliabilität eines Test ist der Anteil der Varianz der wahren Werte (T) an der Varianz der beobachteten Werte (X)
bei einem Rel =.80 bezieht sich 80% der Varianz auf die Varianz wahrer Werte (zwischen Personen) und 20% Fehlerwarianz (zwischen Personen) ==> Reliabilität entspricht dem Determinationskoeffizienten Weil Rel = r_tt = r^2_TX
-
KTT: Reliabilität - Wie kommt man an die wahre Varianz?
- - mehrfache Wiederholung der Gewichtsmessung pro Person
- - Mittelwert = wahre Wert
- - Varianz der Mittelwerte = Varianz der wahren Werte
Test (t) wird unter identischen Bedingungen mit den gleichen Personen durchgeführt (t') X=T+E und X'=T'+E'
-
KTT: Grundannahme
- Ein Messwert einer Person in einem Testitem setzt sich immer aus zwei Komponenten zusammen:
- - Wahrer Wert = wahre Ausprägung des untersuchten Merkmals (stabil)
- - Zufälliger Messfehler, der den wahren Wert überdeckt
- ==> unkontrollierte Einflüsse während Messung die sich auf Testverhalten der Probanden auswirken und somit Messresultat kontaminieren (z.B. Tageszeit der Experiments, Motivation)
-
KTT: Die Axiome
1. Existenzaxiom Erw(X) = T
2. Verknüpfungsaxiom X = T + E
3. Unabhängigkeitsaxiom Corr(T,E) = 0
-
KTT Axiome: Existenzaxiom
Erw(X) = T
- Der Erwartungswert der Messung entspricht dem wahren Wert einer Person
- Erwartungswert = Mittelwert über Messwiederholungen
-
KTT Axiome: Verknüpfungsaxiom
Der beobachtete Wert setzt sich aus dem wahren Wert und dem Messfehler zusammen
X = T + E
Unter berücksichtigung von Axiom 1 ergibt sich: der Erwartungswert des Messfehlers ist Null Erw(E) = 0
-
KTT Axiome: Unabhängigkeitsaxiom
- - Die Korrelation zwischen den Messfehlern E und den wahren Werten T eines Tests sind unabhängig voneinander
- Corr (T, E) = 0
d.h. der Test misst im unteren Wertebereich genauso genau wie im mittleren oder oberen Wertbereichen
- - Die Messfehler zweier Tests (A und B) sind unabhängig voneinander
- Corr (E_a, E_b) = 0
- - Die Messfehler in einem Test A sind unabhängig von den wahren Werten in Test B
- Corr (E_a, T_b) = 0
-
Vor- und Nachteile Gebundenes Antwortformat
+ ökonomische und objektive Auswertung
+ Erfassung von Wissen und Kenntnissen
- Nur wiedererkennen, kein freies Abrufen von Wissen
- ratetendenz
-
Vor- und Nachteile offenes/freies Antwortformat
- + uneingeschränkte Antwortmöglichkeiten
- + geeignet wenn komplexes Denken, originelle Lösungen erfasst werden sollen
- - aufwendige Auswertung
- - Auswertungsobjektivität eingeschränkt
- - Abhängigkeit von Ausdrucksfähigkeit
-
Fehlerquellen: Schritte der Itembeantwortung
- 1. Frage verstehen
- 2. Abruf notwendiger Informationen aus dem Gedächtnis
- 3. Antwort bilden
- 4. Antwort in gegebenes Format "übersetzen"
- 5. Antwort ggf. anpassen, um sozialen Aspekte der Situation gerecht zu werden
-
Fehlerquellen: Antwrottendenzen
Ja-Sage-Tendenz
Tendenz zur mittleren oder extremen Urteilen
-
einfache Minderungskorrekture
Die einfache Minderungskorrektur liefert eine Schätzung der Korrelation eines Tests mit einem Kriterium unter der Annahme, dass das Kriterium messfehlerfrei erfasst wird
-
Validität: doppelte Minderungskorrektur
Die dMK gibt an, wie hoch die Korrelation zwischen den wahren Werten zweier Tests/Variablen ausfallen würde
Anwendung: Bestimmung der Validität (Korr mit Außenkriterien/Konstrukten usw...)
-
Validität: Minderungskorrektur - Problem
- je größer der Messfehler, desto größer fällt die Korrektur aus (Vorteil unreliabler Tests)
- Senkt Motivation zur Konstruktion reliabler Tests
- In der Praxis (bei der Testanwendung) kann für den Einzelfall keine Korrektur vorgenommen werden
- Reliabilitäten können größer als 1 sein
-
Grenzen der KTT
- Die Axiome der KTT sind empirisch nicht überprüfbar und nicht alle plausibel
- Messfehler verteilen sich nicht immer zufällig um den wahren Wert
- Die Parameter der KTT sind populations- und stichprobenabhängig
- Das Skalenniveau wird häufig missachtet
-
Retestreliabilität
- Berechnung
- Wird auch Stabilität bezeichnet; zeigt die Stabilität des Merkmals über die Zeit an
- deswegen Anwendung bei zeitlich eher stabilen Merkmalen wie Intelligenz oder Persönlichkeit
- Korrelation der Testwerte aus Testdurchführung 1 mit dem Testwerten aus Testdurchführung 2
-
Paralleltestmethode
- Berechnung
- Voraussetzungen
- - Berechnung: 1 Stichprobe - 2 Tests - je 1 Durchführung
- Korrelation der Testwerte aus Test A mit Test B
Voraussetzung: Modell Paralleler Messungen
-
Modell Paralleler Messungen
- Paralleltest muss sich auf dieselben wahren Werte beziehen
- Messfehler Test A = Test B
- Messfehler der Tests sind unkorreliert d.h. ==> Korrelation der wahren Werte = 1 !!!
- Test müssen äquivalent sein - Prüfung über Strukturgleichungsmodelle
-
Reliabilität: Konsistenzmethode
Testhalbierung
- Aufteilungstechniken
1 Stichprobe - 1 Test - 1 Durchführung
Korrelation der Testwerte
Voraussetzung: Modell paralleler Messungen
- Aufteilungstechniken
- - Odd-Even Methode (gerade/ungerade)
- - Halbierung nach laufender Nummer
- - Zufallsaufteilung
- - Itemzwillinge (Schwierigkeit/Trennschärfe)
- - Halbierung nach Testzeit (Speedtests)
-
Testhalbierungsproblem und Korrektur
Korrelation der Testhälften unterschätzt die Reliabilität des Gesamttests
Korrektur: Spearman-Brown
mit zunehmender Zahl von Items wird die Messung präziser
-
Reliabilität: Konsistenzmethode
Interne Konsistenz: Berechnung und Anwendung
1 Stichprobe - 1 Test - 1 Durchfürung
Berechnung: Der Test wird im Prinzip in so viele Untertests zerlegt, wie er Items hat
Anwendung: nur sinnvoll bei homogenen Tests; wenn lediglich einmalige Erfassung sinnvoll (Bsp Befindlichkeitsfragebögen)
-
Eigenwert
beschreibt die durch den Faktor aufgeklärte Varianz einer Variable
-
IQ berechnen
IQ = 100 + 15 * ((x - MW) / SD)
-
z-Werte
alpha/2 - 95% und 90%
99% - 2.57
95% - 1.96
90% - 1.64
-
R: Teshalbierungsproblem - Korrelation der Testhälften unterschätzt die Reliabilität des Gesamttests
dafür wendet man die Spearman-Brown-Formel der Korrektur an:
Rel_korr = m*Rel / 1+((m-1)*Rel)
m = der Faktor um den sich die Itemzahl erhöht
-
R: Interne Konsistenz: Cronbachs Alpha
Schätzt die durchschnittliche Korrelation zwischen allen Testitems, nach oben korrigiert um m durch die Spearman-Brown-Formel
alpha = m*r- / 1+(m - 1)*r-
- m=Anzahl der Items (parallele Messung)
- r- = durchschn. Itemkorrelation zwischen den Items
-
Mutlitrait-Multimethod Ansatz (MTMM)
Methodeneffekt
Methodeneffekt: wenn zwei unterschiedliche Konstrukte mit der selben Methode erfasst werden kann ein Teil der Korrelation möglicherweise auf die gemeinsame Methode zurückgeführt werden. MTMM erlaubt die Schätzung dieses Methodenbias
-
-
Sensitivität
Sensitivität ist die Trefferquote, die ein Verfahren erreicht.
Sensitivität bestimmt durch den Anteil jener Personen, die ein bestimmtes Merkmal besitzen (Bsp. Depression) und durch das Verfahren diese Merkmal zugeschrieben bekommen (Diagnose Depression) an allen untersuchten Personen mit diesem Merkmal.
-
Sensitivität und Schwellenwert
Die Sensitivität eines Verfahrens steigt mit sinkendem Schwellenwert und umgekehrt
-
Trennschärfe und Reliabilität
hohe Trennschärfe ==> homogeneres Konstrukt ==> reliableres Verfahren ==> Interne Konsistenz
Verfahren kann man reliabler machen indem man Items mit niedriger Trennschärfe weglässt, muss nur aufpassen ob man nicht die Konstruktvalidität zerstört
-
Leistungstests und Itemschwierigkeit
- eines der wichtigsten Variablen in der Itemwahl
bei Heterogenen Facettenreichen Verfahren wie Fragebogen zum Extroversion, ist schwierigkeit kein schwerpunkt
-
Was geschieht bei einer Rotation?
Einfachstruktur wird geschaffen
und die zurordnung der Items zu Faktoren wird erleichtert
es geschieht eine Verschiebung der Varianz aufklärung
Items mit Doppel- und Nullladungen müssen nach der Rotation aussortiert werden
-
Kann die Validität höher sein als die Reliabilität?
Nein!
-
Trennschärfe: Part-whole-Korrektur
- man berechnet die Trennschärfe nicht mit dem Testwert y_i, sondern mit dem um den Itemwert (des gerade betrachteten Items) bereinigten Testwert
- Einfluss geringer, wenn (1) viele Items und (2) homogene Items zur Berechnung herangezogen werden
-
Exploratorische Faktorenanalyse: was geschieht nach der Rotation, welcher Schritt folgt?
- Nach der Rotation lassen sich die Variablen bestimmten Faktoren zuordnen
- - Itemauswahl aufgrund der Ladung, Fürntratt-Kriterium
Nach der Faktorenrotation folgt die Interpretation
- Faktor muss benant werden
- Interpretation und Namensgebung orientiert sich an den zugeschriebenen Variablen
-
Was ist ein Messfehler
- wie enstehen Messfehler?
Messfehler = Gesamtheit alles unsystematischen Einflussgrößen
- - Testkonstruktion (mehrdeutige Items)
- - Testdurchführung
- - Testauswertung
-
Arten der Validität
- Validität von Messungen
- - Inhaltsvalidität
- - Konstruktvalidität
- Validität von Entscheidung
- - Kriteriumsvalidität
-
Inhaltsvalidität
ist gegeben, wenn der Inhalt eines Tests tatsächlich das interessierende Merkmal erfasst
- für I.v.: Notwendig
- Präzise Beschreibung des untersuchten Inhaltsbereichs (content domain)
- bestenfalls systematische Argumentation für den Schluss der Itembeantwortung auf das erfasste Konstrukt
-
Inhaltsvalidität: Operationale vs theoretisch Definierte Mermale
- Operational definierte Merkmale:
- - durch Testinhalt definiert
- - direkt beobachtbar
- - Anwendung: Leistungsbereich/Wissenstest
- - Item: ist das Item Teil der interessierenden Gesamtheit möglicher Items?
- Theoretisch definierte Merkmale:
- - def. im Rahmen einer Theorie
- - Spezifikation eine latenten Variablen auf welche Unterschiede auf den manifesten Variablen rückgeführt werden
- - Anwendung: nicht beobachtbare Konstrukte
- - Item: Kann das interessierende theoretische Konstrukt Unterschiede in den beobachten Antworten erklären?
-
Konstruktvalidität
empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll - und nicht ein anderes
- Empirische Bestimmung der Konstruktvalidität:
- - Korrelationen: Tests zum gleichen Konstrukt sollten positiv miteinander korrelieren
==> konvergente Validität liegt vor, wenn hohe Korrelationen mit Test vorliegen, die dasselbe oder ähnliche Konstrukt erfassen
==> Diskriminante Validität liegt vor, wenn geringe oder kein Zusammenhang zu Konstrukten vorliegt, zu denen theoretisch kein Zusammenhang angenommen wird
-
Konstruktvalidität: konvergente & Diskriminante Validität
==> konvergente Validität liegt vor, wenn hohe Korrelationen mit Test vorliegen, die dasselbe oder ähnliche Konstrukt erfassen
==> Diskriminante Validität liegt vor, wenn geringe oder kein Zusammenhang zu Konstrukten vorliegt, zu denen theoretisch kein Zusammenhang angenommen wird
-
Kriteriumsvalidität
bedeutet, dass von einem Testergebnis auf ein für diagnostische Entscheidung praktisch relevantes Kriterium außerhalb der Testsituation geschlossen werden kann
Kriterium = Maß an dem bestimmt werden kann, wie akkurat die aus den Testwerten abgeleiteten Entscheidungen sind.
-
Objektivität
- wie wird O. gesichert?
= Ausmaß, in dem die Ergebnisse eines Tests unabhängig von der Person des Untersuchungsleiters sind
- durch Standardisierung der einzelnen Phasen des diagnostischen Prozesses
-
Arten von Objektivität
- Durchführungs (deutliche Instruktionen)
- Auswertungs (bei gebundenem besser, mind. 2 Beurteiler, Interklassekorr. ==> ICC(2))
- Interpretations (Normierung - Bezugssystem)
-
Wann kann man die Werte nicht z-standardisieren?
Wenn Merkmal nicht normal verteilt ist
-
ROC-Analyse
ROC - Bestimmung des optimalen Schwellenwertes zwischen Sensitivität und Spezifität
- Senisitivität: Trefferquote - wie gut geeignet ein Kriterium zu entdecken
- Spezifität: Quote korrekter ablehnungen
|
|