Interne und externe Validität verstehen

Interne und externe Validität sind Konzepte, die widerspiegeln, ob die Ergebnisse einer Studie vertrauenswürdig und aussagekräftig sind oder nicht. Während sich die interne Validität darauf bezieht, wie gut eine Studie durchgeführt wird (ihre Struktur), bezieht sich die externe Validität darauf, wie gut die Ergebnisse auf die reale Welt anwendbar sind.

Was ist interne Validität?

Interne Validität ist das Ausmaß, in dem eine Studie eine vertrauenswürdige Ursache-Wirkungs-Beziehung zwischen einer Behandlung und einem Ergebnis herstellt.1 Die interne Validität spiegelt auch wider, dass eine Studie es ermöglicht, alternative Erklärungen für einen Befund auszuschließen.

Wenn Sie beispielsweise ein Raucherentwöhnungsprogramm mit einer Gruppe von Personen durchführen, wie sicher können Sie dann sein, dass eine Verbesserung in der Behandlungsgruppe auf die von Ihnen angewendete Behandlung zurückzuführen ist?

Die interne Validität hängt weitgehend von den Verfahren einer Studie und deren Strenge ab.

Interne Validität ist kein "Ja oder Nein"-Konzept. Stattdessen überlegen wir, wie sicher wir mit den Ergebnissen einer Studie sein können, basierend darauf, ob sie Fallen vermeidet, die die Ergebnisse fragwürdig machen könnten.

Je geringer die Wahrscheinlichkeit für „Confounding“ in einer Studie ist, desto höher ist die interne Validität und desto sicherer können wir den Ergebnissen sein. Confounding bezieht sich auf eine Situation, in der andere Faktoren ins Spiel kommen, die das Ergebnis einer Studie verwirren. Beispielsweise könnte uns eine Studie verunsichern, ob wir darauf vertrauen können, dass wir das obige „Ursache-Wirkungs“-Szenario identifiziert haben.

Kurz gesagt, Sie können nur dann sicher sein, dass Ihre Studie intern valide ist, wenn Sie alternative Erklärungen für Ihre Ergebnisse ausschließen können. Zusammenfassend können Sie nur von Ursache und Wirkung ausgehen, wenn Sie in Ihrer Studie die folgenden drei Kriterien erfüllen:

• Die Ursache ging der Wirkung zeitlich voraus.

• Ursache und Wirkung variieren zusammen.

• Es gibt keine anderen wahrscheinlichen Erklärungen für diese Beziehung, die Sie beobachtet haben.

Faktoren, die die interne Validität verbessern

Wenn Sie die interne Validität einer Studie verbessern möchten, sollten Sie Aspekte Ihres Forschungsdesigns berücksichtigen, die es wahrscheinlicher machen, dass Sie alternative Hypothesen ablehnen können. Es gibt viele Faktoren, die die interne Validität verbessern können.

• Verblindung: Teilnehmer und manchmal Forscher, die nicht wissen, welche Intervention sie erhalten (z. B. durch die Verwendung eines Placebos in einer Medikamentenstudie), um zu vermeiden, dass dieses Wissen ihre Wahrnehmungen und Verhaltensweisen und damit das Ergebnis der Studie verzerrt

• Experimentelle Manipulation: Manipulation einer unabhängigen Variablen in einer Studie (z. B. Raucherentwöhnungsprogramm) statt nur einen Zusammenhang zu beobachten, ohne eine Intervention durchzuführen (Untersuchung des Zusammenhangs zwischen Bewegung und Rauchverhalten)

• Zufällige Auswahl: Auswahl Ihrer Teilnehmer nach dem Zufallsprinzip oder so, dass sie für die Bevölkerung, die Sie untersuchen möchten, repräsentativ sind

• Randomisierung: Zufällige Zuweisung der Teilnehmer zu Behandlungs- und Kontrollgruppen und Gewährleistung, dass keine systematischen Verzerrungen zwischen den Gruppen auftreten

• Studienprotokoll: Befolgen spezifischer Verfahren für die Verabreichung der Behandlung, um keine Auswirkungen zu haben, z. B. durch die unterschiedlichen Vorgehensweisen bei einer Personengruppe gegenüber einer anderen Personengruppe

Faktoren, die die interne Validität bedrohen

So wie es viele Möglichkeiten gibt, die interne Validität einer Studie sicherzustellen, gibt es auch eine Liste potenzieller Bedrohungen für die interne Validität, die bei der Planung einer Studie berücksichtigt werden sollten.2

• Fluktuation: Teilnehmer, die eine Studie abbrechen oder verlassen, was bedeutet, dass die Ergebnisse auf einer verzerrten Stichprobe von nur den Personen basieren, die sich nicht entschieden haben, die Studie zu verlassen (und möglicherweise alle etwas gemeinsam haben, z. B. eine höhere Motivation)

• Verwirrend: Eine Situation, in der angenommen werden kann, dass Änderungen einer Ergebnisvariablen auf eine dritte Variable zurückzuführen sind, die mit der von Ihnen verabreichten Behandlung zusammenhängt.

• Diffusion: Dies bezieht sich auf die Behandlung in einer Studie, die sich von der Behandlungsgruppe auf die Kontrollgruppe ausbreitet, indem die Gruppen interagieren und miteinander sprechen oder sich gegenseitig beobachten. Dies kann auch zu einem anderen Problem führen, das als nachtragende Demoralisierung bezeichnet wird, bei dem sich eine Kontrollgruppe weniger Mühe gibt, weil sie sich über die Gruppe, in der sie sich befinden, nachtragend fühlt.

• Experimentator-Bias: Ein Experimentator verhält sich mit verschiedenen Gruppen in einer Studie unterschiedlich, was zu einer Beeinflussung der Ergebnisse dieser Studie führt (und durch Verblindung eliminiert wird)

• Historische Ereignisse: Kann das Ergebnis von Studien beeinflussen, die über einen bestimmten Zeitraum stattfinden, wie z

• Instrumentierung: Es ist möglich, die Teilnehmer einer Studie mit den von Ihnen verwendeten Maßnahmen auf bestimmte Weise zu „primen“, wodurch sie anders reagieren als sonst.

• Reifung: Dies beschreibt den Einfluss der Zeit als Variable in einer Studie. Findet eine Studie über einen Zeitraum statt, in dem es möglich ist, dass sich Teilnehmer auf natürliche Weise verändert haben (älter wurden, müde wurden), dann kann nicht ausgeschlossen werden, dass die in der Studie beobachteten Effekte einfach auf die Wirkung zurückzuführen waren von Zeit.

• Statistische Regression: Der natürliche Effekt von Teilnehmern an extremen Enden einer Maßnahme, die nur aufgrund des Zeitablaufs in eine bestimmte Richtung fällt, und nicht der Effekt einer Intervention

• Testen: Wiederholtes Testen von Teilnehmern mit den gleichen Maßnahmen beeinflusst die Ergebnisse. Wenn Sie jemandem dreimal denselben Test geben, ist es nicht wahrscheinlich, dass er beim Erlernen des Tests besser abschneidet oder sich an den Testprozess gewöhnt, sodass er anders antwortet?

Was ist externe Validität?

Externe Validität bezieht sich darauf, wie gut das Ergebnis einer Studie auf andere Settings übertragbar ist. Mit anderen Worten bezieht sich diese Art der Validität darauf, wie generalisierbar die Ergebnisse sind. Gelten die Ergebnisse beispielsweise für andere Personen, Umgebungen, Situationen und Zeiträume?

Die ökologische Validität, ein Aspekt der externen Validität, bezieht sich darauf, ob die Ergebnisse einer Studie auf die reale Welt übertragbar sind.

Während rigorose Forschungsmethoden die interne Validität sicherstellen können, kann die externe Validität andererseits durch diese Methoden eingeschränkt werden.

Ein anderer Begriff namens Übertragbarkeit bezieht sich auf externe Validität und bezieht sich auf ein qualitatives Forschungsdesign. Die Übertragbarkeit bezieht sich darauf, ob Ergebnisse auf Situationen mit ähnlichen Merkmalen übertragen werden.

Faktoren, die die externe Validität verbessern

Was können Sie tun, um die externe Validität Ihrer Studie zu verbessern?

• Berücksichtigen Sie den psychologischen Realismus: Stellen Sie sicher, dass die Teilnehmer die Ereignisse einer Studie als reales Ereignis erleben, indem Sie ihnen eine "Titelgeschichte" über das Ziel der Studie erzählen. Andernfalls könnten sich die Teilnehmer in einigen Fällen anders verhalten als im wirklichen Leben, wenn sie wissen, was sie erwartet oder was das Ziel der Studie ist.

• Aufarbeitung oder Kalibrierung durchführen: Verwenden Sie statistische Methoden, um Probleme im Zusammenhang mit der externen Validität auszugleichen. Wenn eine Studie beispielsweise für ein Merkmal (wie das Alter) ungerade Gruppen hatte, könnte eine Neugewichtung verwendet werden.

• Replizieren: Führen Sie die Studie mit anderen Proben oder in anderen Einstellungen erneut durch, um zu sehen, ob Sie dieselben Ergebnisse erhalten. Wenn viele Studien durchgeführt wurden, kann die Metaanalyse auch verwendet werden, um festzustellen, ob die Wirkung einer unabhängigen Variablen zuverlässig ist (basierend auf der Untersuchung der Ergebnisse einer großen Anzahl von Studien zu einem Thema).

• Versuchen Sie es mit Feldexperimenten: Führen Sie eine Studie außerhalb des Labors in einer natürlichen Umgebung durch.

• Verwenden Sie Ein- und Ausschlusskriterien: Dadurch wird sichergestellt, dass Sie die Population, die Sie in Ihrer Forschung untersuchen, klar definiert haben.

Faktoren, die externe Validität bedrohen

Externe Validität ist gefährdet, wenn eine Studie die Interaktionen von Variablen in der realen Welt nicht berücksichtigt.2

• Vor- und Nachtesteffekte: Wenn der Vor- oder Nachtest in irgendeiner Weise mit dem in der Studie beobachteten Effekt zusammenhängt, so dass die Ursache-Wirkungs-Beziehung ohne diese zusätzlichen Tests verschwindet

• Stichprobenmerkmale: Wenn ein Merkmal der bestimmten Stichprobe für die Wirkung verantwortlich (oder teilweise verantwortlich) war, was zu einer eingeschränkten Generalisierbarkeit der Ergebnisse führte

• Selektionsbias: Als Bedrohung für die interne Validität betrachtet, beschreibt Selektionsbias Unterschiede zwischen Gruppen in einer Studie, die sich auf die unabhängige Variable beziehen können (wiederum so etwas wie Motivation oder Bereitschaft, an der Studie teilzunehmen, spezifische Demografie von Individuen ist wahrscheinlicher an einer Online-Umfrage teilnehmen).3

• Situative Faktoren: Tageszeit, Standort, Lärm, Forschercharakteristika und Anzahl der verwendeten Maßnahmen können die Generalisierbarkeit der Ergebnisse beeinflussen.

Interne vs. externe Gültigkeit

Interne und externe Validität sind wie zwei Seiten derselben Medaille. Sie können eine Studie mit guter interner Validität haben, aber insgesamt könnte sie für die reale Welt irrelevant sein. Auf der anderen Seite könnten Sie eine Feldstudie durchführen, die für die reale Welt sehr relevant ist, aber keine vertrauenswürdigen Ergebnisse liefert, wenn man weiß, welche Variablen die Ergebnisse verursacht haben, die Sie sehen.

Ähnlichkeiten

Was sind die Gemeinsamkeiten zwischen interner und externer Validität? Beides sind Faktoren, die beim Design einer Studie berücksichtigt werden sollten, und beide haben Auswirkungen auf die Bedeutung der Ergebnisse einer Studie. Beides sind keine Entweder-Oder-Konzepte, und Sie werden immer entscheiden, inwieweit Ihr Studium in Bezug auf beide Gültigkeitsarten abschneidet.

Über jedes dieser Konzepte wird normalerweise in einem Forschungsartikel berichtet, der in einer wissenschaftlichen Zeitschrift veröffentlicht wird. Dies dient dazu, dass andere Forscher die Studie bewerten und Entscheidungen darüber treffen können, ob die Ergebnisse nützlich und valide sind.

Unterschiede

Der wesentliche Unterschied zwischen interner und externer Validität besteht darin, dass sich die interne Validität auf die Struktur einer Studie und deren Variablen bezieht, während sich die externe Validität auf die Universalität der Ergebnisse bezieht.4 Es gibt noch weitere Unterschiede zwischen beiden.

• Schlussfolgerungen sind gerechtfertigt

Schlussfolgerungen sind gerechtfertigt

• Kontrolliert fremde Variablen

Steuert fremde Variablen

• Eliminiert alternative Erklärungen

Eliminiert alternative Erklärungen

• Fokus auf Genauigkeit und starke Forschungsmethoden and

Fokus auf Genauigkeit und starke Forschungsmethoden and

• Erkenntnisse lassen sich verallgemeinern

Erkenntnisse lassen sich verallgemeinern

• Ergebnisse beziehen sich auf praktische Situationen

Ergebnisse beziehen sich auf praktische Situationen

• Ergebnisse gelten für die ganze Welt

Ergebnisse gelten für die ganze Welt

• Ergebnisse können in einen anderen Kontext übersetzt werden

Ergebnisse können in einen anderen Kontext übersetzt werden

Die interne Validität konzentriert sich darauf, einen Unterschied zu zeigen, der allein auf die unabhängige Variable zurückzuführen ist, während die Ergebnisse der externen Validität auf die ganze Welt übertragen werden können.

Gültigkeitsbeispiele

Ein Beispiel für eine Studie mit guter interner Validität wäre, wenn ein Forscher die Hypothese aufstellt, dass die Verwendung einer bestimmten Achtsamkeits-App die negative Stimmung reduziert. Um diese Hypothese zu überprüfen, ordnet der Forscher eine Stichprobe von Teilnehmern nach dem Zufallsprinzip einer von zwei Gruppen zu: denjenigen, die die App über einen definierten Zeitraum nutzen, und denjenigen, die eine Kontrollaufgabe durchführen.

Der Forscher stellt sicher, dass es keine systematischen Verzerrungen bei der Zuordnung der Teilnehmer zu den Gruppen gibt, und blendet seine wissenschaftlichen Mitarbeiter auch für die Gruppen, in denen sich die Studenten während des Experimentierens befinden.

Es wird ein strenges Studienprotokoll verwendet, das den Ablauf der Studie umreißt. Potenzielle Störvariablen werden zusammen mit der Stimmung gemessen, wie unter anderem der sozioökonomische Status der Teilnehmer, Geschlecht, Alter. Wenn Teilnehmer die Studie abbrechen, werden ihre Merkmale untersucht, um sicherzustellen, dass keine systematischen Verzerrungen in Bezug auf den Verbleib in der Studie vorliegen.

Ein Beispiel für eine Studie mit guter externer Validität wäre im obigen Beispiel, dass der Forscher die externe Validität der Studie auch dadurch sichergestellt hat, dass die Teilnehmer die App zu Hause statt im Labor verwenden. Der Forscher definiert die interessierende Population klar und wählt eine repräsentative Stichprobe aus und repliziert die Studie für verschiedene technologische Geräte.

Ein Wort von Verywell

Um ein Experiment so einzurichten, dass es eine solide interne und externe Validität hat, müssen Sie von Anfang an auf Faktoren achten, die jeden Aspekt Ihrer Forschung beeinflussen können.

Es ist am besten, mehr Zeit damit zu verbringen, eine strukturell solide Studie zu entwerfen, die weitreichende Auswirkungen hat, anstatt schnell durch die Entwurfsphase zu hetzen, um später Probleme zu entdecken. Nur wenn sowohl die interne als auch die externe Validität hoch ist, können aussagekräftige Rückschlüsse auf Ihre Ergebnisse gezogen werden.