Die Durchführung von Studien und statistischen Analysen hat meistens klare Ziele: Häufig möchte man bestimmte Hypothesen auf Ihre Richtigkeit testen (z.B. „Vertriebler die das Seminar ‚Besser Verkaufen‘ besucht haben erzielten innerhalb eines Jahres mehr Abschlüsse“). Möglicherweise soll aber auch der Einfluss eines Faktors geschätzt werden (z.B. „Der Besuch des Seminars “Besser Verkaufen‘ führte zu mehr Abschlüssen im Wert von X“). In beiden Fällen sollte man die Qualität der Ergebnisse unbedingt durch geeignete Kontrollvariablen absichern. Eine angemessene Verwendung von Kontrollvariablen verringert den Einfluss einer möglichen Störgröße und beugt einer Konfundierung vor. Zudem kann die Präzision der Analyse teilweise erheblich erhöht werden. In diesem Artikel bieten wir daher eine verständliche Übersicht zur Auswahl der geeigneten Kontrollvariable. Unserer Erfahrung nach ist die Bewertung möglicher Störgrößen einer Studie sowie die Auswahl der richtigen Kontrollvariable ein wichtiger Teil der Studienplanung! Gerne entwickeln wir auch für Ihr Projekt das ideale Studiendesign im Rahmen einer Statistik Beratung.
Dieser Artikel beantwortet folgende Fragen
- Wie verhindert eine Kontrollvariable eine Konfundierung der Ergebnisse?
- Warum ist eine Kontrollvariable insbesondere für eine quasi-experimental Studie so wichtig?
- Welche Vorteile bringt der Einsatz einer Kontrollvariable?
- Welche Fehlerquellen gilt es bei einer Kontrollvariable zu berücksichtigen?
Wie funktioniert eine Kontrollvariable?
Um zu veranschaulichen, welche Rolle eine Kontrollvariable genau spielt, kommen wir noch einmal auf unser Beispiel von oben zurück:
Ein Versicherungsunternehmen möchte die Leistung seiner Vertriebler verbessern. Dafür bietet es seit einiger Zeit kostenlose Seminare mit dem Titel „Besser Verkaufen“ an. Die Teilnahme steht den Mitarbeitern dabei frei. Nun möchte das Unternehmen gerne den Effekt dieser Seminare abschätzen und untersucht daher den Wert der Abschlüsse der Vertriebler für dieses Jahr (in € Umsatz). Dabei werden Mitarbeiter, die dieses Jahr an einem Seminar teilgenommen haben verglichen mit Mitarbeitern, die kein Seminar besucht haben. Ein möglicher Unterschied soll durch einen t-Test geprüft werden. Aufgrund dieser Analyse wird dann der Wert des Seminars eingeschätzt.
Ohne den Einsatz einer Kontrollvariable hat diese Studie aber ein ganz erhebliches Problem! Die Teilnahme an der Schulung war nämlich keineswegs zufällig. Die Mitarbeiter wurden dem Seminar ja nicht nach dem Zufallsprinzip zugeteilt, sondern konnten selbst entscheiden, ob Sie teilnehmen möchten. Es handelt es sich hier also nicht um ein kontrolliertes Experiment, sondern eher um eine sogenannte quasi-experimental Studie. Solche quasi-experimental Studien kommen in der Praxis extrem häufig vor, da praktische Zwänge die Durchführung eines echten Experiments erschweren oder sogar unmöglich machen.
Bei quasi-experimental Studien kommt den Kontrollvariablen eine ganz besondere Bedeutung zu, denn die Studie wird möglicherweise durch andere Störgrößen beeinflusst. In unserem Beispiel erscheint es zum Beispiel wahrscheinlich, dass Mitarbeiter die bereits vor dem Seminar gute Leistungen gezeigt haben besonders motiviert sind und sich daher eher für das Seminar interessiert haben. In dem Fall läge also eine Konfundierung der Ergebnisse vor.
Einsatz der Kontrollvariable: Störgröße herausrechnen
Um diese Störgröße herauszurechnen sollte man diesen Faktor als Kontrollvariable in die Analyse aufnehmen. Dabei wird der Effekt des Prädiktors auf die Zielvariable kontrolliert für den Einfluss der Störgröße. In unserem Beispiel würden wir also den Effekt der Schulung auf den Wert der Abschlüsse kontrollieren durch den Wert der Abschlüsse im vorherigen Jahr (bevor die Schulung stattfand). Dies könnte zum Beispiel durch eine Kovarianzanalyse (ANCOVA) geschehen. Das Ergebnis bildet dann den Einfluss der Schulung alleine ab, wenn die Mitarbeiter zuvor alle gleiche Leistungen erbracht hätten.
Aus diesem Beispiel wird die bereits die Wichtigkeit einer Kontrollvariable für eine aussagekräftige Studie ohne Konfundierung deutlich. In folgendem Abschnitt wollen wir auf die Vorteile einer Kontrollvariable noch einmal näher eingehen
Zwei entscheidende Gründe für den Einsatz einer Kontrollvariable
Die Vorzüge einer Kontrollvariable lassen sich im Wesentlichen in 2 Kategorien aufteilen:
1 – Alternative Erklärungen ausschließen & Scheinkorrelationen verhindern
Wie bereits im obigen Beispiel deutlich wird lassen sich durch den Einsatz einer Kontrollvariable alternative Erklärungen für die Ergebnisse ausschließen. Dazu gehört natürlich auch die Vermeidung von Scheinkorrelationen und Konfundierung. Wie oben bereits dargelegt, spielt dieser Vorteil einer Kontrollvariable insbesondere dann eine große Rolle, wenn die strikten Voraussetzungen für ein Experiment nicht eingehalten werden können. Für Quasi-Experimente und Korrelationsstudien ist die Auswahl adäquater Kontrollvariablen unerlässlich (z.B. Auswertung von Umfragedaten, Social Media Analyse, Kundendaten, etc.).
2 – Erhöhte Präzision (Teststärke / Power)
Eine Kontrollvariable kann nicht nur den Einfluss von Störgrößen ausschließen. Eine Kontrollvariable erklärt Variationen in der Zielvariable welche ansonsten bloß als „zufällige Schwankungen“ ins Modell eingegangen wären. Somit verbleibt weniger unerklärte Schwankungen der Zielvariable. Das Modell wird dadurch präziser: Die Teststärke (oder Power) erhöht sich und Effekte sind leichter nachzuweisen. Zum anderen lässt sich der genaue Effekt eines Prädiktor präziser beziffern.
Dies ist ein nicht zu unterschätzender Vorteil für beinahe alle Anwendungsbereiche! Selbst experimentelle Studien können erheblich von der erhöhten Präzision der Analyse profitieren.
Fallstricke beim Einsatz einer Kontrollvariable
Wir haben nun gesehen, dass der angemessene Einsatz einer Kontrollvariable die Qualität einer Studie wesentlich verbessern kann. Allerdings gibt es auch beim Einsatz einer Kontrollvariable einige Fallstricke. Wir möchten in diesem Artikel auf die drei häufigsten Probleme beim Einsatz einer Kontrollvariable eingehen:
1 – Overfitting
Beim Einsatz sehr vieler Kontrollvariablen bei einer zu kleinen Stichprobe kann es zum sogenannten Overfitting (auch: Überanpassung) kommen. Dabei kommt es dann zu scheinbar mehr Präzision durch die vielen Kontrollvariablen. Tatsächlich orientiert sich das Modell dann aber an zufälligen Schwankungen in den vorliegenden Daten. Die Präzision für neue Daten ist bei solchen Modellen dann sehr schlecht.
Hier gilt es das richtige Maß zu finden: Eine angemessene Anzahl an relevanten Kontrollvariablen führt zu einem Gewinn an Präzision. Eine zu hohe Anzahl von irrelevanten Kontrollvariablen führt zu einer Überanpassung und Ergebnissen, die der Praxis nicht stand halten. Welche und wie viele Kontrollvariablen man verwenden sollte hängt stets von der Art der jeweiligen Studie ab. Unsere Experten können Ihnen hier mit professionellem Rat zur Seite stehen.
2 – Annahmen der Analyse beachten
Weiterhin sollten die Annahmen der jeweiligen Analyse auch für die Kontrollvariable nicht vergessen werden. Wird beispielsweise eine multiple lineare Regression durchgeführt, so wird von einem linearen Zusammenhang zwischen Prädiktoren und Zielvariable ausgegangen. Dies gilt auch für die Kontrollvariable! Sollte z.B. ein kurvlinearer Zusammenhang zwischen der Kontrollvariable und der Zielvariable bestehen so muss diesem Zusammenhang in der Analyse Rechnung getragen werden.
3 – Vorsicht bei kausalen Aussagen
Häufig werden Kontrollvariablen eingesetzt, um kausale Aussagen bei Korrelationsstudien oder quasi-experimental Studien zu ermöglichen („Der Besuch des Seminars führt zu einer besseren Verkaufsleistung“). Hier ist Vorsicht geboten! Der Einsatz von Kontrollvariablen kann einen vermuteten kausalen Zusammenhang wahrscheinlicher erscheinen lassen. Für einen zweifellosen Nachweis eines kausalen Zusammenhang wird in der Regel allerdings ein Experiment benötigt. In vielen Anwendungsbereichen (z.B. in der Marktforschung) ist ein zweifelloser Nachweise von Kausalität jedoch nicht immer notwendig oder überhaupt sinnvoll. Gerne beraten wir Sie hier weitergehend.
Störgrößen in Zaum halten mit Kontrollvariablen
Zusammenfassend lässt sich sagen, dass die Auswahl der richtigen Kontrollvariablen ein entscheidender Faktor für das Gelingen einer Analyse ist. Die Auswahl der angemessenen Kontrollvariablen sollte dabei immer bereits während der Planung einer Studie erfolgen. Unserer Erfahrung nach benötigt es hier zum einen Kenntnisse des jeweiligen Anwendungsgebiets, aber auch statische Expertise. Idealerweise arbeiten hier also Fachexperten und Statistiker eng zusammen um die Qualität der Ergebnisse sicherzustellen. Gerne beraten wir auch Sie im Rahmen einer Statistik Beratung zu den unterschiedlichen Aspekten einer Studienplanung!
Weiterführende Quellen
Control Variables in Marketing Research (Artikel im Journal of Research and Marketing)