Im Sommer 2018 führte die Europäische Union eine Umfrage zur Zeitumstellung durch. Rund 4,6 Millionen EU-Bürgern haben teilgenommen. Somit war es die erfolgreichste Umfrage mit dem größten Stichprobenumfang in der EU-Geschichte. Die Umfrage zeigte dabei ein eindeutiges Ergebnis: Über 80% stimmten schließlich für eine Abschaffung der Zeitumstellung, konkret für eine dauerhafte Beibehaltung der Sommerzeit. ‚Die Menschen wollen das, wir machen das‘, so die Antwort des amtierenden Kommissionspräsidenten damals. Dennoch gab es von Expertenseite heftige Kritik am Ergebnis, genauer: an der Methodik und Durchführung der quantitativen Forschung. Denn die online durchgeführte Befragung war keineswegs repräsentativ. Was aber bedeutet konkret repräsentative Umfrage? Definition und Hintergrundinformationen dazu liefert dieser Beitrag. Für weitere und tiefergehende Informationen zur Stichprobenziehung wenden Sie sich einfach an unsere Statistik Beratung!
Dieser Artikel beantwortet die folgenden Fragen:
- Was ist eine repräsentative Umfrage und wie zieht man eine repräsentative Stichprobe?
- Hat der Stichprobenumfang Einfluss auf die Aussagekraft von Ergebnissen?
Wann ist eine Umfrage repräsentativ?
Blicken wir zuerst zurück ins Jahr 1936 zur damaligen amerikanischen Präsidentschaftswahl: Die Zeitschrift ‚The Literary Digest‘ führte eine Leserumfrage durch mit dem Ziel, den Ausgang der Wahl vorherzusagen. Rund 2,4 Millionen Amerikaner – vorwiegend Leser und Abonnenten der Zeitschrift – nahmen teil. Das prognostizierte Ergebnis: 57 Prozent zugunsten des Republikaners Landon. Entgegen dieses großen Stichprobenumfangs befragte der Forscher George Gallup einige Tausend Personen. Allerdings legte Gallup bei der Stichprobenziehung Wert darauf, ein verkleinertes Abbild der amerikanischen Gesellschaft zu realisieren. Seine Prognose: 56% für den Demokraten Roosevelt.
Das Wahlergebnis betrug schließlich 61 Prozent für Roosevelt. George Gallup gilt seither als Begründer der repräsentativen (Quoten-)Stichprobenziehung. Eine repräsentative Umfrage liegt also genau dann vor, wenn die Stichprobenziehung ein Abbild der Grundgesamtheit darstellt. Damit gilt analog zur EU-Umfrage: Eine hoher Stichprobenumfang allein stellt keineswegs eine repräsentative Stichprobe sicher.
Repräsentativität: Vorsicht vor diesen Fehlerquellen!
Tatsächlich ist die genannte EU-Umfrage ein gutes Beispiel für die zahlreichen Fehlerquellen beim Thema repräsentative Stichprobe. Hier sind einige der typische Fehlerquellen im Rahmen der EU-Umfrage:
- Von den 4,6 Millionen EU-Bürgern, die sich beteiligt haben (das entspricht in etwa 1% der EU-Bevölkerung), waren zwei Drittel der Stimmen aus Deutschland. Dagegen liegt der Einwohneranteil Deutschlands an der gesamten EU, sprich: Grundgesamtheit, bei rund 16%.
- Die Teilnehmer waren selbstrekrutiert, somit kam der Selbstselektionsbias ins Spiel, das heißt: es hatten nur jene Personen in der Bevölkerung die Chance, an der Online-Umfrage teilzunehmen, die erstes über einen Online-Zugang verfügt und zweitens entsprechende Informationen über die Medien der im Sommer durchgeführten Umfrage erhalten haben.
- Neben Privatpersonen waren auch Unternehmen und Institutionen teilnahmeberechtigt; darüber hinaus war eine Mehrfachteilnahme zulässig.
- Weiters gilt es den Einfluss der Fragestellung auf die Ergebnisse zu beachten. Konkret bewies eine diesbezüglich beauftragte Studie, dass eine Abänderung der Fragen bzw. ein Ersetzen der Begriffe ‚Winter‘ und ‚ ‘Sommer‘ durch ‚Normalzeit‘ und ‚Normalzeit mit Vorstellung um eine Stunde‘ sich gravierend auf die Ergebnisse niederschlägt. Neben fehlender Repräsentativität kann also auch eine umformulierte Fragestellung durchaus zu fehlerhaften oder zumindest völlig anderen Ergebnissen führen.
Bewirkt ein hoher Stichprobenumfang aussagekräftigere Ergebnisse?
Ein immer noch verbreiteter Irrglaube lautet: Ab 1.000 befragten Personen sei ohnehin jede Umfrage repräsentativ. Daraus ließe sich folgern: Ein hoher Stichprobenumfang (von zum Beispiel 1.000 Personen) bewirke automatisch aussagekräftige Ergebnisse. Das ist falsch! Die Aussagekraft hängt in erster Linie davon ab, ob durch die Stichprobe eine gleichmäßige Erreichbarkeit der Gesamtpopulation gewährleistet wird. Auch 50 oder 100 Personen können eine repräsentative Stichprobe bilden, so sie ein Abbild der Grundgesamtheit darstellen. Und ja, die Ergebnisse daraus sind sehr wohl aussagekräftig. Freilich mit der Einschränkung, dass die statistisch gemessene Schwankung (auch Irrtumswahrscheinlichkeit genannt) bei 100 befragten Personen höher ist als zum Beispiel bei 1.000 Befragten.
Was lernen wir daraus? Die Aussagekraft von Ergebnissen hängt nicht primär vom Stichprobenumfang ab. Zentrale Bedeutung bei der Durchführung von Umfragen kommt der Begründung der (methodischen) Rahmenbedingungen zu. Erst ein transparentes Vorgehen in Bezug auf Datengewinnung und Datenverarbeitung im Rahmen der statistischen Versuchsplanung, das den Gütekriterien Objektivität, Reliabilität und Validität folgt, ermöglicht nachvollziehbare und aussagekräftige Ergebnisse. Weiterführend sei hier angemerkt, dass auch über SPSS mittels Verteilungstest geprüft werden kann, ob ein Datensatz repräsentativ ist.
Repräsentative Stichprobe ziehen: Zusammenfassung
Dieser Artikel hat sich mit der Frage beschäftigt, was repräsentative Stichprobe bedeutet und wann eine Umfrage repräsentativ ist. Hierzu wurde anhand eines aktuellen Beispiels gezeigt, warum die Frage der Repräsentativität zu den bedeutsamsten und gewichtigsten Fragen in der empirischen Forschung gehört. Weiterhin wurde im Beitrag belegt, warum aussagekräftige Ergebnisse nicht zwingend einen hohen Stichprobenumfang benötigen und es in erster Linie um ein transparentes Vorgehen hinsichtlich der Stichprobenziehung und der Begründung der (methodischen) Rahmenbedingungen bei der Durchführung von Umfragen geht. Für weitere Unterstützung in Bezug auf Stichprobenumfang und Ziehung einer repräsentativen Stichprobe stehen Ihnen die Experten von Novustat gerne zur Seite.
Weiterführende Quellen
marktforschung.de. Repräsentativität: Wie hältst Du’s mit der Zufallsstichprobe
marktforschung.de. Mehrheit gegen Sommerzeit
Müller-Peters, Anke. George Gallup versus The Literary Digest
Atteslander, Peter. Methoden der empirischen Sozialforschung. 13. Aufl. Berlin, N.Y. de Gruyter 2010
Noelle-Neumann, Elisabeth. Alle nicht jeder. Einführung in die Methoden der Demoskopie. 4. Aufl. Berlin u.a. Springer 2005.