Mit dem Internet erschließt sich auch der Markt- und Sozialforschung ein neues Feld. Zeitschriften, Bundesämter und Forschungsunternehmen führen Umfragen durch, die online besucht und ausgefüllt werden können. Diese schnellen und unkomplizierten Online-Umfragen scheinen jedem den schnellen Weg zu mehr Informationen zu ebnen. Aber sind die Ergebnisse dieser Umfragen auch wissenschaftich nutzbar?
Der Uni-Spiegel tut es, das
Umweltbundesamt auch und
Perspektive Deutschland sowieso. Sie führen Umfragen durch, die online besucht und ausgefüllt werden und dem Herausgeber alle gewünschten Informationen liefern sollen. Inzwischen gibt es sogar
Unternehmen, die im Internet schnell und unkompliziert das Erstellen einer Online-Umfrage anbieten und jedem den Weg zu mehr Informationen zu ebnen versuchen. Mittlerweile kann man sogar selbst (beispielsweise mit dem OpenSource CMS Mambo) eigene Umfragen schnell und einfach erstellen. In Anbetracht der Fülle an Online-Umfragen stellt sich jedoch die Frage, wie sinnvoll diese Methode ist und ob dieser Forschungsansatz wirklich zum Erfolg führt. Anders gefragt: sind die Ergebnisse dieser Umfragen repräsentativ? Sind sie ein Spiegelbild der Wirklichkeit oder liefern sie nur einen Ausschnitt, der unter Umständen der Wirklichkeit nicht gerecht wird?
Von Vorteil ist in jedem Fall die große Anzahl von Teilnehmern, die man mit dem relativ niedrigen Aufwand einer Online-Umfrage erreichen kann. Und dies zu einem Aufwand, der sich auch für kleinere Befragungen lohnt und große Umfragen teilweise überhaupt nur ermöglicht. Erst recht, da dieser Weg die Teilnehmer unabhängig von Uhrzeit, Tag oder anderen äußeren Umständen erreicht. Von Bedeutung ist auch die Tatsache, dass niemand nötig ist, der die Umfrage durchführt, also die Fragen stellt und damit ebenfalls die Ergebnisse beeinflussen kann. Denn auch die Erscheinung des Befragenden, sein Auftreten und die Situation an sich, haben Einfluss auf das Ergebnis der Befragung.
Aber auch die Methoden und Risiken von Umfragen liegen klar auf der Hand: Wie bei jeder Umfrage, beeinflusst die Aufmachung von Online-Polls den Teilnehmer, die Fragestellung und in diesem Fall noch der Weg, auf dem der Teilnehmer auf die Umfrage gestoßen ist. Schon damit sind die ersten Möglichkeiten eröffnet, den Befragten in einer Weise zu beeinflussen, die vielleicht nicht gewünscht ist, aber durchaus kalkuliert werden muss.
Dabei sind es nicht immer gleich die Suggestivfragen, die dem Teilnehmer eine bestimmte Antwort abringen, sondern vielleicht einfach nur die Reihenfolge und Anzahl der Fragen, insgesamt oder pro Abschnitt und die Menge der möglichen Antworten. Ein weiteres Risiko birgt ganz generell der Rahmen, in dem der Teilnehmer an der Befragung teilnimmt, und auf die bei einer Online-Befragung noch weniger Einfluss genommen werden kann, als bei Umfragen generell schon. Dies kann von Vorteil sein, birgt aber eben auch ein gewisses Risiko. In der Eile noch schnell die letzten Antworten gegeben, dabei der Tochter die Schuhe anziehen und schon ändert sich die Perspektive auf Deutschland. Zumindest zwischen Tür und Angel, zwischen 14.00 Uhr und 14.05 Uhr und zwischen Schreibtisch, PC, Teilnehmerin und Tochter. Hinzu kommt der Einfluss, den die Aufbereitung der Online-Umfrage auf den Teilnehmer vor dem PC oder Laptop nimmt. Kleinigkeiten wie Schriftgröße, Lesbarkeit und das generelle Design können dabei eine Rolle spielen. Hinzukommen Kriterien wie der persönliche Geschmack, da online der Kreativität des Umfragenden keine Grenzen gesetzt sind.
Prinzipiell gilt natürlich auch hier die Frage, ab wie vielen Teilnehmern eine Umfrage überhaupt repräsentativ ist: im Sinne der Annäherung an eine objektive Wahrheit – denn repräsentieren tut eine Umfrage immer etwas. Auch eine Online-Umfrage muss natürlich einen beträchtlichen Pool an Ergebnissen erst einmal sichern, bevor überhaupt an eine Auswertung der Ergebnisse gedacht werden kann. Und wenn diese Umfrage über einen zu langen Zeitraum läuft um diese Menge zu erreichen, dann hat sich die Stimmung vielleicht schon wieder geändert; die äußeren Umstände und der Rahmen führen zu einer Verschiebung der potentiellen Antworten und der Teilnehmer.
Ein weiterer Aspekt darf nicht außer Acht gelassen werden: wer sind diese Teilnehmer, die an diesen Online-Umfragen teilnehmen? Das Ergebnis wird schon allein dadurch beeinflusst, dass möglicherweise ganz bestimmte Menschen die Zeit haben, an Umfragen teilzunehmen. Auch hat nicht jeder einen Internetzugang. Wohl sind es auch nur bestimmte Menschen, die diejenigen Seiten aufrufen, die zu Umfragen führen. Damit handelte es sich um keine repräsentative Mischung aus der Bevölkerung, der nun im Kleinen entsprochen würde – außer vielleicht es handelte sich um eine Online-Umfrage unter Internetnutzern über ihre Internetnutzung.
Ein Risiko besonderer Art birgt die Online-Umfrage allerdings noch zusätzlich, das die Ergebnisse nicht sämtlicher Online-Umfragen relativieren soll, aber in Einzelfällen sehr beträchtlich ist: niemand kann kontrollieren, ob der Befragte die Wahrheit sagt. Dieses Risiko mag für Umfragen ganz generell gelten, wird aber durch die bereits erläuterten Begleitumstände der Online-Umfrage noch verstärkt. Die Möglichkeit, online mal ganz schnell und ganz unauffällig die eigenen Fähigkeiten und Kompetenzen aufzupolieren, kann nicht ausgeschlossen werden.
Das mag bei Fragen zu persönlichem Empfinden, Geschmack oder sogar politischer Orientierung nicht so bedeutend sein und gilt wohl für jede Umfrage, ob nun online oder auf Papier. Wenn es aber um harte Fakten geht, so kann es eine ganze Umfrage zum Kippen bringen oder zumindest das Ergebnis in Frage stellen. Denn wenn keine Kontrolle darüber besteht, ob der Student wirklich nach sieben Semestern seine zwei Studiengänge mit Bravour bestanden hat, dann stellt sich doch die Frage, was von einer solchen Umfrage noch zu halten ist. Oder generell gefragt, was von der Methode der Online-Befragung zu erwarten ist, denn: glaube keiner Statistik, die vom Befragten selbst gefälscht werden kann!
Um diese Gefahren zu vermeiden und den Wert von Umfrageergebnissen zu steigern, können ein paar einfache Maßnahmen ergriffen werden: schon mit einem Mindestmaß an Transparenz erzielt man die nötigen Einblicke für den Interessierten. Dabei geht es um Informationen zur Methodologie und den Rahmendaten. Also die Fallzahl, die Definition von Untersuchungseinheiten, den Erhebungszeitraum und weitere Informationen, die bei der Interpretation der Ergebnisse relevant sind. Denn den Unterschied zwischen den nackten Daten und den interpretierten Informationen sollte man nicht unterschätzen.