Wie repräsentativ sind Studien?

Oftmals hört und liest man, was neue Studien herausgefunden haben wollen. Erst eben habe ich gehört, dass 5 mal mehr Jugendliche betrunken in Krankenhäuser eingeliefert werden, als das noch 1995 der Fall war. Das ist natürlich schon beachtlich.

Aber wie repräsentativ sind solche Studien eigentlich? Keine davon hat natürlich alle Menschen ermittelt und befragt, sondern es werden ja immer nur ein paar befragt und dann hochgerechnet. Und ich fage mich ernsthaft, wie anschaulich das am Ende wirklich ist, wenn man lediglich ein paar hundert oder von mir aus auch 1000 Menschen befragt. Schließlich können unter denen ja genau die sein, die den Durchschnitt extrem ansteigen lassen, oder senken können. Und dann wiederum bringt solch ein Studie natürlich gar nichts, weil es nicht ganz Deutschland (zB) wiederspiegelt.

Was denkt ihr den darüber?

Bei Studien sollte man immer einen Blick auf den Herausgeber werfen und vor allen Dingen von wem die Studie in Auftrag gegeben worden ist. Natürlich wird eine Zigarettenmarke, die eine Studie in Auftrag gibt, nur die für sie positiven Ergebnisse veröffentlichen, niemand schneidet sich ins eigene Fleisch.

Bei der Marktforschung wird natürlich immer nur ein gewisser Prozentsatz der Bevölkerung befragt. Aber dieser Prozentsatz wird nicht vollkommen willkürlich gewählt, sondern die zu befragenden Personen werden schon genau nach bestimmten Kriterien ausgesucht, so dass keine Klumpungseffekte oder ähnliche Fehler, passieren, um eben auch ein wirklich repäsentatives Bild der Gesamtbevölkerung zu geben. Diese Hochrechnungen sind auch nicht so einfach wie man sich das denkt. Bei der Marktforschung wird sehr sehr viel Statistik Wissen benötigt.

Grundsätzlich kann man Studien schon glauben, natürlich sollte man aber auch immer ein wenig kritisch bleiben. Mit etwas Vorsicht zu genießen ist es, wenn nur Auszüge aus einer Studie veröffentlicht werden, denn der Gesamtzusammenhang ist dann nicht mehr erkennbar. Ergebnisse und Zahlen unterliegen zudem immer einer nicht ganz objektiven Interpretation, daher ist es immer gut zu wissen, wie am Anfang schon gesagt, wer hat die Studie herausgegeben und was wollte er damit unter Beweis stellen. Manchmal werden Erbenisse einer Umfrage völlig aus dem Zusammenhang gerissen und interpretiert, diese Aussagen kann man dann nicht mehr so stehen lassen und als richtig ansehen. Daher Achtung, wenn BILD sich auf Studien beruft.

Du wirfst hier ein paar Sachen durcheinander. Studien sind nicht zwangsläufig das gleiche wie Umfragen und die Aussage über die betrunkenen Jugendlichen fällt wahrscheinlich in keine dieser Kategorien.

Es gibt viele Studien, bei denen der Personenkreis von vorneherein stark eingeschränkt ist und bei denen es auch nicht das Ziel ist mit diesem Personenkreis ganz Deutschland wiederzuspiegeln. Wenn ein Pharmaunternehmen zum Beispiel in Diabetes Medikament für unter 20 jährige testen lässt kann es in seiner Studie keine gesunden 50 jährige brauchen. Oder wenn ein Unternehmen ein Handy für Senioren auf den Markt bringen will, dann wird es keine jungen Leute in seiner Studie haben wollen, weil das nicht die potentiellen Kunden des Produktes sind.

Das klassische Beispiel für eine Umfrage, die einen großen Teil der Bevölkerung wiederspiegelt sind sicher die Umfragen, die regelmäßig zum Wahlverhalten gemacht werden. Da hat man immer eine gewisse Fehlerquote und die kann man auch nicht vermeiden, auch wenn man sehr viele Menschen befragt, die aus allen Bevölkerungsschichten zusammengesetzt sind. Aber es geht ja bei solchen Umfragen auch selten darum eine absolute Zahl zu bekommen, wichtig ist hier eine Tendenz aufzuzeigen und das kann man mit solchen Umfragen auf jeden Fall.

Bei den betrunken Jugendlichen könnte ich mir aber gut vorstellen, dass es sich bei dieser Aussage wirklich um absolute Zahlen handelt und nicht etwa um eine Umfrage, die in 20 Krankenhäusern gemacht worden ist und dann hochgerechnet wurde. Denn es gibt ja auch Statistiken zum Verkehrsunfällen, Arbeitsunfällen und solchen Sachen, deshalb gehe ich davon aus, dass diese Sachen irgendwo zentral verzeichnet werden. Deshalb auch der Vergleich zu 1995.

Viel interessanter finde ich in dem Zusammenhang auch den Kontext von Studien (wer hat sie in Auftrag gegeben? wo werden die Ergebnisse veröffentlicht?) und die Interpretation von Umfrageergebnissen. Ich muss gerade an eine Werbung denken die mit der Aussage "90% aller Glamour Leserinnen finden unser Produkt toll" oder so ähnlich wirbt. Das hat natürlich genauso viel Aussage wie "95% der Besucher eines Metall Festivals finden Schlager Scheiße".

Es bringt einfach nichts, alle zu befragen, auch abseits spezieller Umfragen, die nur zielgruppenorientiert sind. Zwar wird das Ergebnis mit mehr Befragten immer genauer, aber in Bereichen, die den Kosten-Nutzen-Aufwand nicht mehr rational begründen können.

Befragt man z. B. 5.000 willkürlich ausgewählte Personen, so hat diese Umfrage einen Fehlerfaktor von vielleicht 2 % - befragt man die zehnfache Menge an Personen, so sinkt dieser bestenfalls auf 0,2 % bei zehnmal höheren Kosten.

Und so geht es simpel gesagt schön weiter: Der Faktor, wie genau diese Umfrage das tatsächliche Ergebnis präsentiert würde zwar immer höher werden, aber die Kosten würden die reduzierten Ungenauigkeiten niemals aufwiegen, da Abweichungen von 2 - 3 % noch im statischen Mittel liegen.

Je nach Art der Umfrage braucht man auch keine 5.000 sondern eben nur 1.000 Personen, gerade wenn es sich um allgemeine Dinge handelt, wo jeder eine Meinung hat. Da wird dann halt aus jeder Gruppe die relativ in der Bevölkerung einen gewissen Anteil hat herausgepickt und befragt. Und in der Regel sind die Abweichungen bei 1000 befragten Personen kaum größer als bei 10.000. Der "Fehlerfaktor", den man z. B. bei Wahlen anhand des tatsächlichen Ergebnisses ja letztlich ermitteln kann wird also nicht einmal wesentlich geringer, sondern bleibt relativ konstant auf einem Niveau.