Hier im Forum wurde ja schon gelegentlich diskutiert, inwieweit Umfrageergebnisse tatsächlich nach bestem Wissen und Gewissen erstellt werden oder aber in Richtung auf die (vermuteten) Präferenzen der Auftraggeber oder die persönlichen Ansichten des Umfrageinstituts frisiert werden.

Die deutlich linkslastige Site Daily Kos hat jahrelang Umfragen bei Research 2000 in Auftrag gegeben und publiziert - darunter auch eine Umfrage, die Republikaner als fanatisierte Irre entlarvte. Jetzt hat sich herausgestellt, dass Ergebnisse offenbar in großem Stil getürkt waren. Beispielsweise gab es in einer Umfrage 778 Ergebnisse, die nach männlich/weiblich aufgesplittet wurden (etwa Zustimmung zu Obama unter Männern und Frauen) - und von diesen 778 Paaren von Prozentangaben waren 777 entweder beide geradzahlig oder beide ungeradzahlig, das ist praktisch unmöglich.

Relevant für die Diskussion in ZKZ ist aus meiner Sicht folgendes: gemäß FiveThirtyEight war Research 2000 in der Qualität ihrer Ergebnisse furchtbar schlecht verglichen mit anderen Umfrageinstituten, und deswegen hat Daily Kos auch schon vor einer Weile die Zusammenarbeit mit Research 2000 eingestellt. Betrügen zahlt sich nicht aus. Und obwohl die "Ergebnisse" von Research 2000 nun wirklich in die ideologische Linie von Daily Kos passen, hat Kos sofort die Probleme offengelegt.

Zitat von Gorgasal

---

Jetzt hat sich herausgestellt, dass Ergebnisse offenbar in großem Stil getürkt waren.

---

Danke für den Link! Interessant auch die sehr ausgiebige Diskussion. Offenbar ist es jedenfalls bei der Seltsamkeit, daß die Daten von Männern und Frauen fast immer beide gerade oder beide ungerade Werte enthalten, nicht klar, ob es sich um Manipulation handelt oder vielleicht doch nur um eine Panne im Auswertungsprogramm.

Bedenklich ist, daß Research 2000 offenbar mauert.

Herzlich, Zettel

Zitat von Zettel

---

Interessant auch die sehr ausgiebige Diskussion.

---

Der Betreiber von Daily Kos hat anscheinend unter drei Bedingungen zugestimmt, diese Analyse zu veröffentlichen: erstens mussten die Probleme detailliert dargestellt werden, zweitens von unabhängigen Statistikern begutachtet werden (peer review), und drittens musste Research 2000 die Möglichkeit einer Antwort und Gegendarstellung haben - die sie bislang anscheinend noch nicht genutzt haben.

Zitat von Zettel

---

Offenbar ist es jedenfalls bei der Seltsamkeit, daß die Daten von Männern und Frauen fast immer beide gerade oder beide ungerade Werte enthalten, nicht klar, ob es sich um Manipulation handelt oder vielleicht doch nur um eine Panne im Auswertungsprogramm.

---

Aber das ist auch nur eines von drei Problemen.

Zitat von Mark Grebner, Michael Weissman, and Jonathan Weissman

---

1. A large set of number pairs which should be independent of each other in detail, yet almost always are either both even or both odd.

2. A set of polls on separate groups which track each other far too closely, given the statistical uncertainties.

3. The collection of week-to-week changes, in which one particular small change (zero) occurs far too rarely. This test is particularly valuable because the reports exhibit a property known to show up when people try to make up random sequences.

---

http://www.dailykos.com/story/2010/6/29/...-in-plain-sight

Wenn man ein wenig hinunterscrollt, sieht man mehrere Histogramme für die Schwankungen von Woche zu Woche bei verschiedenen Zeitreihen. Das Histogramm "OBAMA (GALLUP)" hat eine schöne Glockenkurve. Die nächsten drei, alle von Research 2000, haben deutliche - und für mich statistisch völlig unerklärliche - Durchhänger bei Null. Die Zeitreihen von Research 2000 variieren über die Zeit viel zu stark. Man würde erwarten, dass sie sich häufiger von Woche zu Woche nicht unterscheiden. Und das müsste schon eine sehr exotische Panne in der Auswertung sein, aber andererseits ist genau das ein klassisches Feature von gelogenen Zeitreihen.

Die Panne mit den geraden und ungeraden Paaren läßt sich aufklären. Dazu habe ich mal - nicht sehr schwierig - meine Dummheit bemüht. Ich würde nämlich so vorgehen:

Starten wir mit den Daten für alle Befragten, also nicht nach Geschlecht unterschieden:
Pro: a0
Contra: b0
Egal: c0
Die Summe a0+b0+c0 ist 100.

Nun wollen wir nach Geschlecht unterscheiden. Frauen also a1, b1, c1, Männer a2, b2, c2.

Dazu teilen wir die Zahlen a0, b0 und c0 nach dem relativen Gewicht der Geschlechter auf: also wenn beispielsweise 30% der Pro-Stimmen von Frauen kamen, dann ist a1=a0*0,3, a2 = a0*0,7 etc. Dabei runden wir so, daß a1+a2=a0 herauskommt.

Das funktioniert aber so noch nicht, da dann ja a1+b1+c1+a2+b2+c2 = 100 ist und folglich a1+b1+c1 = 50. (Wobei wir, ohne groß nachzuprüfen, davon ausgehen, daß genausoviele Frauen wie Männer befragt worden sind.)

Also multiplizieren wir zuerst a0, b0 und c0 mit zwei und teilen dann auf, um sowohl bei den Frauen als auch bei den Männern auf die Summe 100 zu kommen.

Nun ist aber a0*2 immer eine gerade Zahl, und wenn wir eine gerade Zahl als Summe zweier Zahlen schreiben, dann sind die beiden Summanden entweder beide gerade oder beide ungerade.

So kam's!

Herzliche Grüße,
Kallias

Zitat von Gorgasal

---

Wenn man ein wenig hinunterscrollt, sieht man mehrere Histogramme für die Schwankungen von Woche zu Woche bei verschiedenen Zeitreihen. Das Histogramm "OBAMA (GALLUP)" hat eine schöne Glockenkurve. Die nächsten drei, alle von Research 2000, haben deutliche - und für mich statistisch völlig unerklärliche - Durchhänger bei Null. Die Zeitreihen von Research 2000 variieren über die Zeit viel zu stark. Man würde erwarten, dass sie sich häufiger von Woche zu Woche nicht unterscheiden. Und das müsste schon eine sehr exotische Panne in der Auswertung sein, aber andererseits ist genau das ein klassisches Feature von gelogenen Zeitreihen.

---

Ja, diese Verteilungen habe ich mir auch angeguckt. Und mich an die sechziger Jahre erinnert, als die Shannon-Weaver'scher Mathematical Theory of Communication, kurz Informationstheorie genannt, der letzte Schrei war.

Damals haben diverse Autoren die von Versuchspersonen generierten "Zufallsfolgen" mit tatsächlichen random numbers verglichen. Ergebnis: Man kann sie zuverlässig anhand der Kontextredundanz unterscheiden. Vor allem längere Abfolgen desselben Zeichens werden von Versuchspersonen zu selten generiert, ebenso "regelmäßige" Muster wie ABABAB, die aber natürlich auch zufällig vorkommen.

Fazit damals: Der psychologische Zufall ist so etwas wie ein Durcheinander; daß auch zufällig Strukturen entstehen können, ist psychologisch nicht repräsentiert.

Herzlich, Zettel

Zitat von Kallias

---

So kam's!

---

Sie erinnern mich gerade viel zu sehr an manche Kunden von uns...