In Science News stand es zu lesen, und ich fand es interessant genug für einen Artikel: Menschen, die in jungen Jahren ein negatives Bild vom Alter haben, neigen, wenn sie selbst alt geworden sind, vermehrt zu Herz- Kreislauf- Erkrankungen.
Interessant, nicht wahr? Nur sollte man sich davor hüten, eine Korrelation falsch kausal zu interpretieren.
Neben diesem methodischen Aspekt ist es natürlich schon interessant, wie auch ier wieder Psychisches und Körperliches ineinandergreifen.
Zitat von ZettelIn Science News stand es zu lesen...
Unangenehm überrascht bin ich, dass Science News es nicht nötig hat, den Originalartikel zu referenzieren oder auch nur zu nennen ("a paper published online February 13 and set to appear in Psychological Science"). Wäre das in Zeiten des DOI so schwierig?
Als Statistiker kann ich mir diverse Schwierigkeiten mit diesem Artikel vorstellen... Ich habe meine Quellen angezapft, werde ihn mir mal anschauen und vielleicht kommentieren.
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
Zitat von GorgasalDer Artikel findet sich hier: http://www3.interscience.wiley.com/journ...204289/abstract Als Statistiker kann ich mir diverse Schwierigkeiten mit diesem Artikel vorstellen... Ich habe meine Quellen angezapft, werde ihn mir mal anschauen und vielleicht kommentieren.
Lieber Zettel, ich bin zwar kein Zahnarzt, möchte Ihnen aber trotzdem einen Zahn ziehen:
In Antwort auf:Zeitschrift mit strengem Peer Reviewing
Das Peer Reviewing wird zwar von der Zeitschrift gefordert, aber nicht durchgeführt. Es sind eben Peers ("Kollegen"), die die Review durchführen. Und in vielen Fällen sind es wirklich Kollegen, vor allem wenn es sich um wissenschaftliche Nischen handelt, in denen man die Peers an eine Hand abzählen kann. Dass diese Peers einen wesentlichen Zeitaufwand betreiben, um die Ausgangsdaten, Erhebungs- und Berechnungsmethoden wirklich grundlegend reviewen, ist nicht sichergestellt. Oft verfügen die Peers auch gar nicht über die erforderlichen Ausgangsdaten und Auswertungsprogramme, um z.B. die Robustheit der Ergebnisse überprüfen zu können. Oftmals sind die Peer-Reviewer Fachexperten, verstehen aber von statistischen Methoden nicht mehr als, wie man Daten in ein Auswertungsprogramm eingibt und wie man die Graphiken produziert.
Es gibt z.Z. gerade eine heisse Diskussion über die Erwärmung oder Nichterwärmung der Antarktis aufgrund einer peer-reviewten Studie von Steig et al. Dabei wurde in einer unabhängigen, nachträglichen "Peer-Review" festgestllt, dass die Ausgangsdaten fehlerhaft waren und dass die statistische Auswertung offenbar mit ungeeigneten Methoden Ansätzen durchgeführt wurde. Ein ähnliches Fiasko war der berühmte Hockey Stick von M. Mann, den mit der selben, von Mann verwendeten Methode, auch mit Börsendaten generieren kann.
Zu der Studie kann ich nur sagen: Unsinn. Wissenschaftler. die eine Kausalität aus einer simplen Assoziation ableiten, ohne sich Gedanken zu machen über die Plausibilität, sind keine Wissenschaftler. Sie haben nur gezeigt, dass sie Geld und Zeit zur Verfügung haben. Das erinnert doch allzu sehr an die Studie, die die Ansteckung zur Fettleibigkeit aus der Telekonnektion ableitete. Wer mit Freunden oder Bekannten Kontakt hat, die übergewichtig sind - auch über grössere Distanzen hinweg per Korrespondenz - soll danach selbst zu Übergewicht neigen oder angesteckt werden.
Wieviel Unsinn im Gesundheitssektor aus solchen Studien abgeleitet wird, meist um dem Staat die Rechtfertigung zu liefern, "Vorbeugemassnahmen" in Kraft zu setzen, etwas zu verbieten oder zu besteuern, kann man hier regelmässig erfahren: http://junkfoodscience.blogspot.com. Im Augenblick gerade: Wie tödlich ist ein Glas Wein.
Sie zitieren die yale website von Becca Levy. Das ist ja nicht ihr erster Artikel zu dem Thema, es sind inzwischen mindestens 20 Artikel. Setzen Sie ihren Namen in http://scholar.google.de ein und Sie finden fast alle Standorte der früheren Artikel und Bücher, die meisten auch mit mindestens einem open access Nachweis sowie die Artikel, die diese Artikel referieren.
Sie ist auch nicht die erste Wissenschaftlerin, die diesen Zusammenhang so bewertet.
Das zwischen der Selbstwahrnehmung und dem geistigen Leistungsvermögen ein Zusammenhang besteht, sollten Sie als Lehrerenden erfahren haben. Das die Selbstwahrnehmung auch einen Einfluß auf das körperlicher Leistungsvermögen, z.B. von Organen, hat, ist wahrscheinlich. Das betrifft auch das Altern.
Herzlichen Gruß Libero
Man sollte vorsichtig sein in der Wahl seiner Feinde: Früher oder später wird man ihnen ähnlich.
Zu dem Thema Peer Review und wissenschaftliche Zeitschriften, gibt es einen aktuellen Beitrag vom Fraser Institue: Check the Numbers: The Case for Due Diligence in Policy Formation http://www.fraserinstitute.org/commerce....ligence_Cda.pdf Gruss, Elmar
Zitat von vivendiLieber Zettel, ich bin zwar kein Zahnarzt, möchte Ihnen aber trotzdem einen Zahn ziehen
Das ist an sich nett, lieber Vivendi. Nur glauben Sie mir, ich kenne die Zahnärzte.
Ich habe ungefähr vierzig Jahre im Geschäft des Peer Reviewing auf dem Buckel; als Autor, als Mitglied von Editorial Boards und auch als Editor.
Zum Peer Reviewing hat es ja hier kürzlich zwei Diskussionen gegeben, nämlich diese und diese, besonders ab hier. Ich denke, lieber Vivendi, da sind die Zahnschmerzen schon a bisserl "behandelt".
Zitat von vivendi
In Antwort auf:Zeitschrift mit strengem Peer Reviewing
Das Peer Reviewing wird zwar von der Zeitschrift gefordert, aber nicht durchgeführt. Es sind eben Peers ("Kollegen"), die die Review durchführen. Und in vielen Fällen sind es wirklich Kollegen, vor allem wenn es sich um wissenschaftliche Nischen handelt, in denen man die Peers an eine Hand abzählen kann.
Das ist halt sehr verschieden, je nach dem Niveau einer Zeitschrift, das man mühelos an der Rejection Rate ablesen kann. Sie liegt bei den besten internationalen Zeitschriften bei 80 oder 90 Prozent. Wenn Sie zB bei Nature etwas einreichen und Sie bekommen die Antwort, man könne das Ms zwar so nicht annehmen, sei aber an einer Resubmission eines andern Ms zum selben Thema interessiert, dann können Sie sich schon gratulieren.
Bei den sehr guten Zeitschriften achtet der jeweils zuständige, also mit dem Forschungsbereich vertraute, Editor natürlich darauf, daß er die Referees gut aussucht. Also ist unter dreien mindestens einer, der nicht auf der wissenschaftlichen Linie der Autoren des Ms liegt. Ich habe das jedenfalls immer so gehandhabt. Sodann ist der Editor frei darin, die Reviews zu gewichten. Es kommt nicht selten vor, daß zwei von drei positiv sind, das Ms aber dennoch abgelehnt wird, weil dem Editor die Einwände im dritten als substantiell erscheinen.
Bei den Zeitschriften in den unteren Etagen ist das anders, von den deutschsprachigen gar nicht zu reden. Da findet man es so, wie Sie es beschreiben; vielleicht rühren Ihre Erfahrungen hauptsächlich daher? (Den Scherz konnte ich mir jetzt nicht vergreifen, Herr Zahnarzt. )
Zitat von vivendiDass diese Peers einen wesentlichen Zeitaufwand betreiben, um die Ausgangsdaten, Erhebungs- und Berechnungsmethoden wirklich grundlegend reviewen, ist nicht sichergestellt.
Es ist nicht sichergestellt, aber es ist - eben bei den sehr guten Zeitschriften, zu denen Psychological Science gehört - die Regel. Die Gründe habe ich in den verlinkten Threads mit Gorgasal diskutiert.
Zitat von vivendiOft verfügen die Peers auch gar nicht über die erforderlichen Ausgangsdaten und Auswertungsprogramme, um z.B. die Robustheit der Ergebnisse überprüfen zu können.
Was meinen Sie mit Robustheit? Die Robustheit von Ergebnissen (also ihre Replizierbarkeit auch unter abweichenden Bedingungen) kann man nur durch Replikationen feststellen. Einer einzigen Untersuchung können Sie in der Regel nicht entnehmen, wie robust die Ergebnisse sind. Auch das haben Gorgasal und ich schon diskutiert. (In wenigen Untersuchungen prüfen die Autoren selbst die Robustheit, indem sie die Bedinungen, unter denen ein Effekt auftritt, systematisch abändern. Das ist aber selten).
Zitat von vivendiOftmals sind die Peer-Reviewer Fachexperten, verstehen aber von statistischen Methoden nicht mehr als, wie man Daten in ein Auswertungsprogramm eingibt und wie man die Graphiken produziert.
Dann sind sie keine Fachexperten.
In jeder Naturwissenschaft gehört die Ausbildung in Inferenzstatistik schon zum Studium. Größere Teams haben immer mindestens einen Rechenknecht dabei, der auf Inferenzstatistik spezialisiert ist. Wenn ich beim Begutachten eines Ms statistische Zweifel hatte, habe ich es dem betreffenden Mitarbeiter gezeigt und um sein Urteil gebeten.
Zitat von vivendiEs gibt z.Z. gerade eine heisse Diskussion über die Erwärmung oder Nichterwärmung der Antarktis aufgrund einer peer-reviewten Studie von Steig et al. Dabei wurde in einer unabhängigen, nachträglichen "Peer-Review" festgestllt, dass die Ausgangsdaten fehlerhaft waren und dass die statistische Auswertung offenbar mit ungeeigneten Methoden Ansätzen durchgeführt wurde.
Shit happens. Natürlich kommt so etwas vor. Es soll auch vorkommen, daß Richter Fehlurteile sprechen und daß Ärzte Behandlungsfehler machen. In der Diskussion mit Gorgasal habe ich den Klassiker erwähnt, den Fall Benveniste in Nature.
Zitat von vivendiZu der Studie kann ich nur sagen: Unsinn. Wissenschaftler. die eine Kausalität aus einer simplen Assoziation ableiten, ohne sich Gedanken zu machen über die Plausibilität, sind keine Wissenschaftler. Sie haben nur gezeigt, dass sie Geld und Zeit zur Verfügung haben.
Sie sind aber schnell mit Ihrem Urteil, lieber Vivendi. Haben Sie denn die Untersuchung gelesen? Es ist ja eben gerade nicht so, daß die Autoren diesen Fehler machen; sie sind nur unscharf in ihren Aussagen und regen dadurch Mißverständnisse an. Um darauf hinzuweisen, habe ich den Artikel geschrieben.
Zitat von vivendiWieviel Unsinn im Gesundheitssektor aus solchen Studien abgeleitet wird, meist um dem Staat die Rechtfertigung zu liefern, "Vorbeugemassnahmen" in Kraft zu setzen, etwas zu verbieten oder zu besteuern, kann man hier regelmässig erfahren: http://junkfoodscience.blogspot.com. Im Augenblick gerade: Wie tödlich ist ein Glas Wein.
Da haben Sie völlig Recht. Aber wir reden hier von einer der Fachzeitschriften aus dem oberen Sektor. Die allerdings die Besonderheit hat, sich nicht an einen kleine Expertenkreis zu wenden, sondern an alle, die in der Experimentalpsychologie forschen. Aber dennoch mit harten Publikationskriterien.
Zitat von LiberoSie zitieren die yale website von Becca Levy. Das ist ja nicht ihr erster Artikel zu dem Thema, es sind inzwischen mindestens 20 Artikel. Setzen Sie ihren Namen in http://scholar.google.de ein und Sie finden fast alle Standorte der früheren Artikel und Bücher, die meisten auch mit mindestens einem open access Nachweis sowie die Artikel, die diese Artikel referieren.
Ja, Google Scholar ist eine feine Sache.
Zitat von LiberoSie ist auch nicht die erste Wissenschaftlerin, die diesen Zusammenhang so bewertet.
Wäre sie das, lieber Libero, dann wäre ihre Untersuchung mit größter Vorsicht zu genießen. Ich habe in meiner Antwort an Vivendi auf die beiden Threads verwiesen, in denen ich mit Gorgasal über solche Themen diskutiert habe. Da kam auch das Motto zur Sprache, mit denen ich gern Studenten traktiere: Ein Experiment ist kein Experiment.
Jede ernstzunehmende Forschung steht heute in einem Kontext. Niemand findet etwas ganz Neues. (Gut, es gibt ganz seltene Ausnahmen).
Zitat von LiberoDas zwischen der Selbstwahrnehmung und dem geistigen Leistungsvermögen ein Zusammenhang besteht, sollten Sie als Lehrerenden erfahren haben.
Welcher denn? Ein positive oder eine negative Korrelation?
Zitat von Libero Das die Selbstwahrnehmung auch einen Einfluß auf das körperlicher Leistungsvermögen, z.B. von Organen, hat, ist wahrscheinlich. Das betrifft auch das Altern.
Es ging in der Untersuchung von Levy et al. allerdings nicht um Selbstwahrnehmung, sondern um ein Fremdstereotyp.
Zitat von ElmarZu dem Thema Peer Review und wissenschaftliche Zeitschriften, gibt es einen aktuellen Beitrag vom Fraser Institue: Check the Numbers: The Case for Due Diligence in Policy Formation http://www.fraserinstitute.org/commerce....ligence_Cda.pdf
Ja, und auf den Klassiker zu diesem Thema, die Arbeit von Peters und Ceci (1982) hat Gorgasal hier aufmerksam gemacht.
Zitat von vivendiDass diese Peers einen wesentlichen Zeitaufwand betreiben, um die Ausgangsdaten, Erhebungs- und Berechnungsmethoden wirklich grundlegend reviewen, ist nicht sichergestellt.
Es ist nicht sichergestellt, aber es ist - eben bei den sehr guten Zeitschriften, zu denen Psychological Science gehört - die Regel. Die Gründe habe ich in den verlinkten Threads mit Gorgasal diskutiert.
Ihr Wort in Gottes Ohr. Ich will gerne zugestehen, dass Manuskripte darauf gegengelesen werden, ob sie den Stand der Forschung (zumindest fachlich - zur Statistik komme ich noch) widerspiegeln oder ob sie grobe logische Schnitzer enthalten. Auch die Erhebungs- und Berechnungsmethoden werden gerne kritisiert. Dass Reviewer aber "Ausgangsdaten, Erhebungs- und Berechnungsmethoden wirklich grundlegend reviewen", wie vivendi schreibt und was Sie, werter Zettel, in sehr guten Zeitschriften für "die Regel" halten, diesen Optimismus teile ich nicht. In diesem konkreten Fall stehen die Ausgangsdaten zur Verfügung, aber im allgemeinen wird der Reviewer sie gar nicht haben, also auch nicht grundlegend reviewen können - geschweige denn die Zeit dafür sich nehmen wollen. Die grobe Rechnung kann man auch als Reviewer bewerten - hier wurde ein Cox proportional hazards-Modell genommen, das ist gut so, aber einige Informationen fehlen mir, dazu in einem anderen Beitrag mehr.
Zusammenfassend: Review ja, aber grundlegend ist das nicht. Sie hatten in einem anderen Thread geschrieben, dass Sie sich für ein Review etwa einen Arbeitstag Zeit nehmen. Meine unfundierte Ansicht ist, dass Sie damit am oberen Ende liegen, und dennoch könnten Sie in dieser Zeit nicht die Auswertung replizieren und grundlegend kritisieren - das geht einfach nicht.
Damit will ich nicht den Peer Review-Prozess schlechtmachen. Ich möchte nur darauf hinweisen, dass auch Peer Review in keinster Weise die Korrektheit von Ergebnissen sicherstellt (das weiß man als Wissenschaftler, aber es ist eben die Ansicht vieler Laien), und dass viele Faktoren, von publication bias bis hin zu data dredging, zumindest bei mir dafür sorgen, dass auch Peer Review meine persönliche Überzeugung von der Korrektheit eines publizierten Artikels nur wenig festigt (da spricht wieder der Hobby-Bayesianer in mir).
Zitat von Zettel
Zitat von vivendiOftmals sind die Peer-Reviewer Fachexperten, verstehen aber von statistischen Methoden nicht mehr als, wie man Daten in ein Auswertungsprogramm eingibt und wie man die Graphiken produziert.
Dann sind sie keine Fachexperten.
In jeder Naturwissenschaft gehört die Ausbildung in Inferenzstatistik schon zum Studium.
Da haben Sie recht. Aber ich habe in den letzten Jahren Unmengen von Diplomanden und Doktoranden statistisch unterstützt, die in Anbetracht des Spezialgebiets sicherlich zu den helleren Köpfen in der Psychologie gehören. Sie hatten alle zwei Semester Statistik gehört. Dennoch waren da einige recht grundlegende Konzepte sehr wackelig. Und von einem Kooperationspartner, einem sehr renommierten Genetiker, habe ich schon ziemlich danebene Vorschläge zur statistischen Auswertung von Daten bekommen.
Zitat von ZettelGrößere Teams haben immer mindestens einen Rechenknecht dabei, der auf Inferenzstatistik spezialisiert ist.
Recht haben Sie. Und wenn er nicht im Team ist, dann gibt es meist zumindest einen zentralen Dienstleister an der Uni. Nur habe ich häufig den Eindruck, dass dieser Experte nicht zu Rate gezogen wird. Man kann ja schließlich alles in SPSS selbst zusammenklicken, und wenn dann etwas Signifikantes rauskommt, dann ist doch prima, oder?
Zitat von ZettelWenn ich beim Begutachten eines Ms statistische Zweifel hatte, habe ich es dem betreffenden Mitarbeiter gezeigt und um sein Urteil gebeten.
Darf ich Sie bei meinem nächsten Paper als Reviewer vorschlagen? Ich wünschte, es gäbe mehr wie Sie...
Zitat von ZettelAber wir reden hier von einer der Fachzeitschriften aus dem oberen Sektor. Die allerdings die Besonderheit hat, sich nicht an einen kleine Expertenkreis zu wenden, sondern an alle, die in der Experimentalpsychologie forschen. Aber dennoch mit harten Publikationskriterien.
Psychological Science ist allerdings auch das Journal, das seinen Autoren seit 2005 dringend ans Herz legt, statt (oder zusätzlich zu) dem p-Wert ein neues Konstrukt namens p_rep zu berichten. Damit haben die Editoren zwar löblicherweise versucht, dem weit verbreiteten Missbrauch von Inferenzstatistik entgegenzuwirken, aber wohl doch etwas zu früh auf ein noch wenig geprüftes statistisches Pferd gesetzt:
Zitat von Iverson et al.In 2005 Psychological Science, the flagship journal of the Association for Psychological Science, began their current practice of asking contributors to compute the statistic p_rep in lieu of the traditional p-value. In a polemic comprising five Fits we argue that p_rep is misnamed, commonly miscalculated, misapplied outside a narrow scope, and its large variability often produces values that invite mistrust and mislead the interpretation of data.
Ich habe die größte Hochachtung vor Psychological Science, man sollte nur auch die Schwierigkeiten im Auge behalten. Und gerade Statistik wird in der Psychologie zwar als Heiliger Gral verehrt, aber nicht immer orthodox angewandt... Ich habe die Editoren von Psychological Science jetzt nicht im Detail ergoogelt, aber beim ersten Überfliegen erkenne ich keine Namen als Statistiker wieder: http://www.wiley.com/bw/editors.asp?ref=0956-7976&site=1
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
Zitat von GorgasalIch habe die Editoren von Psychological Science jetzt nicht im Detail ergoogelt, aber beim ersten Überfliegen erkenne ich keine Namen als Statistiker wieder: http://www.wiley.com/bw/editors.asp?ref=0956-7976&site=1
So, einfach weil es Spaß macht, habe ich jetzt doch zumindest mal die Associate Editors ergoogelt. Keine Statistiker. Damit hatte ich auch gerechnet, als ich den Levy et al. gelesen hatte...
Man könnte natürlich argumentieren wie Sie, werter Zettel: wenn Ihnen die Statistik nicht koscher (trefe?) erscheint, fragen Sie einen Statistiker. Das Problem ist, dass der Psychologe als solcher nicht unbedingt kompetent ist, unsaubere Statistik als solche zu erkennen, von extremen statistischen Fehlgriffen abgesehen.
Sorry, wenn ich so auf der Statistik herumreite, aber (a) ist das das Gebiet, das ich am besten beurteilen kann (und wenn man einen Hammer hat, sieht jedes Problem aus wie ein Nagel), (b) ist die Statistik häufig der objektivste und zentralste Teil statistischer und medizinischer Forschung und (c) kann man mit der Statistik so wunderschön Schindluder treiben, und das sowohl auf Amateur- wie auf Profiniveau: http://en.wikipedia.org/wiki/How_to_Lie_with_Statistics
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
ich stimme Ihnen - das wird Sie jetzt vielleicht erstaunen - in allem zu.
Ich sehe ja auch die Mängel des Peer Reviewing. Natürlich rutscht viel Mist durch den Filter, und - das wissen wir alle - unsere eigenen, ausgezeichneten Mss werden oft nicht angenommen, weil die Referees zu doof sind, zu sehen, daß sie da einen Goldklumpen in Händen halten.
Über dergleichen haben wir ja schon gesprochen. Ich habe in der Antwort an Vivendi nur das Positive a bisserl hervorgekehrt, weil mir seine pauschale Abwertung des Peer Reviewing erheblich über das Ziel hinauszuschießen scheint.
in beiden Richtungen natürlich, sowohl das Lernen und Verstehen verstärkend wie hemmend. Mich persönlich würde dieser Einfluß, der in der Arbeit thematisiert wird, nicht wundern, aber das ist kein Argument.
Wenn gorgasal mit seinem Vorwurf recht hat, sollte man in den Referenzen der älteren Arbeiten, die man über scholar.google recherchieren kann, ja mindestens eine Entgegnung finden, die den Ergebnissen aus den von gorgosal genannten Gründen widerspricht. Auch wenn man berücksichtigt, welche Gründe davon abhalten könnten, zu widersprechen. Die kenne ich natürlich auch. Aber meistens findet man einen Verfasser, der frei von Abhängigkeiten ist.
Der Vorwurf von gorgasal ist weitgehend. Wenn ich Ihn richtig verstehe, wäre es notwendig, daß
1. alle Daten offengelegt werden. Das geschieht bisher nicht 2. ein fachfremder Fachmann der Statistik die Auswertungen prüfen 3. ausreichend Zeit für die Prüfung eingeräumt werden.
Das wäre wünschenswert, keine Frage, aber zu welchen Kosten.
Wieviele Artikel bestehen den Peer Review einer hochklassigen Fachzeitschrift nicht und welche Gründe werden dafür genannt? Wieviele Artikel werden erst nach Nacharbeitung angenommen und sind es statistische Mängel, die zur Nacharbeitung führen?
Herzliche Grüße Libero
Man sollte vorsichtig sein in der Wahl seiner Feinde: Früher oder später wird man ihnen ähnlich.
Zitat von GorgasalIch habe die Editoren von Psychological Science jetzt nicht im Detail ergoogelt, aber beim ersten Überfliegen erkenne ich keine Namen als Statistiker wieder: http://www.wiley.com/bw/editors.asp?ref=0956-7976&site=1
So, einfach weil es Spaß macht, habe ich jetzt doch zumindest mal die Associate Editors ergoogelt. Keine Statistiker. Damit hatte ich auch gerechnet, als ich den Levy et al. gelesen hatte...
Das ist glaube ich aber auch die Regel nicht nur bei Psychological Science, sondern auch bei den APA-Zeitschriften.
Und es ist ja auch logisch, denn ein Ms wird im allgemeinen von einem einzigen Associate Editor betreut. Dieser muß vor allem in dem betreffenden fachlichen Bereich Experte sein; und rein statistische Artikel erscheinen ja in solchen Zeitschriften kaum (außer sie sind eben darauf spezialisiert, wie das Journal of Mathematical Psychology.)
Die statistische Expertise ist auf der Ebene darunter gefragt, beim Editorial Board, Editorial Council oder wie immer das jeweils heißt.
Als ich mir diese Liste angesehen habe, ist mir aufgefallen, daß kein einziger Deutscher im Editorial Board ist. Leider der Normalzustand, auch bei APA-Zeitschriften.
Zitat von LiberoDer Vorwurf von gorgasal ist weitgehend. Wenn ich Ihn richtig verstehe, wäre es notwendig, daß
1. alle Daten offengelegt werden. Das geschieht bisher nicht 2. ein fachfremder Fachmann der Statistik die Auswertungen prüfen 3. ausreichend Zeit für die Prüfung eingeräumt werden.
Das wäre wünschenswert, keine Frage, aber zu welchen Kosten.
Das geht jetzt in die Richtung, die wir kürzlich hier diskutiert haben. Ich halte vor allem Punkt 1 für wichtig, mit dem Zusatz, dass nicht nur die Rohdaten, sondern auch die exakte Auswertungmethodik offengelegt wird - es ist ohne Probleme möglich, die Skripte in einem üblichen statistischen Softwarepaket zu speichern und z.B. auf der Journal-Homepage zu veröffentlichen. Das Auswertungsskript sollte dann exakt die veröffentlichten Ergebnisse liefern. Dann könnte jeder die Methodik untersuchen und auf ihre Schlüssigkeit hin prüfen - Punkt 2 käme dann zumindest für wichtige oder interessante Artikel automatisch (das wären wunderschöne Seminararbeiten für Statistik-Studenten!), und Punkt 3 wäre zwar wünschenswert, aber nicht ganz so wichtig. Gegebenenfalls käme die Replik dann halt später. Bei den Mathematikern wird z.B. einige Jahre gewartet, ob ein publizierter Beweis nicht doch noch Widerspruch erntet, der Lücken aufweist.
Punkt 1 wäre einfach und kostengünstig - die Aufbereitung von Daten und Skripten ist nun wirklich kein großer Zusatzaufwand. Und ich glaube, dass das die Forschung deutlich voranbringen würde.
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
Zitat von GorgasalIch habe die Editoren von Psychological Science jetzt nicht im Detail ergoogelt, aber beim ersten Überfliegen erkenne ich keine Namen als Statistiker wieder: http://www.wiley.com/bw/editors.asp?ref=0956-7976&site=1
So, einfach weil es Spaß macht, habe ich jetzt doch zumindest mal die Associate Editors ergoogelt. Keine Statistiker. Damit hatte ich auch gerechnet, als ich den Levy et al. gelesen hatte...
Das ist glaube ich aber auch die Regel nicht nur bei Psychological Science, sondern auch bei den APA-Zeitschriften.
Recht haben Sie. Und dann kommt halt wenn nicht statistischer Unfug, dann doch statistisches Dünnbrettbohrertum raus. Und dazu kommen noch ein paar andere Schwierigkeiten. Ich muss wirklich aufhören, mich hier zu echauffieren, und detaillieren, was mich bei diesem konkreten Paper stört...
Zitat von ZettelUnd es ist ja auch logisch, denn ein Ms wird im allgemeinen von einem einzigen Associate Editor betreut. Dieser muß vor allem in dem betreffenden fachlichen Bereich Experte sein; und rein statistische Artikel erscheinen ja in solchen Zeitschriften kaum (außer sie sind eben darauf spezialisiert, wie das Journal of Mathematical Psychology.)
Recht haben Sie. Aber dann würde ich erwarten, dass das Manuskript von zumindest einem psychologischen Statistiker begutachtet wird, und das sehe ich hier nicht. Ich fürchte eben, dass sich der Associate Editor seiner statistischen Kenntnis ausreichend sicher war, das zu unterlassen. Und wirklich grausige Schnitzer sind ja auch nicht drin, nur einige Unschönheiten, die mich halt an der restlichen Auswertung ein wenig zweifeln lassen.
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
Zitat von LiberoWieviele Artikel bestehen den Peer Review einer hochklassigen Fachzeitschrift nicht und welche Gründe werden dafür genannt?
Bei Spitzenzeitschriften liegt die rejection rate, wie schon geschrieben, bei bis zu 80 oder 90 Prozent. Das geht dann herunter, wenn man in die unteren Ligen kommt. Ganz unten sind die Zeitschriften, die alles nehmen, aber nur ein Schein-Reviewing durchführen. Dort muß man für die Publikation kräftig zahlen; das wird so kaschiert, daß man eine bestimmte Zahl von Sonderdrucken kaufen muß.
Zitat von LiberoWieviele Artikel werden erst nach Nacharbeitung angenommen und sind es statistische Mängel, die zur Nacharbeitung führen?
So gut wie jeder Artikel wird erst nach Revision angenommen. Das ergibt sich schon aus dem Begutachtungsverfahren: Jeder Referee macht Verbesserungsvorschläge. Der zuständige Redakteur wird immer einige davon an die Autoren weitergeben; schon um den Referees nicht zu signalisieren, daß ihre Arbeit für die Katz war.
Es geht nur darum, ob lediglich minor changes verlangt werden oder - im anderen Extremfall - ein rewriting des ganzen Ms. Inzwischen ist auch der Fall häufig, daß auf resubmission entschieden wird. Dann gilt das Ms als zunächst abgelehnt. Die Autoren werden aber eingeladen, zu denselben Daten (plus vielleicht weiteren) ein neues Ms zu verfassen, das dann wiederum dem Begutachtungsprozeß unterworfen wird. Meist sieht es dem alten Ms verteufelt ähnlich.
Wieviel Prozent Ablehnungen wegen fehlerhafter Statistik erfolgen, kann ich nicht beurteilen. Meist ist das einer von vielen Kritikpunkten, die in die Entscheidung rejection eingehen.
Zitat von Gorgasalich glaube, dass das die Forschung deutlich voranbringen würde.
Hallo Gorgasal
Es ist auf jeden Fall sinnvoller als NUR das Absolvieren eines Stastisikkurs durch angehende Naturwissenschaftler oder Ingenieure. Man lernt zwar auch von Positiven, wie man etwas richtig macht, aber noch mehr lernt man dadurch, daß man selbst oder eben ein anderer aus dem Umkreis auch gravierende Fehler in der Auswertung hingewiesen wurde. Wenn es darauf ankommt, Trockenschwimmen ist keine Vorbereitung.
Wäre es nicht sinnvoll, wenn angehende Stastiker Praktika bei wissenschaftlichen Verlagen machen würden?
Es wäre sicher auch sinnvoll, wenn Statistiker Praktika bei anderen Instituten ihrer Hochschule machen würden. Bei einem größeren Forschungsprojekt sind ohnehin nicht nur die Aspekte des eigentliches Forschungsgebietes von Bedeutung. Ich habe nie verstanden, wieso in der Technologieforschung die betriebswirtschaftlichen Aspekte nicht bereits in die Forschung integriert sind.
Gruß Libero
Man sollte vorsichtig sein in der Wahl seiner Feinde: Früher oder später wird man ihnen ähnlich.
Zitat von ZettelÜber dergleichen haben wir ja schon gesprochen. Ich habe in der Antwort an Vivendi nur das Positive a bisserl hervorgekehrt, weil mir seine pauschale Abwertung des Peer Reviewing erheblich über das Ziel hinauszuschießen scheint.
Und ich habe in meinem Kommentar das Negative unterstrichen, nicht weil ich verallgemeinern wollte, sondern weil in den Fachgebieten, in dem ich mich mit der Interpretation von Statistiken beschäftige (ich habe zwar eine Hochschulausbildung bin aber kein ausgebildeter Statistiker), immer wieder Peer Reviews als das Gelbe vom Ei hervorgehoben werden. Im Gegenzug wird dann jede Publikation oder Analyse einer Studie, die keine Peer Review durchlaufen hat, zum Vornherein als ungültig taxiert, obwohl doch jede nachträgliche Analyse einer Studie (ob in "offiziellem" Auftrag eines Journals oder aus persönlichem Interesse) doch nichts anderes ist, als auch eine "Peer" Review.
wissen sie lieber Zettel, ich könnte hier Beispiele aus ganz anderen Wissenschaften einstellen und mich mit ihnen und anderen Diskutanten über den Dilettantismus lustig machen, aber ich werde es nicht tun. Ich habe es mittlerweile gänzlich aufgegeben mich über irgend etwas im Bereich der Wissenschaft aufzuregen. Es verhält sich ähnlich der Politik und der Wirtschaft. Wir haben den Zenit ganz einfach überschritten. Es geht längst bergab.
Zitat von GorgasalDer Artikel findet sich hier: http://www3.interscience.wiley.com/journ...204289/abstract Als Statistiker kann ich mir diverse Schwierigkeiten mit diesem Artikel vorstellen... Ich habe meine Quellen angezapft, werde ihn mir mal anschauen und vielleicht kommentieren.
Bin gespannt, lieber Gorgasal.
Na, bei so einer netten Aufforderung muss ich ja.
Erstmal das Schöne: der Artikel ist angenehm kurz, nur zwei Seiten plus ein paar Referenzen. Und die Statistik ist nicht grob schlecht. Grundsätzlich gefällt mir der Artikel daher recht gut, allerdings hätte ich ein paar Sachen bemängelt und vor allem keine Meldung für Science News daraus gemacht. Gründe folgen unten. Leider sind alle Punkte bis auf den ersten und den letzten recht technisch, tut mir leid...
Wenn man in solch einem riesigen Datenberg anfängt zu analysieren, dann wird auf jeden Fall etwas "statistisch signifikant" werden - rein durch Zufall gibt es immer Korrelationen, die groß genug sind, um "statistische Signifikanz" zu erreichen. Wenn es nicht kardiovaskuläre Probleme sind, dann Prostataprobleme oder Lundenprobleme oder sonstwas. Dem kann man durch Korrekturfaktoren begegnen, aber das ist hier nicht erfolgt.
Man könnte jetzt argumentieren, dass genau deswegen die zu überprüfende Hypothese vorab motiviert und dargelegt werden muss, um genau dieses Problem zu umgehen. Das ist korrekt. Das Problem ist dabei, dass es keine Möglichkeit gibt, sich dagegen abzusichern, dass ein Autor erst Data dredging betreibt und nachher Literatur zusammensucht, die seine ex post "Hypothesen" "motivieren".
Zugegebenermaßen ist das hier kein ganz so großes Problem, weil Levy und ihre Arbeitsgruppe schon zuvor auf diesem Gebiet Ergebnisse hatten. Dennoch:
Zitat von Levy et al.When older individuals apply negative age stereotypes to themselves, they can adversely influence a wide range of outcomes (Levy, Slade, Kunkel, & Kasl, 2002).
Dann hätte ich erwartet, dass zumindest die anderen gesundheitlichen Parameter ebenfalls untersucht werden. Natürlich ist das Paper ohne die anderen Parameter kürzer und knackiger, aber es bleibt doch ein Geschmäckle von cherry picking.
2) Technisch: wenn Kovariaten wie Alter, BMI oder dergleichen erhoben werden, dann sollte man untersuchen, ob die unabhängige Variable (hier also Stereotypen über das Alter) einen Einfluss auf die Kovariaten hat, sonst hat man etwas zu erklären. Siehe "Misunderstanding analysis of covariance" von Miller & Chapman. Das kommt hier nicht vor. Wahrscheinlich ist das hier weniger relevant, allerdings könnte ich mir durchaus vorstellen, dass man bei negativen Einstellungen gegenüber dem Alter einen anderen BMI hat als bei positiven. Oder dass sich die Stereotypen mit dem Alter ändern...
3) Noch was Technisches: dass p_rep nicht sonderlich sinnvoll ist, hatte ich oben schon angeführt. Ich weiß nicht einmal, wie die Autoren p_rep bei Cox-Modellen berechnet haben - der ursprüngliche Artikel (Killeen, P. R. An Alternative to Null-Hypothesis Significance Tests. Psychological Science, 2005, 16, 345-353) lieferte meines Wissens nur die Rechnungen für simple one-way ANOVAs, aber vielleicht gibt es hier inzwischen neuere Veröffentlichungen. Oder die Autoren haben ihre p_rep-Berechnung selbst gebaut, dann wäre ich noch viel vorsichtiger mit der Interpretation.
4) Wenn ich die Autoren richtig verstehe, dann bezieht sich ihre hazard ratio auf einen Unterschied von einem Punkt in der unabhängigen Variablen. Bei einer Subpopulation, die ihren ersten cardiovascular event (CVE) nach dem 60. Lebensjahr hat, bekommen sie eine hazard ratio von 2,02. Das heißt, dass eine Person mit einem Wert von 5 auf der "negative Stereotype über das Alter"-Skala ein 2,02-faches Risiko für einen CVE hat wie eine Person mit einem Wert von 4. Ein Wert von 6 ist entspreched mit einem 2,02^2-fachen, also etwa einem vierfachen Risiko assoziiert wie ein Wert von 4. Nun geht diese Skala aber von 1 bis 16 (weil 16 Items abgefragt werden). Der Unterschied in der Wahrscheinlichkeit für einen CVE zwischen Personen mit Werten 3 und 13 (recht positives vs. recht negatives Stereotyp über das Alter, aber nun wirklich nicht unmöglich) wäre entsprechend 2,02^10, das negative Stereotyp wäre als mit einem 1000-fach höheren Risiko für einen CVE assoziiert. Das erscheint mir sehr unwahrscheinlich. Woran sterben denn all die Menschen mit positiven Stereotypen über das Alter? Entweder habe ich da etwas falsch verstanden (gut möglich - aber dann sollte das im Paper klarifiziert werden), oder irgendwelche Einschränkungen werden nicht berichtet (vielleicht gibt es nur Leute mit Werten zwischen 8 und 12 auf der Skala, das macht die Interpretierbarkeit schwieriger und sollte berichtet werden).
5)
Zitat von Levy et al.Participants with negative-age-stereotype scores above the median and those with scores equal to or below the median did not differ significantly on any of the covariates, except gender.
Dazu gibt es einen Haufen warnende Literatur, hauptsächlich in Statistics in Medicine. Das ist ein dermaßen beliebter Fehler, dass ich mal einen Zweiseiter zusammengeschrieben habe, um einfach einen Haufen Literatur zu dem Thema beisammen zu haben. Stelle ich gerne zur Verfügung.
Sorry, aber solch ein Fehler lässt mich sehr daran zweifeln, dass diese Daten einem Statistiker vorgelegt wurden, wie er Levy et al. sicherlich zur Verfügung gestanden hätte. Und das wiederum gibt mir Anlass zur Frage, wieviel von der Statistik sonst sauber ist.
6)
Zitat von Levy et al.If an individual’s age stereotypes increased in positivity by two standard deviations on the age-stereotype scale, this would lead to an 80% reduction in the risk of experiencing a cardiovascular event.
Diese Aussage muss man sich einmal auf der Zunge zergehen lassen. Ich habe keine Ahnung, wie stark sich Rauchen oder der BMI auf das Risiko einer Herzattacke auswirken, aber ich glaube kaum, dass Raucher ein fünffach erhöhtes Risiko haben (das entspricht einer Reduktion um 80% des Risikos, wenn man mit dem Rauchen aufhört). Und außerdem kann ich mir nicht vorstellen, dass Stereotype noch stärker mit diesen Risiken korrelieren als bekannte gesundheitliche Risikofaktoren.
Zitat von Levy et al.This finding suggests that programs aimed at reducing the negative age stereotypes of younger individuals could benefit their cardiovascular health when they become older individuals.
Und da (wie schon im vorherigen Zitat) geraten Korrelation und Verursachung durcheinander.
Zusammenfassend finde ich, wie gesagt, den Artikel gar nicht falsch. Nichtsdestoweniger bin ich nicht glücklich, dass er in dieser Form publiziert wurde. Und besonders unschön finde ich, dass ich die Statistik nicht selbst verifizieren kann, weil weder die Rohdaten noch die Auswertung vorliegen, aber das hatte ich schon in einem anderen Thread und weiter oben angemerkt (oben dachte ich noch, die Baltimore Longitudinal Study hätte alle Daten online zugänglich gemacht, aber die kardiovaskulären Daten scheinen da nicht dabei zu sein).
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
Noch etwas zum Zusammenhang von Korrelation und Ursache-Wirkung: http://xkcd.com/552/
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
Bitte beachten Sie diese Forumsregeln: Beiträge, die persönliche Angriffe gegen andere Poster, Unhöflichkeiten oder vulgäre Ausdrücke enthalten, sind nicht erlaubt; ebensowenig Beiträge mit rassistischem, fremdenfeindlichem oder obszönem Inhalt und Äußerungen gegen den demokratischen Rechtsstaat sowie Beiträge, die gegen gesetzliche Bestimmungen verstoßen. Hierzu gehört auch das Verbot von Vollzitaten, wie es durch die aktuelle Rechtsprechung festgelegt ist. Erlaubt ist lediglich das Zitieren weniger Sätze oder kurzer Absätze aus einem durch Copyright geschützten Dokument; und dies nur dann, wenn diese Zitate in einen argumentativen Kontext eingebunden sind. Bilder und Texte dürfen nur hochgeladen werden, wenn sie copyrightfrei sind oder das Copyright bei dem Mitglied liegt, das sie hochlädt. Bitte geben Sie das bei dem hochgeladenen Bild oder Text an. Links können zu einzelnen Artikeln, Abbildungen oder Beiträgen gesetzt werden, aber nicht zur Homepage von Foren, Zeitschriften usw. Bei einem Verstoß wird der betreffende Beitrag gelöscht oder redigiert. Bei einem massiven oder bei wiederholtem Verstoß endet die Mitgliedschaft. Eigene Beiträge dürfen nachträglich in Bezug auf Tippfehler oder stilistisch überarbeitet, aber nicht in ihrer Substanz verändert oder gelöscht werden. Nachträgliche Zusätze, die über derartige orthographische oder stilistische Korrekturen hinausgehen, müssen durch "Edit", "Nachtrag" o.ä. gekennzeichnet werden. Ferner gehört das Einverständnis mit der hier dargelegten Datenschutzerklärung zu den Forumsregeln.
Sie sind vermutlich noch nicht im Forum angemeldet - Klicken Sie hier um sich kostenlos anzumelden
Offline
- in allem zu. 
