McCullough und McKitrick haben beim Fraser Institute ein sehr schönes Papier zu Replizierbarkeit veröffentlicht. Darin gehen sie ausführlich darauf ein, dass in den letzten Jahren einige wissenschaftliche Arbeiten zu so unterschiedlichen Themen wie Mikroökonomie, Klimawandel, Geschichtswissenschaften und Medizin mit aufsehenerregenden Ergebnissen nicht repliziert werden konnten, weil die Autoren Daten und/oder Auswertungsprogramme nicht offenlegten.
Zitat von McCullough & McKitrickEmpirical research in academic journals is often cited as the basis for public policy decisions, in part because people think that the journals have checked the accuracy of the research. Yet such work is rarely subjected to independent checks for accuracy during the peer review process, and the data and computational methods are so seldom disclosed that post-publication verification is equally rare. ... Non-disclosure of essential research materials may have deleterious scientific consequences, but our concern herein is something different: the possible negative effects on public policy formation.
Zu den Autoren: McCullough amüsiert sich normalerweise damit, die Schwächen bekannter statistischer Programme aufzudecken - z.B. gibt er regelmäßig die falschen Algorithmen in Excel der Lächerlichkeit preis. McKitrick machte seinerzeit mit McIntyre auf die Probleme in Manns Hockey Stick in der Klimaforschung aufmerksam.
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
Zitat von McCullough & McKitrickYet such work is rarely subjected to independent checks for accuracy during the peer review process, and the data and computational methods are so seldom disclosed that post-publication verification is equally rare.
Ich halte, lieber Gorgasal, diese Art der Verifikation für nachgerade unmöglich.
Man kann als Referee nur beurteilen, ob das, was in einem Ms angegeben wird, methodisch einwandfrei, schlüssig argumentiert usw. ist.
Ob die Rohdaten in Ordnung sind - wie will man das beurteilen? Kein Ms kann die Rohdaten enthalten; also Tausende, vielleicht Zehntausende einzelner Messungen, auf denen die Kennwerte basieren, die mitgeteilt werden. Ebenso kann man nur prüfen, ob die angegebenen statistischen Tests angemessen sind; ob zB die Voraussetzungen für sie erfüllt sind. Aber man kann nicht prüfen, ob nicht vielleicht ein Rechenfehler vorliegt.
Ich halte das auch gar nicht für erforderlich. Auch und gerade für eine Replikation braucht man in der Regel diese Einzelheiten nicht zu kennen. Denn daß Daten replizierbar sind, bedeutet ja vor allem, daß sie hinreichend robust für eine erfolgreiche Replikation sind. Mit anderen Worten, daß sie von den relevanten, den im Experiment manipulierten Faktoren abhängen und nicht davon, daß man einen Apparat X statt der Konkurrrenzmarke y verwendet oder daß man das Experiment mit den Versuchstieren aus Zucht A statt aus der Zucht B durchgeführt hat.
Replizieren heißt also - nach meinem Verständnis - daß man ein Experiment gerade unter etwas anderen Bedingungen wiederholt und trotzdem das prinzipiell selbe Resultat erhält.
Erst wenn Daten in diesem Sinn nicht replizierbar sind, kann es erforderlich sein, die Rohdaten des ursprünglichen Experiments anzufordern und ggf. sogar das Labor zu inspizieren, wie das im Fall Benveniste geschehen ist.
Eine andere Frage ist es, ob im Zeitalter der unbegrenzten Kommunikation nicht Datenbanken angelegt werden sollten, an die jeder, der etwas publiziert, seine Rohdaten schickt. Das wäre zum Beispiel für Metaanalysen sehr hilfreich.
Zitat von McCullough & McKitrickYet such work is rarely subjected to independent checks for accuracy during the peer review process, and the data and computational methods are so seldom disclosed that post-publication verification is equally rare.
Ich halte, lieber Gorgasal, diese Art der Verifikation für nachgerade unmöglich.
Man kann als Referee nur beurteilen, ob das, was in einem Ms angegeben wird, methodisch einwandfrei, schlüssig argumentiert usw. ist.
Das stimmt. Problematisch wird es, wenn der Nicht-Wissenschaftler der Meinung ist, Peer Review sei genau so eine Verifikation. Und diese Meinung scheint doch verbreitet zu sein (steckt in dem Paper, ich finde es gerade nicht).
Zitat von ZettelOb die Rohdaten in Ordnung sind - wie will man das beurteilen? Kein Ms kann die Rohdaten enthalten; also Tausende, vielleicht Zehntausende einzelner Messungen, auf denen die Kennwerte basieren, die mitgeteilt werden. Ebenso kann man nur prüfen, ob die angegebenen statistischen Tests angemessen sind; ob zB die Voraussetzungen für sie erfüllt sind. Aber man kann nicht prüfen, ob nicht vielleicht ein Rechenfehler vorliegt.
In gewissem Sinne haben Sie recht, in anderem will ich Ihnen widersprechen.
Erst der Widerspruch : es ist ohne Probleme möglich, a) die Rohdaten (als txt- oder csv-Datei) sowie b) die Auswertung (als SAS-, SPSS- oder am besten R-Skript) mit einzureichen. Wenn man dann noch die Version des verwendeten Statistikprogramms kennt und ggfs. bei randomisierten Analysen den Saatwert des Zufallszahlengenerators im Skript festlegt, dann wird man bei jedem Durchlauf die Ergebnisse replizieren. Und wenn das Skript dann die Ergebnisse (und nur die Ergebnisse) ausgibt, die man in seinen Artikel hineingeschrieben hat, dann kann jeder, der Skript und Daten hat, die Angemessenheit der statistischen Analyse überprüfen.
Das ist für mich Replizierbarkeit, und das sollte Standard sein. Ist es aber leider nicht.
Und wenn ich lese, dass Mann (Mr. Hockey Stick) mal eben seine eigene PCA programmiert hat und dass viele seiner Ergebnisse sich mit einer richtigen PCA-Implementierung in Luft auflösen, dann rollen sich mir die Zehennägel hoch. Und genau solche extremen Verstöße gegen gute wissenschaftliche Praxis findet man um Größenordnungen leichter, wenn die Auswertungsskripte vorliegen.
Es geht auch noch besser: ich habe unlängst ein Manuskript als Sweave-Paket eingereicht. Dort ist nicht nur die Analyse replizierbar, sondern die Analyse und die Manuskripterstellung in LaTeX erfolgt in einem Schritt. Keine Übertragungsfehler mehr. Und jeder ausgeschlossene Datenpunkt, jede Eigenbau-PCA kann hinterfragt werden. Das ist nicht schwierig und hängt letztendlich nur davon ab, dass der Editor seine Autoren ausreichend piesackt.
Und meine Übereinstimmung mit Ihnen: natürlich kann das statistische Programm Fehler enthalten, davor ist man als Wissenschaftler nie gefeit (auch wenn viele Wissenschaftler diese Möglichkeit gar nicht in Erwägung ziehen). Oder R und SAS geben unterschiedliche Ergebnisse aus, weil sie beim REML in unterschiedlichen lokalen Maxima ankommen. Deswegen sollte man die verwendete Version des Programms angeben.
Zitat von ZettelIch halte das auch gar nicht für erforderlich. Auch und gerade für eine Replikation braucht man in der Regel diese Einzelheiten nicht zu kennen. Denn daß Daten replizierbar sind, bedeutet ja vor allem, daß sie hinreichend robust für eine erfolgreiche Replikation sind. Mit anderen Worten, daß sie von den relevanten, den im Experiment manipulierten Faktoren abhängen und nicht davon, daß man einen Apparat X statt der Konkurrrenzmarke y verwendet oder daß man das Experiment mit den Versuchstieren aus Zucht A statt aus der Zucht B durchgeführt hat.
Replizieren heißt also - nach meinem Verständnis - daß man ein Experiment gerade unter etwas anderen Bedingungen wiederholt und trotzdem das prinzipiell selbe Resultat erhält.
Da haben Sie idealerweise Recht. Und auf diese "normale" Vorgehensweise weisen die Autoren hier auch hin. Aber: in dem Artikel geht es insbesondere um Wissenschaft, die Auswirkungen auf Politik hat. Und da führen die Autoren mehrere Beispiele an, wo der normale Prozess der Replikation mit neuen Daten einfach zu langsam ist. Drei Jahre nach einem aufsehenerregenden Artikel über Luftverschmutzung werden mit explizitem Verweis auf eben diesen Artikel neue Grenzwerte eingeführt, noch einmal drei Jahre später stellt sich heraus, dass der ursprüngliche Artikel nur einen kleinen Teil der Realität abbildete. Der Prozess war zu langsam. Hätten die ursprünglichen Autoren Daten und Skripte veröffentlicht, dann hätte nach einem Jahr ein Professor einen Diplomanden darauf angesetzt, und der hätte die Analyse zerschossen.
Und das alles wird noch verschärft dadurch, dass in vielen Disziplinen reine Replikationen kaum publizierbar sind ("gibt's doch schon"), Nicht-Replikationen noch schwieriger sind und dass man für Replikationen kaum Mittel bekommt - die Replikation muss immer im Rahmen neuer Forschung stattfinden und steht dann eben nicht im Fokus.
Zitat von ZettelEine andere Frage ist es, ob im Zeitalter der unbegrenzten Kommunikation nicht Datenbanken angelegt werden sollten, an die jeder, der etwas publiziert, seine Rohdaten schickt. Das wäre zum Beispiel für Metaanalysen sehr hilfreich.
Ganz genau, aber eben nicht nur Rohdaten, sondern auch Auswertungsskripte.
-- Ultramontan – dies Wort beschreibt vorzüglich die katholische Mentalität: mit einem kleinen Teil des Bewusstseins nicht Deutscher, nicht Zeitgenosse, nicht Erdenbürger zu sein. - Martin Mosebach, Spiegel 7/2009
Zitat von McCullough & McKitrickYet such work is rarely subjected to independent checks for accuracy during the peer review process, and the data and computational methods are so seldom disclosed that post-publication verification is equally rare.
Ich halte, lieber Gorgasal, diese Art der Verifikation für nachgerade unmöglich. Man kann als Referee nur beurteilen, ob das, was in einem Ms angegeben wird, methodisch einwandfrei, schlüssig argumentiert usw. ist.
Das stimmt. Problematisch wird es, wenn der Nicht-Wissenschaftler der Meinung ist, Peer Review sei genau so eine Verifikation. Und diese Meinung scheint doch verbreitet zu sein (steckt in dem Paper, ich finde es gerade nicht).
Ja, leider. Vor allem aber haben nach meiner Erfahrung Nichtwissenschaftler (Nicht- Naturwissenschaftler, genauer gesagt) kein Verständnis dafür, daß eine einzige Untersuchung aus einem einzigen Labor grundsätzlich nichts besagt.
Ich pflege das den Studenten mit der Formel einzubimsen: "Ein Experiment ist kein Experiment". Keine einzelne Untersuchung, wenn auch noch so sorgfältig durchgeführt, ist sicher vor Artefakten. Jedes Experiment muß xfach repliziert werden, bis man den Daten trauen kann. Und zwar in verschiedenen Labors, unter möglichst unterschiedlichen Rahmenbedingungen.
Zitat von Gorgasales ist ohne Probleme möglich, a) die Rohdaten (als txt- oder csv-Datei) sowie b) die Auswertung (als SAS-, SPSS- oder am besten R-Skript) mit einzureichen. Wenn man dann noch die Version des verwendeten Statistikprogramms kennt und ggfs. bei randomisierten Analysen den Saatwert des Zufallszahlengenerators im Skript festlegt, dann wird man bei jedem Durchlauf die Ergebnisse replizieren. Und wenn das Skript dann die Ergebnisse (und nur die Ergebnisse) ausgibt, die man in seinen Artikel hineingeschrieben hat, dann kann jeder, der Skript und Daten hat, die Angemessenheit der statistischen Analyse überprüfen. Das ist für mich Replizierbarkeit, und das sollte Standard sein. Ist es aber leider nicht.
Ja, das geht heute alles, lieber Gorgasal, und ich habe es ja am Ende meines Beitrags auch befürwortet.
Nur bin ich wissenschaftlich anders sozialisiert. Die Daten für meine Diss habe ich aufgehoben, das sind ungefähr ein Dutzend Leitz-Ordner.
Jeder Meßwert wurde vom Display abgelesen und in eine Liste eingetragen. Da die Bedingungen natürlich randomisiert oder balanciert waren, mußten diese chronologisch aufgeschriebenen Daten anschließend den jeweiligen Bedingungen zugeordnet werden. Das war eine Heidenarbeit, weil für jedes Experiment eine andere Zufallsfolge verwendet wurde, entnommen einer Table of Random Numbers.
Die so geordneten Daten wurden dann abgelocht und wanderten ins Rechenzentrum. Da dauerte es ein paar Tage, bis man die Ergebnisse bekam. Man guckte alle paar Stunden in sein Fach, ob schon der Packen des am Rand perforierten Papiers da war.
Tja, so war das damals, some forty years back. *nostalgischguck*.
Zitat von GorgasalAber: in dem Artikel geht es insbesondere um Wissenschaft, die Auswirkungen auf Politik hat. Und da führen die Autoren mehrere Beispiele an, wo der normale Prozess der Replikation mit neuen Daten einfach zu langsam ist. Drei Jahre nach einem aufsehenerregenden Artikel über Luftverschmutzung werden mit explizitem Verweis auf eben diesen Artikel neue Grenzwerte eingeführt, noch einmal drei Jahre später stellt sich heraus, dass der ursprüngliche Artikel nur einen kleinen Teil der Realität abbildete. Der Prozess war zu langsam.
Aufgrund eines einzigen Artikels irgendwelche gesetzlichen Bestimmungen zu ändern ist meines Erachtens unverantwortlich.
Zitat von GorgasalUnd das alles wird noch verschärft dadurch, dass in vielen Disziplinen reine Replikationen kaum publizierbar sind ("gibt's doch schon"), Nicht-Replikationen noch schwieriger sind und dass man für Replikationen kaum Mittel bekommt - die Replikation muss immer im Rahmen neuer Forschung stattfinden und steht dann eben nicht im Fokus.
Aber sie muß stattfinden.
Wenn etwas Interessantes publiziet wird, dann stürzen sich doch meist andere Gruppen darauf, die am selben Thema arbeiten. Sei es, um Zweifel anzumelden; sei es, um sich auf einen rollenden Bandwagon zu schwingen und die Sache weiter zu untersuchen.
Vielleicht, lieber Gorgasal, ist es in den einzelnen Disziplinen, vielleicht auch Arbeitsgruppen verschieden; aber in dem Bereich, in dem ich verantwortlich bin, galt immer: Bevor man irgend etwas weiter untersucht, wird erst einmal der Effekt als solcher repliziert. Als "Experiment 1" einer Serie kann man das auch gut publizieren, wenn die Replikation erfolgreich ist. Denn man zeigt damit ja auch, daß man es geschafft hat, im eigenen Labor die Bedingungen herzustellen, unter denen der Effekt funktioniert.
Und wenn die Replikation mißlingt - dann wird es natürlich interessant.
Bitte beachten Sie diese Forumsregeln: Beiträge, die persönliche Angriffe gegen andere Poster, Unhöflichkeiten oder vulgäre Ausdrücke enthalten, sind nicht erlaubt; ebensowenig Beiträge mit rassistischem, fremdenfeindlichem oder obszönem Inhalt und Äußerungen gegen den demokratischen Rechtsstaat sowie Beiträge, die gegen gesetzliche Bestimmungen verstoßen. Hierzu gehört auch das Verbot von Vollzitaten, wie es durch die aktuelle Rechtsprechung festgelegt ist. Erlaubt ist lediglich das Zitieren weniger Sätze oder kurzer Absätze aus einem durch Copyright geschützten Dokument; und dies nur dann, wenn diese Zitate in einen argumentativen Kontext eingebunden sind. Bilder und Texte dürfen nur hochgeladen werden, wenn sie copyrightfrei sind oder das Copyright bei dem Mitglied liegt, das sie hochlädt. Bitte geben Sie das bei dem hochgeladenen Bild oder Text an. Links können zu einzelnen Artikeln, Abbildungen oder Beiträgen gesetzt werden, aber nicht zur Homepage von Foren, Zeitschriften usw. Bei einem Verstoß wird der betreffende Beitrag gelöscht oder redigiert. Bei einem massiven oder bei wiederholtem Verstoß endet die Mitgliedschaft. Eigene Beiträge dürfen nachträglich in Bezug auf Tippfehler oder stilistisch überarbeitet, aber nicht in ihrer Substanz verändert oder gelöscht werden. Nachträgliche Zusätze, die über derartige orthographische oder stilistische Korrekturen hinausgehen, müssen durch "Edit", "Nachtrag" o.ä. gekennzeichnet werden. Ferner gehört das Einverständnis mit der hier dargelegten Datenschutzerklärung zu den Forumsregeln.
Sie sind vermutlich noch nicht im Forum angemeldet - Klicken Sie hier um sich kostenlos anzumelden
Offline
: es ist ohne Probleme möglich, a) die Rohdaten (als txt- oder csv-Datei) sowie b) die Auswertung (als SAS-, SPSS- oder am besten R-Skript) mit einzureichen. Wenn man dann noch die Version des verwendeten Statistikprogramms kennt und ggfs. bei randomisierten Analysen den Saatwert des Zufallszahlengenerators im Skript festlegt, dann wird man bei jedem Durchlauf die Ergebnisse replizieren. Und wenn das Skript dann die Ergebnisse (und nur die Ergebnisse) ausgibt, die man in seinen Artikel hineingeschrieben hat, dann kann jeder, der Skript und Daten hat, die Angemessenheit der statistischen Analyse überprüfen.
