Nee Gorgasal, so ganz stimmt das nicht. Also diese ARIMA-Zeitreihenmodelle und Algorithmen, die betrachten die vorliegende Zeitreihe erstmal als repräsentative Antwort eines Systems auf zufälliges, weißes Rauschen. Und unter dieser Prämisse versuchen sie, das Systemverhalten durch eine Kombination von Differenzialgleichungen (AR), Integrationsgliedern (I) und Mittelwertbildnern (MA) zu approximieren.

Wir können das ja mal anschaulicher beschreiben. Diese Systembausteine mit ihren Parametern spannen einen mehrdimensionalen Raum aus möglichen Systemparametern auf. Jetzt testen wir diesen Raum mal probeweise durch, nehmen einen Parametersatz an und führen eine Rücktransformation der beobachteten Zeitreihe zum Eingangssignal durch. Das ist das Rauschen, was nötig gewesen wäre, um bei diesen Systemparametern das beobachtete Ausgangssignal zu erzeugen.
Und dieses Rauschen, diese Zufallsreihe gucken wir uns dann mal an, ob sie wirklich normalverteilt ist und gleiche Streuung hat, wirklich ein weißes Spektrum hat, wirklich einen Mittelwert von etwa Null usw.

Ist das nicht der Fall, so erachten wir es als entsprechend unwahrscheinlich, daß ein idealer Zufallsprozeß ausgerechnet so systematische Abweichungen produzierte. Bzw wir schließen, da wir ja von einem idealen Eingangsrauschen ausgehen, darauf, daß die gewählten Systemparameter wohl mit hoher Wahrscheinlichkeit falsch sein dürften.

Auf diese Weise können wir den ganzen Parameterraum abpfüfen und jeder Systemparameterkonstellation eine Wahrscheinlichkeit/Plausibilität zuweisen und uns so an die besten/wahrscheinlichsten Parameter herantasten.

Aaaber ... Unser Prüfalgorithmus bewertet die Wahrscheinlichkeit, daß eine lange Reihe zufälliger Werte einen systematischen Trend ausweist, als sehr, sehr gering. Bzw. er nimmt im Umkehrschluß an, ein Modell, was das voraussetzt, sei todsicher falsch. Er hält es für viel wahrscheinlicher, daß ein paar wenige Werte der Reihe zufällig nach oben abgekommen sind und daß das System integrierendes Verhalten aufweist und sich diese Störungen und die neue Ausgangslage halt dauerhaft gemerkt hat. Nachdem der Prüfalgorithmus dieses nichtstationäre Verhalten halbwegs plausibel erklärt hat, ordnet er ihm alle anderen Parameter mit Hängen und Würgen unter. Zurück bleibt ein Modell, was das größte Problem - wie aus rein zufälligen, ungerichteten Zufallsdaten dennoch ein starker Trend entstehen kann - eben so lala halbwegs plausibel erklärt und alles andere spielt dann keine große Rolle mehr und ist mit entsprechend großen Unsicherheiten behaftet. Und dieses Modell ist zudem auch noch eindeutig physikalisch grundfalsch, wie wir wissen.

Üblicherweise geht man deshalb so vor, daß man den Algorithmus von dem Hauptproblem, wie bloß aus Zufall deutliche Richtung entstehen soll, entlastet und guckt, ob man dann bessere Vorhersagen erhält. MaW: Man subtrahiert den Trend von der Zeitreihe und bietet dem Algorithmus die detrendete Zeitreihe (Residuen) an, auf daß er sie mit einem Modell möglichst gut erkläre. Zu den so gewonnenen, stationären Vorhersagen addiert man dann am Ende den Trend wieder dazu und erhält die eigentliche Prognose.

Zitat

---

Wir wissen aber, daß sich die Temperatur der Erde nicht instationär verhalten kann, sonst wäre das hier schon nach wenigen tausend Jahren ein lebensfeindlicher Planet. Außerdem sagt die Physik, daß ein wärmerer Körper mehr Energie abstrahlt, sogar überproportional mehr - dh die Temperatur kann nicht so einfach beliebig 'herumwandern', wie es Ihr integratives Modell nahelegt.

Zitat

---

Ja, Sie haben natürlich völlig recht!

---

---

Verstehe ich nicht. Die Temperatur der Erde ist natürlich instationär in gewissen Grenzen die im wesentlichen von dem Abstand Erde-Sonne und der Existenz einer irgendwie gearteten Atmosphäre geschuldet sind. Es ist also mitnichten so, daß die Annahme instationären Verhaltens physikalischem Wissen zuwiderläuft.

Zitat

---

Diese Systembausteine mit ihren Parametern spannen einen mehrdimensionalen Raum aus möglichen Systemparametern auf. Jetzt testen wir diesen Raum mal probeweise durch, nehmen einen Parametersatz an und führen eine Rücktransformation der beobachteten Zeitreihe zum Eingangssignal durch. Das ist das Rauschen, was nötig gewesen wäre, um bei diesen Systemparametern das beobachtete Ausgangssignal zu erzeugen.
Und dieses Rauschen, diese Zufallsreihe gucken wir uns dann mal an, ob sie wirklich normalverteilt ist und gleiche Streuung hat, wirklich ein weißes Spektrum hat, wirklich einen Mittelwert von etwa Null usw.

---

Das ist wirklich exzellent erklärt. Und ab hier verstehe ich Ihre weiteren Einwände überhaupt nicht mehr. Denn wenn der Algorithmus solange nach AR-I-MA-Tripeln sucht, bis die entstandenen Residuen normalverteilt sind, ist das exakt was wir wollen. Wenn ich eine verrrauschte Aufwärtskurve vor mir habe, wird ein Aufwärtsmodell wohl deutlich normalverteiltere Residuen produzieren als ein lineares Modell mit Anstieg 0. Oder wo bin ich hier falsch abgebogen?

Zitat von Gorgasal

---

Klarheit darüber, welches Modell besser ist, kann deswegen nur ein echter out-of-sample forecast bieten - also heute eine Prognose für den Zeitraum Februar 2010 bis Januar 2020 (10 Jahre sollten es schon sein). Aber die können wir erst 2020 auswerten - wir wissen also immer nur etwas über die Qualität von Modellen, die vor zehn Jahren gebaut wurden. Wir hinken immer hinterher.

Warum können wir uns nicht einfach 10 Jahre zurückversetzen, so tun, als wären wir im Jahr 1999, eine Prognose für 2000 bis 2009 rechnen und die dann mit den echten Daten vergleichen? Natürlich können wir das explorativ machen, und das kann ganz erleuchtend sein. Aber statistisch taugt das nichts, weil wir ja das Modell so lange tunen werden, bis es gute Prognosen liefert - und damit ist es keine echte out of sample-Prognose mehr, wir haben die Echtdaten letztendlich in den Modellbau einbezogen! Das ist wieder Overfitting, und die Prognosequalität eines so gebauten Modelle für tatsächlich neue Daten wird immer schlechter sein als was wir uns aufgrund der Prognosequalität 2000-2009 erwarten.

---

Die Zukunft ist der härteste Test für Prognosen, wie das Sprichwort sagt, das sehe ich ein. Aber kann man nicht auch zweitbestens in die Weite der Vergangenheit gehen? Ich meine das so (und wenn das jetzt allzu naiv gedacht ist, dann genügt mir auch der Verweis auf die Einführungen, die Sie genannt haben, als Antwort): angenommen, ich habe eine Anzahl von Daten und setze nach Augenschein auf einen linearen Trend; dann bestimme ich die Parameter der bestangepassten Geraden. Und nun werden aus der gesamten Datenmenge zufällig Teilmengen ausgewählt, in der Größe sagen wir mal zwischen 1/3 und 2/3 der Datenmenge. Man würde hoffen, daß die bestangepasste Gerade bei diesen Teilmengen so ähnliche Parameter hat wie jene, die sich aus der ganzen Datenmenge ergeben haben. Falls nicht, ist vermutlich etwas faul.

Läßt sich auf diese Weise nicht allgemein dem Overfitting beikommen? Hat z.B. jemand ein Modell vorgelegt, das allen Irrungen und Wirrungen der Daten treulich folgt, und läßt man nun ein bis zwei Drittel der Daten zufällig weg, dann haben die Zacken und Ausschläge ein anderes Muster, und es würden sich beim gleichen Modellansatz im Fall des Overfitting vermutlich ganz andere Parameter ergeben. Nun kann man aber diese Teilmengen in den Modellbau unmöglich einbeziehen, weil es zu viele davon gibt. Aus den 360 Daten in dem Temperaturbeispiel lassen sich immerhin 2,3*10^108 Teilmengen zwischen 120 und 240 Elementen auswählen. Die überblickt so leicht kein Mensch, und die meisten davon müssten doch das Overfitting auffliegen lassen! Ein Modell hingegen, welches das tatsächliche Naturgesetz erfasst, das hinter den Daten steht, würde das nicht mit den meisten Teildatenmengen zurechtkommen - und dann natürlich auch gute Prognosen liefern?

Herzliche Grüße,
Kallias

@Diskus

Zunächst muß ich mich offen des milden Schummelns für schuldig bekennen. Der Algorithmus, wie ich ihn vorgestellt habe, mag zwar verständlich und prinzipiell funktionsfähig sein, aber er wäre mit seinem blinden Trial-an-Error-Prinzip hoffnungslos uneffektiv. In der Praxis benutzt man daher die Prämisse, es handele sich beim Eingangssignal eben um weißes Rauschen und gewisse anspruchsvollere statistische Analysen dazu, diesen aufwendigen Weg des blinden Ausprobierens und Durchtestens abzukürzen.

Nun zu Ihren Einwänden und Problemen:

Zitat

---

Verstehe ich nicht. Die Temperatur der Erde ist natürlich instationär in gewissen Grenzen die im wesentlichen von dem Abstand Erde-Sonne und der Existenz einer irgendwie gearteten Atmosphäre geschuldet sind. Es ist also mitnichten so, daß die Annahme instationären Verhaltens physikalischem Wissen zuwiderläuft.

---

Nochmal: Diese Modelle gehen davon aus, daß der Verlauf der untersuchten Zeitreihe die Systemantwort auf ein rein zufälliges Eingangssignal ist. Unter dieser Prämisse suchen sie die Kombination aus AR-, I-, MA-Systemkomponenten, die den beobachteten Verlauf am ehesten aus einem Zufallssignal erzeugt haben könnte.

Wenn Sie jetzt sagen, es gäbe gewisse Grenzen für die Temperatur, dann führt das zu folgendem Problem: Ist eine solche Grenze erreicht und darf nicht über-/unterschritten werden, dann darf im nächsten Zeitschritt die anregende Funktion nicht völlig zufällig in die verbotene Richtung gehen. Und das wiederspricht wiederum der Modellannahme, die anregende Funktion sei stets rein zufälliger Natur.

Zitat

---

Und ab hier verstehe ich Ihre weiteren Einwände überhaupt nicht mehr. Denn wenn der Algorithmus solange nach AR-I-MA-Tripeln sucht, bis die entstandenen Residuen normalverteilt sind, ist das exakt was wir wollen. Wenn ich eine verrrauschte Aufwärtskurve vor mir habe, wird ein Aufwärtsmodell wohl deutlich normalverteiltere Residuen produzieren als ein lineares Modell mit Anstieg 0. Oder wo bin ich hier falsch abgebogen?

---

Tja, bei einem rein zufälligen Anregungssignal sollte das abhängige Modell-Ausgangssignal eigentlich keinerlei besondere Richtungspräferenz aufweisen - das ist ja das Problem des Modells in diesem Fall. Der Suchalgorithmus sucht also nach der am wenigsten unwahrscheinlichen Erklärung dafür. Im stationären Raum (I=0) findet er keine begriedigende Erklärung, also muß er davon ausgehen, das das System gar keine bevorzugte Gleichgewichtslage kennt und zufällig vielleicht mal 3, 4, 5 Schritte in eine bestimmte Richtung gemacht hat (griffig ausgedrückt). Das ist als Erklärung zwar nicht das Gelbe vom Ei, aber immer noch deutlich plausibler als die Annahme, sämtliche Zufallswerte des Eingangssignals seien rein zufällig bevorzugt in eine bestimmte Richtung weggedriftet.

Damit der Optimierungsalgorithmus nicht gezwungen ist, das ganze Modell unter dieser Prämisse zurechtzuvergewaltigen, entbindet man ihn üblicherweise von dem Zwang, das Unerklärliche möglichst plausibel erklären zu müssen und verfährt eben wie zuvor beschrieben.

Kallias,

was Sie da beschreiben, das bezeichnet man neusprachlich als 'jackknife'. Die Grundidee: Man schaut, wie robust das Resultat ist, wenn man dem Modell einen (zufälligen) Teil der Informationen vorenthält.

Zitat von wflamme

---

was Sie da beschreiben, das bezeichnet man neusprachlich als 'jackknife'. Die Grundidee: Man schaut, wie robust das Resultat ist, wenn man dem Modell einen (zufälligen) Teil der Informationen vorenthält.

---

Danke für den Hinweis! Inzwischen habe ich entdeckt, daß die Wikipedia recht verständliche Erläuterungen des Problems bietet. Dem, was mir vage vorschwebte, dürfte auch "repeated random sub-sampling validation" im Rahm der Kreuzvalidierung [en.wikipedia.org/wiki/Cross-validation_(statistics)] nahe kommen.

Herzliche Grüße,
Kallias