Wie wird das Modell trainiert und getestet? Warum stimmt mein Modell nicht vollständig mit den historischen Daten überein?

Das Modell wird auf einem Trainingsdatensatz aufgebaut oder „trainiert“, der ein Teil des ursprünglichen Datensatzes ist, den Sie auswählen. Kraken teilt Ihren Datensatz automatisch zufällig und führt eine Fünf-Fach-Kreuzvalidierung durch. Vorhersagen werden mit jeder Datenzeile im Testdatensatz gemacht und mit dem tatsächlichen Ergebnis verglichen, wodurch die Genauigkeitsmaße entstehen, mit denen die Modelle bewertet werden. Es mag etwas kontraintuitiv erscheinen, dass das Modell nicht vollständig korrekt gegen die historischen Daten sein kann – schließlich sind diese Ereignisse bereits eingetreten. Alles, was das wirklich bedeutet, ist, dass das Modell nicht mit 100%iger Genauigkeit vorhersagt, sodass einige der „Vorhersagen“ (bei einem historischen Datenpunkt) nicht mit dem übereinstimmen, was tatsächlich passiert ist. Dies ist nicht unbedingt eine schlechte Sache; tatsächlich sollte jedes Modell, das mit 100%iger Genauigkeit gegen den Testdatensatz vorhersagt, zumindest weiter untersucht werden, um zu sehen, ob Überanpassung oder andere Fehler auftreten könnten.