Wie wir (künftig) die Prognosegüte ermitteln...

posts 1 - 4 by 4
  • Wie wir (künftig) die Prognosegüte ermitteln...

    Wahlfieber Team, 01.06.2021 05:50
    #1

    Die im Folgenden beschriebenen Regeln gelten vorerst für alle Wahlauswertungen ab dem Jahr 2021.

    ******

    Die Güte einer Prognose wird in zwei Schritten ermittelt:

    1. In einem ersten Schritt werden für jede abgegebene Prognose folgende Abweichungsfehler berechnet:

    Hierbei handelt es sich um drei gängige und wissenschaftlich anerkannte Methoden, um die Fehler einer Prognose zu bestimmen. Je geringer der jeweilige Fehler ausfällt desto genauer ist eine Prognose.

    In der Praxis stellt man jedoch schnell fest, dass die Reihenfolge bei den drei Berechnungen sehr unterschiedlich ausfallen kann. Eine Einzelbetrachtung der jeweiligen Fehlerberechnungen erscheint somit nicht sinnvoll, erst in Summe ergibt sich ein klareres Bild darüber, welche Prognose wirklich die Beste gewesen ist.

    Allerdings sagt auch die Zusammenführung von MAF, MAPF und MQF am Ende nur wenig darüber aus, wie "gut" oder genau die jeweiligen Prognosen wirklich sind. Sie gibt lediglich eine Reihenfolge wieder.

    Es bedarf daher weiterer Auswertungen ...

    2. Bei der Ermittlung der eigentlichen Prognosegüte war uns wichtig, dass das Endresultat einfach zu berechnen, somit leicht nachvollziehbar und gleichsam einleuchtend ist.

    Vorbemerkungen:

    Wir haben daher versucht, ein Ergebnis zu kreieren, dass sich an den gängigen Schulnoten orientiert. (von 1 = sehr gut bis hin zu 6 = ungenügend), damit man selbst auf den flüchtigen Blick sofort erkennt, welche Prognose (sehr) gut und welche Prognose eher schlecht ist.

    Uns ist sehr wohl bewusst, dass es unmöglich ist, eine Skala zu kreieren, die exakt bei 6 endet. Es wird immer Prognosen geben, die einen Wert über 6 erreichen. "Ungenügend" mag den Bodensatz markieren, aber gekanntlich ist auch bei "Six feet under" längst nicht Schluss. - Wenigstens kann die Kehrseite klar umschrieben werden: Denn im Idealfall tendieren alle unter 1. angeführten Fehlerberechnugnen gen 0.

    Uns ist weiterhin bewusst, dass die Prognosegüte als solche nicht wirklich exakt bestimmt werden kann - nicht zuletzt, weil beispielsweise ein "sehr gut" nicht eindeutig definiert ist. Aber: Man sollte zumindest versuchen, sich einem solchen Ergebnis anzunähern, und sei es auch nur, weil einem das Gefühl oder jahrelange Erfahrung sagen: Das dürfte passen. (Das ist sicher keine exakte Wissenschaft - deren Bedürfnisse wurden bereits unter 1. Rechnung getragen -, aber der Versuch einer konkreten Annäherung)

    Lösung:

    Um die Güte einer Prognose zu ermitteln, werden folgende Rechenschritte angewandt:

    • die drei Abweichungsfehler (MAF, MAPF, MQF) werden erneut gemittelt
    • aus dem neuen Mittel wird die Wurzel gezogen - Ausnahme: Liegt der Wert des neuen Mittels bereits unter 1, wird quadriert.

    Diese Lösung ist zunächst als Vorschlag zu verstehen, der in der Praxis weiter überprüft werden muss. Die Auswertung des uns vorliegenden Datenmaterials aus Wahlen der Jahre 2019 und 2020 stimmt optimistisch, dass die Berechnung "Sinn" macht. Dennoch sind Korrekturen und Verbesserungen nicht auszuschließen.

    **********

    Die neue Prognosegüte wird erstmalig dargestellt für die drei deutschen Landtagswahlen im Frühjahr 2021: Baden-Württemberg, Rheinland-Pfalz und Sachsen-Anhalt.

    **********

    **********

    Das Nachfolgende wird wieder gelöscht:

    Die Online-Stellung der Auswertung für die drei genannten Landtagswahlen wird im Laufe des Juni 2021 erfolgen. Es bedarf weiterer Anpassungen in den mittlerweile sehr umfangreichen Excel-Tabellen. (vor allem aber deren Überprüfung auf mögliche Fehler, die sich unbemerkt eingeschlichen haben könnten)

  • Wie wir (künftig) die Prognosegüte ermitteln... Beispiele

    gruener (Luddit), 02.06.2021 04:34, Reply to #1
    #2

    ich werde die neue Berechnungsmethode anhand zweier Beispiele erläutern, damit sie anschaulicher wird.

    **********

    Dabei vergleiche ich für die Landtagswahlen in Baden-Württemberg und Rheinland-Pfalz die Prognose von Wahlfieber (offener Markt) mit der Prognose von Infratest Dimag.

    ***********

    Landtagswahl in Baden-Württemberg 2021

    1. die Prognose


    GrüneCDUAfDSPDFDPLinke
    Andere
    Ergebnis 202132,6424,059,7411,0210,463,57
    8,52









    Wahlfieber - Schlusskurs33,4323,5011,4410,1610,913,30
    7,26









    Infratest Dimag
    33,0025,0012,0010,0010,004,00

    6,00

    2. die Auswertung

    ...MAFMAPFMQFMittelWurzelPrognosegüte
    aus Mittel
    Wahlfieber0,848,090,923,841,811,81
    Infratest Dimag1,1411,931,995,022,242,24

    Landtagswahl in Rheinland-Pfalz 2021

    1. die Prognose


    SPDCDUAfDFDP
    GrümeLinkeFreie W.
    Andere
    Ergebnis 202135,7127,678,28
    5,529,302,495,36
    5,67









    Wahlfieber - Schlusskurs32,7727,619,39
    6,90
    10,45
    2,85
    4,91
    5,12









    Infratest Dimag
    30,0028,009,009,0012,003,00
    5,00
    4,00

    2. die Auswertung

    ...MAFMAPFMQFMittelWurzelPrognosegüte
    aus Mittel
    Wahlfieber1,0011,47
    1,72
    4,732,17
    2,17
    Infratest Dimag1,9421,836,98
    10,16
    3,19
    3,19

    **************

    **************

    Ich denke, man erkennt sehr schnell, dass sich aus den isolierten Werten der drei Abweichungsfehler kein schneller Rückschluss auf die endgültige Prognosegüte ziehen lässt. Erst nach dem Mitteln der drei Werte und deren Wurzel wird daraus irgendwie ein Schuh.

    Jedoch missfällt mir ein wenig, dass die signifikant schlechtere Prognose von Infratest Dimag für Rheinland-Pfalz immer noch fast eine glatte "Drei" bekommt. Infratest hätte, da mehr als doppelt so schlecht, eigentlich eine 4 vor dem Komma verdient...

  • RE: Wie wir (künftig) die Prognosegüte ermitteln... Beispiele

    SeppH (!), 03.06.2021 02:08, Reply to #2
    #3

    Das Beispiel zeigt ein zentrales Problem auf, und zwar geht der MAPF viel stärker in das Endergebnis ein als der MAF. Sollte man die drei Kennzahlen nicht standardisieren, bevor man sie addiert?

  • RE: Wie wir (künftig) die Prognosegüte ermitteln... Beispiele

    gruener (Luddit), 03.06.2021 02:16, Reply to #3
    #4

    Das Beispiel zeigt ein zentrales Problem auf, und zwar geht der MAPF viel stärker in das Endergebnis ein als der MAF. Sollte man die drei Kennzahlen nicht standardisieren, bevor man sie addiert?

    die drei werte werden nicht mehr addiert. für die weitere berechnung ist das mittel der drei zahlen entscheidend.

    falls dir eine geeignetere methode einfällt ... nur zu! ich bin ganz ohr.

    orientiere dich dabei bitte an: möglichst einfach und somit möglichst für jedermann schnell nachvollziehbar. (ohne zuvor den grundkurs mathematik an einer uni belegen zu müssen)

posts 1 - 4 by 4
Log in
30,573 Participants » Who is online

Fine music for political ears

What we predict...

Wahlfieber, originally a platform from the German-speaking world, offers (user-based) forecasts on elections worldwide - using political prediction markets without applying any algorythm.

Our focus

Germany / Austria / Switzerland
All national and state elections as well as selected local, mayoral and party elections

Europe
Almost all national elections as well as selected presidential, regional and local elections and votes.

USA
All presidential, senatorial and house elections (including mid-term and most presidential primaries/caucusses) as well as important special and state elections.

UK
All national and state elections as well as important special, local and mayoral elections and votes.

Worldwide
National elections - including Australia, Canada, Israel, Japan, New Zealand, etc.


Important elections in 2023

  • Several state elections in Germany and Austria
  • Presidential election in the Czech Republic
  • National elections in Finland, Turkey, Greece, Poland, Switzerland and Spain

How does this work?

This is how you contribute to the prediction - See the Infocenter

Found an error?
Your Feedback?

Please send error messages and feedback by email to: help@wahlfieber.com