Was ist der Brier-Score?

Ein Brier-Score ist eine Metrik, die wir in Statistiken verwenden, um die Genauigkeit probabilistischer Vorhersagen zu messen. Es wird normalerweise verwendet, wenn das Ergebnis einer Prognose binär ist – entweder tritt das Ergebnis auf oder es tritt nicht auf.

Angenommen, eine Wettervorhersage besagt, dass eine Regenwahrscheinlichkeit von 90% besteht und es tatsächlich regnet. Wir können den Brier-Score für diese Prognose anhand der folgenden Formel berechnen:

Brier Score = (f – o) ²

wobei:

• f = prognostizierte Wahrscheinlichkeit
• o = Ergebnis (1, wenn das Ereignis eintritt, 0, wenn es nicht eintritt)

In diesem Beispiel wäre der Brier-Score für unsere Prognose (0,9 – 1) ² = -0,1 ² = 0,01

Ein Brier-Score für eine Reihe von Prognosen wird einfach als Durchschnitt der Brier-Scores für die einzelnen Prognosen berechnet:

Brier Score = 1 / n * Σ (f _t – o _t ) ²

wobei:

• n = Stichprobengröße (Anzahl der Prognosen)
• Σ = ein ausgefallenes Symbol, das „Summe“ bedeutet
• f _t = prognostizierte Wahrscheinlichkeit bei Ereignis t o = Ergebnis bei Ereignis t (1, wenn das Ereignis eintritt, 0, wenn es nicht eintritt)

Ein Brier-Score kann einen beliebigen Wert zwischen 0 und 1 annehmen, wobei 0 der beste erreichbare Score und 1 der schlechteste erreichbare Score ist. Je niedriger der Brier-Score ist, desto genauer sind die Vorhersagen.

Beispiele für die Berechnung von Brier-Scores

Die folgenden Beispiele veranschaulichen die Berechnung der Brier-Scores.

Beispiel 1: Eine Prognose besagt, dass die Regenwahrscheinlichkeit 0% beträgt und es regnet.

Brier Score = (0 – 1) ² = 1

Beispiel 2: Eine Prognose besagt, dass eine Regenwahrscheinlichkeit von 100% besteht und es regnet.

Brier Score = (1 – 1) ² = 0

Beispiel 3: Eine Prognose besagt, dass eine Regenwahrscheinlichkeit von 27% besteht und es regnet.

Brier Score = (.27 – 1) ² = 0.5329

Beispiel 4: Eine Prognose besagt, dass eine Regenwahrscheinlichkeit von 97% besteht und es nicht regnet.

Brier Score = (.97 – 0) ² = 0.9409

Beispiel 5: Ein Wettervorhersager macht die folgenden Vorhersagen:

Niederschlagswahrscheinlichkeit	Ergebnis
27%	Regen
67%	Regen
83%	Kein Regen
90%	Regen

Wir können den Brier-Score für diesen Datensatz von Vorhersagen anhand der folgenden Formeln berechnen:

Niederschlagswahrscheinlichkeit	Ergebnis	Brier Score
27%	Regen	(.27-1) 2 = .5329
67%	Regen	(.67-1) 2 = .1089
83%	Kein Regen	(.83-0) 2 = .6889
90%	Regen	(.90-1) 2 = .01

Brier Score = (.5329 + .1089 + .6889 + .01) / 4 = 0.3352.

BrierSkill-Scores

Ein Brier-Skill-Score ist eine Metrik, die angibt, wie gut der Brier-Score eines neuen Prognosemodells mit einem vorhandenen Prognosemodell verglichen werden kann. Es wird berechnet als:

Brier Skill Score = (BS _E – BS _N ) / BS _E.

wobei:

• BS _E = Brier Score des vorhandenen Modells
• BS _N = Brier Score des neuen Modells

Wenn ein Brier Skill Score positiv ist, macht das neue Modell genauere Vorhersagen. Wenn der Brier Skill Score negativ ist, macht das neue Modell schlechtere Vorhersagen. Und wenn der Brier Skill Score gleich Null ist, bietet das neue Modell keine Verbesserung gegenüber dem vorhandenen Modell.

Angenommen, unser vorhandenes Modell hat einen Brier-Score von BS _E = 0,4221 und unser neues Modell hat einen Brier-Score von BS _N = 0,3352. Der Brier Skill Score unseres neuen Modells kann wie folgt berechnet werden:

Brier Skill Score = (0,4421 – 0,3352) / (0,4421) = 0,2418.

Da diese Zahl positiv ist, ist dies ein Hinweis darauf, dass unser neues Modell genauere Prognosen im Vergleich zum vorhandenen Modell liefert.

Je höher der Brier Skill Score ist, desto größer ist die Verbesserung des neuen Modells im Vergleich zum vorhandenen Modell.