Was ist die Family Wise Error Rate?

In einem Hypothesentest gibt es immer eine Fehlerrate vom Typ I, die die Wahrscheinlichkeit angibt, eine tatsächlich zutreffende Nullhypothese abzulehnen. Mit anderen Worten, es ist die Wahrscheinlichkeit, ein "falsches Positiv" zu erhalten, d.h. Wenn wir behaupten, dass es einen statistisch signifikanten Effekt gibt, aber es tatsächlich keinen gibt.

Wenn wir einen Hypothesentest durchführen, entspricht die Fehlerrate vom Typ I dem Signifikanzniveau (α), das üblicherweise mit 0.01, 0.05 oder 0.10 gewählt wird. Wenn wir jedoch mehrere Hypothesentests gleichzeitig durchführen, steigt die Wahrscheinlichkeit, ein falsch positives Ergebnis zu erhalten.

Stellen Sie sich zum Beispiel vor, wir würfeln mit 20 Seiten. Die Wahrscheinlichkeit, dass die Würfel auf einer „1“ landen, beträgt nur 5%. Wenn wir jedoch zwei dieser Würfel gleichzeitig werfen, steigt die Wahrscheinlichkeit, dass einer der Würfel auf einer „1“ landet, auf 9.75%. Wenn wir fünf Würfel gleichzeitig würfeln, steigt die Wahrscheinlichkeit auf 22.6%.

Je mehr Würfel wir werfen, desto höher ist die Wahrscheinlichkeit, dass einer der Würfel auf einer 1 landet. Wenn wir mehrere Hypothesentests gleichzeitig mit einem Signifikanzniveau von 0,05 durchführen, steigt die Wahrscheinlichkeit, dass wir ein falsches Positiv erhalten, auf darüber hinaus 0.05.

So schätzen Sie die Family Wise Error Rate

Die Formel zur Schätzung der Family Wise Error Rate lautet wie folgt:

Family Wise Error Rate = 1 - (1-α)ⁿ

wobei:

• α: Das Signifikanzniveau für einen einzelnen Hypothesentest
• n: Die Gesamtzahl der Tests

Angenommen, wir führen 5 verschiedene Vergleiche mit einem Alpha-Level von α = 0.05 durch. Die Family Wise Error Rate Fehlerrate würde wie folgt berechnet:

Family Wise Error Rate = 1 - (1-α)^c = 1 - (1-.05)⁵ = 0.2262.

Mit anderen Worten, die Wahrscheinlichkeit, bei mindestens einem der Hypothesentests einen Fehler vom Typ I zu bekommen, liegt über 22%!

So steuern Sie die Family Wise Error Rate

Es gibt verschiedene Methoden, mit denen die Family Wise Error Rate gesteuert werden kann, darunter:

Die Bonferroni-Korrektur

Passen Sie den zur Beurteilung der Signifikanz verwendeten α-Wert so an, dass:

α_new = α_old / n

Wenn wir zum Beispiel 5 verschiedene Vergleiche mit einem Alpha-Level von α = 0,05 durchführen, dann wäre unser neues Alpha-Level mit der Bonferroni-Korrektur:

α_new = α_old / n = 0.05 / 5 = 0.01.

Die Sidak-Korrektur

Passen Sie den zur Beurteilung der Signifikanz verwendeten α-Wert so an, dass:

α_new = 1 - (1-α_old)^{1 / n}

Wenn wir beispielsweise 5 verschiedene Vergleiche mit einem Alpha-Level von α = 0,05 durchführen, wäre unser neues Alpha-Level mit der Sidak-Korrektur:

α_new = 1 - (1-α_old)^{1 / n} = 1 - (1-.05)^1/5 = .010206.

Die Bonferroni-Holm-Korrektur

Dieses Verfahren funktioniert wie folgt:

1. Verwenden Sie die Bonferroni-Korrektur, um α_new = α_old / n zu berechnen.
2. Führen Sie jeden Hypothesentest durch und ordnen Sie die p-Werte aller Tests vom kleinsten zum größten.
3. Wenn der erste p-Wert größer oder gleich α_new ist, beenden Sie die Prozedur. Keine p-Werte sind signifikant.
4. Wenn der erste p-Wert kleiner als α_new ist, ist er signifikant. Vergleichen Sie nun den zweiten p-Wert mit α_new. Wenn es größer oder gleich α_new ist, beenden Sie den Vorgang. Keine weiteren p-Werte sind signifikant.

Durch die Verwendung einer dieser Korrekturen für das Signifikanzniveau können wir die Wahrscheinlichkeit, einen Fehler vom Typ I in einer Familie von Hypothesentests zu begehen, drastisch reduzieren.