Wie berechnet man das Fleiss' Kappa in Excel

Fleiss' Kappa ist eine Möglichkeit, den Grad der Übereinstimmung zwischen drei oder mehr Bewertern zu messen, wenn die Bewerter einem Satz von Items kategoriale Bewertungen zuweisen.

Fleiss' Kappa reicht von 0 bis 1, wobei:

• 0 bedeutet überhaupt keine Übereinstimmung zwischen den Bewertern.
• 1 zeigt eine perfekte Inter-Rater-Übereinstimmung an.

Dieses Tutorial bietet ein Beispiel für die Berechnung von Fleiss' Kappa in Excel.

Beispiel: Fleiss' Kappa in Excel

Angenommen, 14 Personen bewerten 10 verschiedene Produkte auf einer Skala von schlecht bis ausgezeichnet.

Der folgende Screenshot zeigt die Gesamtbewertungen, die jedes Produkt erhalten hat:

Der folgende Screenshot zeigt, wie man Fleiss' Kappa für diese Daten in Excel berechnet:

(Die Formeln wurden mit einer englischsprachen Excel-Version erstellt. Für die deutschen Formeln siehe z.B. hier)

Die kniffligsten Berechnungen in diesem Screenshot befinden sich in Spalte J. Die für diese Berechnungen verwendete Formel wird im Textfeld am oberen Rand des Bildschirms angezeigt.

Beachten Sie, dass das Kappa von Fleiss in diesem Beispiel 0,2099 beträgt. Die tatsächliche Formel zur Berechnung dieses Werts in Zelle C18 lautet:

Fleiss' Kappa = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

Obwohl es keine formale Möglichkeit gibt, Fleiss' Kappa zu interpretieren, zeigen die folgenden Werte, wie Cohens Kappa zu interpretieren ist, der verwendet wird, um den Grad der Inter-Rater-Übereinstimmung zwischen nur zwei Bewertern zu beurteilen:

• < 0,20 | Arm
• .21 – .40 | Messe
• .41 – .60 | Mäßig
• .61 – .80 | Gut
• .81 – 1 | Sehr gut

Basierend auf diesen Werten würde Fleiss' Kappa von 0,2099 in unserem Beispiel als „faires“ Niveau der Inter-Rater-Übereinstimmung interpretiert werden.