Beste Subset Selektion beim maschinellen Lernen (Erläuterung & Beispiele)

Im Bereich des maschinellen Lernens sind wir häufig daran interessiert, Modelle mit einer Reihe von Prädiktorvariablen und einer Antwortvariablen zu erstellen. Unser Ziel ist es, ein Modell zu erstellen, das die Prädiktorvariablen effektiv verwenden kann, um den Wert der Antwortvariablen vorherzusagen.

Angesichts einer Reihe von p Gesamtprädiktorvariablen gibt es viele Modelle, die wir möglicherweise erstellen könnten. Eine Methode, mit der wir das beste Modell auswählen können, ist als beste Teilmengenauswahl bekannt und funktioniert wie folgt:

1. M ₀ bezeichne das Nullmodell, das keine Prädiktorvariablen enthält.

2. Für k = 1, 2,… p:

• Passen Sie alle _p C _k -Modelle an, die genau k Prädiktoren enthalten.
• Wählen Sie das beste unter diesen _p C _k -Modellen aus und nennen Sie es M _k. Definieren Sie "am besten" als das Modell mit dem höchsten R ² oder gleichwertig dem niedrigsten RSS.

3. Wählen Sie aus M ₀ … M _p ein einzelnes bestes Modell aus, indem Sie den Kreuzvalidierungs-Vorhersagefehler Cp, BIC, AIC oder das angepasste R ^{2 verwenden}.

Beachten Sie, dass es für einen Satz von p Prädiktorvariablen 2 ^p mögliche Modelle gibt.

Beispiel für die Auswahl der besten Teilmenge

Angenommen, wir haben einen Datensatz mit p = 3 Prädiktorvariablen und einer Antwortvariablen, y. Um mit diesem Datensatz die beste Teilmengenauswahl durchzuführen, passen wir die folgenden 2 ^p = 2 ³ = 8 Modelle an:

• Ein Modell ohne Prädiktoren
• Ein Modell mit Prädiktor x ₁
• Ein Modell mit Prädiktor x ₂
• Ein Modell mit Prädiktor x ₃
• Ein Modell mit Prädiktoren x ₁ , x ₂
• Ein Modell mit Prädiktoren x ₁ , x ₃
• Ein Modell mit Prädiktoren x ₂ , x ₃
• Ein Modell mit Prädiktoren x ₁ , x ₂ , x ₃

Als nächstes würden wir das Modell mit dem höchsten R ² unter jedem Satz von Modellen mit k Prädiktoren auswählen. Zum Beispiel könnten wir am Ende wählen:

• Ein Modell ohne Prädiktoren
• Ein Modell mit Prädiktor x ₂
• Ein Modell mit Prädiktoren x ₁ , x ₂
• Ein Modell mit Prädiktoren x ₁ , x ₂ , x ₃

Als nächstes führen wir eine Kreuzvalidierung durch und wählen das beste Modell aus, das den niedrigsten Vorhersagefehler (Cp, BIC, AIC oder angepasstes R ²⁾ ergibt.

Zum Beispiel könnten wir am Ende das folgende Modell als das „beste“ Modell auswählen, weil es den niedrigsten kreuzvalidierten Vorhersagefehler erzeugt hat:

• Ein Modell mit Prädiktoren x ₁ , x ₂

Kriterien für die Auswahl des „besten“ Modells

Der letzte Schritt der Auswahl der besten Teilmenge umfasst die Auswahl des Modells mit dem niedrigsten Vorhersagefehler, dem niedrigsten Cp, dem niedrigsten BIC, dem niedrigsten AIC oder dem höchsten angepassten R ².

Hier sind die Formeln, die zur Berechnung jeder dieser Metriken verwendet werden:

Cp: (RSS + 2dσ̂) / n

AIC: (RSS + 2dσ̂ ² ) / (nσ̂ ² )

BIC: (RSS + log (n) dσ̂ ² ) / n

Angepasstes R ²: 1 - ((RSS / (nd-1)) / (TSS / (n-1)))

wo:

• d: Die Anzahl der Prädiktoren
• n: Gesamtbeobachtungen
• σ̂: Schätzung der Varianz des Fehlers, der mit jeder Antwortmessung in einem Regressionsmodell assoziiert ist
• RSS: Residuenquadratsumme des Regressionsmodells
• TSS: Gesamtsumme der Quadrate des Regressionsmodells

Vor- und Nachteile der besten Teilmengenauswahl

Die beste Auswahl von Teilmengen bietet die folgenden Vorteile:

• Es ist ein einfacher Ansatz, um zu verstehen und zu interpretieren.
• Es ermöglicht uns, das bestmögliche Modell zu identifizieren, da wir alle Kombinationen von Prädiktorvariablen berücksichtigen.

Diese Methode hat jedoch die folgenden Nachteile:

• Es kann rechenintensiv sein. Für einen Satz von p Prädiktorvariablen gibt es 2 ^p mögliche Modelle. Bei 10 Prädiktorvariablen sind beispielsweise 2 ¹⁰ = 1.000 mögliche Modelle zu berücksichtigen.
• Da eine so große Anzahl von Modellen berücksichtigt wird, könnte möglicherweise ein Modell gefunden werden, das bei Trainingsdaten eine gute Leistung erbringt, bei zukünftigen Daten jedoch nicht. Dies kann zu einer Überanpassung führen.

Fazit

Die Auswahl der besten Teilmenge ist zwar einfach zu implementieren und zu verstehen, kann jedoch nicht durchführbar sein, wenn Sie mit einem Datensatz arbeiten, der eine große Anzahl von Prädiktoren enthält, und dies kann möglicherweise zu einer Überanpassung führen.

Eine Alternative zu dieser Methode ist die schrittweise Auswahl, die rechnerisch effizienter ist.