Impurity-Maße in Entscheidungsbäumen

Einführung in die Impurity-Maße

Entscheidungsbäume sind Klassifikationsmodelle, die Daten in Knoten basierend auf unterschiedlichen Attributwerten unterteilen. Die Effizienz eines Entscheidungsbaums hängt stark davon ab, wie die besten Splits an jedem Knoten gewählt werden. Hier kommen Impurity-Maße ins Spiel. Die zwei primären Maße, Gini Impurity und Entropy, sind entscheidend für die Bewertung, wie die Daten optimal aufgeteilt werden können.

• Zweck der Impurity-Maße: Sie hindern an, dass zufällige Splits die Vorhersagekraft des Modells verringern.
• Fördern die genaue Abgrenzung von Klassen und verbessern die Interpretierbarkeit des Modells.
• Steigern die Qualität der Knoten und verhindern übermäßiges Astwachstum.
• Minimieren Klassifikationsunsicherheiten, insbesondere bei verrauschten Proben.
• Sichern eine konsistente Entscheidungsfindung über verschiedene Datensätze hinweg.

Gini Impurity: Definition und Berechnung

Die Gini Impurity wird definiert als ein Maß dafür, wie oft eine zufällig ausgewählte Probe falsch klassifiziert wird, wenn sie gemäß der Klassenwahrscheinlichkeit zugewiesen wird. Niedrigere Werte der Gini Impurity deuten auf homogenere Knoten hin, was für das Entscheidungsbaum-Modell vorteilhaft ist.