Medidas de Impureza en Árboles de Decisión

Introducción a las Medidas de Impureza

Los árboles de decisión son modelos de clasificación que dividen los datos en nodos basándose en valores de características distintos. La efectividad de un árbol de decisión depende significativamente de la elección del mejor punto de división en cada nodo, donde las medidas de impureza juegan un papel crucial.

• Gini Impurity: Mide la frecuencia de clasificación errónea.
• Entropía: Evalúa la incertidumbre en la distribución de clases.

Propósitos de las Medidas de Impureza

• Previenen divisiones aleatorias que pueden diluir la fortaleza del modelo.
• Ayudan a delinear fronteras de clase claras, lo que mejora la interpretabilidad del modelo.
• Minimizan la ambigüedad en la clasificación, especialmente con muestras ruidosas.