XLSTAT: Indicadores de rendimiento para modelos de predicción en Excel

 

Datos para el análisis

El conjunto de datos de abulones contiene rasgos físicos de estos moluscos. Dado que contar los anillos bajo un microscopio para determinar la edad es un proceso laborioso, nuestro objetivo es predecir la edad utilizando mediciones más simples.
Comparamos dos modelos —SVR y CART— para determinar cuál predice mejor la edad del abulón a partir de estos rasgos.

 

Configuración

• Abre XLSTAT.

• Haz clic en el menú Aprendizaje Autómatico y selecciona la función Indicadores del desempeño del modelo.

• Aparece el cuadro de diálogo de Model Performance Indicators.

En la pestaña General:

• Selecciona la variable Rings en el campo Variable respuesta.

• En el campo Valores predichos, selecciona las predicciones (SVR-Pred y TREE-Pred) obtenidas con los distintos modelos utilizados.

• Marca la opción de Variables explicativas para especificar el número de variables utilizadas en la construcción de los modelos. Esta información es útil para el cálculo de ciertos indicadores (R² ajustado, AIC, SBC). Aquí se usaron todas las variables (8) del conjunto de datos.

• La opción Etiquetas de variables está seleccionada porque la primera fila de las columnas elegidas contiene los nombres de las variables.

En la pestaña Resultados:

• Selecciona los indicadores que deseas mostrar entre las opciones disponibles.

Haz clic en OK para iniciar los cálculos.

Los resultados se mostrarán en una nueva hoja de Excel.

 

Interpretación de los resultados

La primera tabla presenta de un vistazo los valores de los indicadores seleccionados para cada modelo.

Las medidas de error como el RMSE muestran que el segundo modelo tiene un mejor desempeño. Para determinar si esta diferencia es importante, podemos observar el R², que es un indicador entre 0 y 1. Corresponde al coeficiente de determinación del modelo y se interpreta como la proporción de variabilidad de la variable respuesta explicada por el modelo.
Cuanto más cerca esté R² de 1, mejor es el modelo. En nuestro caso, alrededor del 57% de la variabilidad es explicada por el modelo basado en SVR, frente al 40% del segundo modelo.

El R² ajustado es 0.49 para el modelo con SVR y 0.28 para el modelo con árboles de regresión.

Antes de analizar las predicciones y los residuos, observemos primero los gráficos de regresión. Se muestran varios gráficos para cada modelo, pero en este artículo nos centraremos en dos.

 

1. Variable respuesta vs. Predicciones

Este gráfico permite comparar las predicciones con los valores observados. Cuanta mayor sea la varianza explicada por el modelo, más cerca estarán los puntos de la línea de regresión.

 

2. Variable respuesta vs. Residuos estandarizados

Los gráficos muestran:

• Mayor variabilidad del error en el modelo de árbol de regresión en comparación con SVR.

• SVR funciona bien (residuos pequeños) en abulones jóvenes (RINGS ≤ 15) pero peor en los más viejos.

• Aparece un valor atípico en la esquina superior derecha: el abulón más viejo (RINGS = 29); las tablas de predicción ayudan a examinarlo con más detalle.

• Residuos más pequeños indican un mejor ajuste del modelo.

La tabla siguiente presenta una parte del análisis de predicciones y residuos.

En la columna Residuals, los valores más cercanos a 0 están marcados en verde (mejores predicciones) y los más alejados en rojo (peores predicciones).

La observación 32 (Obs32) muestra el mayor error de predicción para ambos modelos y corresponde al abulón más viejo.

Coincide con el valor atípico de la Figura 2 y presenta un residuo atípico, indicando un error significativamente grande. Las predicciones para este caso deben interpretarse con cautela.

 

Conclusión

En conclusión, SVR es el mejor de los dos modelos, explicando un 57% de la variabilidad en la edad y mostrando una distribución de errores más equilibrada. Sin embargo, su desempeño empeora en abulones mayores de 15 años, por lo que no es suficiente por sí solo.

Una mejor estrategia sería combinar SVR con otro modelo o desarrollar un modelo nuevo que se adapte mejor a la predicción de abulones de mayor edad.