XLSTAT: Regresión Lasso & Ridge

 

¿Qué son las regresiones Ridge y Lasso?

En los casos de regresión en los que el número de predictores es muy alto, se han propuesto las técnicas de regresión Ridge y Lasso para proporcionar estimaciones de coeficientes más precisas en comparación con las técnicas estándar. Ridge y Lasso añaden un término de regularización a la función de coste de la regresión. Este término penaliza la función de coste a medida que aumenta la suma de los valores absolutos de los coeficientes. En Lasso, este término se denomina Norma L1 y es proporcional a la suma de los coeficientes normalizados (suma de |beta|), mientras que en Ridge, el término también se conoce como Norma L2 o regularización de Thikhonov y es proporcional a la suma de los coeficientes al cuadrado (suma de ||beta||²).

Si bien la regresión Ridge solo tiende a reducir los coeficientes hacia cero sin establecerlos en cero, Lasso puede, además, hacer que algunos coeficientes se vuelvan nulos.

También se ha propuesto una técnica intermedia denominada Elastic Net para superar algunas de las limitaciones de cada una de las regularizaciones Lasso y Ridge. La regularización se puede controlar mediante un parámetro de ajuste denominado Lambda . La fuerza de la regularización aumenta con lambda.

En el aprendizaje automático , las regularizaciones Lasso y Ridge también se denominan técnicas de decaimiento de peso . Ridge, Lasso y Elastic Net se pueden utilizar en casos en los que la cantidad de predictores es mayor que la cantidad de observaciones o casos.

La función Ridge/Lasso/Elasticnet desarrollada en XLSTAT-R llama a la función glmnet del paquete glmnet en R (Jerome Friedman, Trevor Hastie, Noah Simon, Junyang Qian, Rob Tibshirani).

Datos para el análisis

Los datos fueron simulados y corresponden a 36 muestras biológicas de individuos enfermos y sanos pertenecientes a tres genotipos diferentes. Para cada muestra, se mide la expresión de 1561 genes mediante cuantificación de ARN. Más detalles expresión diferencial . Utilizaremos regresión Lasso seguida de regresión Ridge y compararemos los resultados.

Aquí no se puede realizar una regresión logística porque el número de variables (genes) es mucho mayor que el número de observaciones (muestras).

Configuración

Abra XLSTAT-R / glmnet / Ridge, Elastic net y Lasso GLM(glmnet)

En la pestaña general

, seleccione la variable de estado (saludable/enfermo) en el campo Y. La respuesta es binaria. Por lo tanto, seleccione la familia Binomial . Seleccione todos los datos de expresión en el campo Variables cuantitativas explicativas . El parámetro alfa controla qué tipo de penalización aplicar. Cero es Ridge, uno es Lasso y el intermedio es Elastic Net. Establézcalo en 1 por ahora.

En la pestaña de opciones , asegúrese de activar la estandarización para aplicar la estandarización de datos. Establezca la cantidad de valores Lambda en 100. R ejecutará un modelo por Lambda y utilizará la validación cruzada de k-fold para buscar un valor óptimo de Lambda entre estos 100 valores.

Active todos los gráficos en la pestaña Gráficos

. Haga clic en Aceptar para ejecutar el análisis.

Interpretación

En primer lugar, se muestra el valor de Lambda que minimiza la desviación:

A continuación, se muestran los coeficientes calculados correspondientes para todos los genes:

La penalización Lasso establece la mayoría de los coeficientes en cero. Esto ayuda a determinar qué características son las más consistentes, como T106.02. Como estamos ejecutando una regresión con un resultado binario, los coeficientes deben interpretarse en términos de probabilidades logarítmicas. El signo positivo refleja el hecho de que el gen T106.02 parece estar más expresado en pacientes enfermos (recuerde que los pacientes enfermos están etiquetados como 1 en los datos).

El gráfico de coeficientes con Log Lambda en el eje X muestra la disminución del coeficiente a medida que aumenta el término de penalización Lambda (o su logaritmo). Muchos coeficientes terminan siendo nulos en valores altos de lambda. Los números en la parte superior del gráfico son los números de coeficientes restantes en los valores Log Lambda correspondientes. El gráfico de validación cruzada muestra la desviación (o error) de la validación cruzada según los valores de lambda. El lambda óptimo corresponde al valor de lambda en el mínimo de esta función. Tenga en cuenta que el logaritmo utilizado para lambda aquí es el logaritmo neperiano o natural. Comparemos estos resultados con los de una regresión Ridge.

Configuración de una regresión de Ridge en XLSTAT-R

Regrese al cuadro de diálogo glmnet y configure alfa en 0.

Haga clic en Aceptar .

Interpretación de los resultados de una regresión de Ridge

A diferencia de la regresión Lasso, la regresión Ridge ha atribuido un coeficiente no nulo a cada característica. Sin embargo, estos coeficientes se han reducido hasta llegar a cero. La fuerza de la contracción aumenta con el parámetro de regularización Lambda. Esto se puede ver en el gráfico de coeficientes: