XLSTAT: Análisis Semántico Latente (LSA) en Excel

 

Contexto

En este artículo utilizaremos una matriz documento‑término generada mediante la funcionalidad de Extracción de Características de XLSTAT, donde los datos textuales iniciales representan una recopilación de comentarios escritos por mujeres en varias plataformas de comercio electrónico.

 

Conjunto de datos para el ejemplo

El análisis se restringió deliberadamente a 5000 filas seleccionadas aleatoriamente del conjunto de datos.

El objetivo es construir grupos homogéneos de términos para identificar los temas contenidos en este conjunto de documentos, descritos mediante una matriz documento‑término (D.T.M).

Se trata de un método simple y eficaz para extraer relaciones conceptuales (factores latentes) entre términos. Este método se basa en una reducción de dimensión de la matriz original (Descomposición en Valores Singulares). El análisis semántico latente presentado aquí permite capturar las principales «dimensiones» semánticas del corpus, lo que facilita detectar los «temas» principales y resolver, al mismo tiempo, los problemas de sinonimia y polisemia.

 

Configuración

• Abra XLSTAT.

• Haga clic en el menú Marketing o Sensorial / Minería de texto y seleccione la función Latent Semantic Analysis.

• Tras hacer clic en el botón, aparece el cuadro de diálogo del Análisis Semántico Latente.

En la pestaña General:

• Seleccione los datos en el campo Document-term matrix.

• La opción Documents labels está activada porque la primera columna contiene los nombres de los documentos.

• La opción Term labels también está activada porque la primera fila contiene los nombres de los términos.

En la pestaña Opciones:

• Establezca el número de temas en 30 para mostrar la mayor cantidad posible de temas en este conjunto de documentos y obtener una varianza explicada adecuada en la matriz truncada.

• Active las opciones Document clustering y Term clustering para crear clases de documentos y términos en el nuevo espacio semántico.

• La opción Hard obliga a que cada término pertenezca a un solo tema a la vez (el mejor eje semántico). Una clasificación Fuzzy, en cambio, permite que un mismo término aparezca en varios temas para capturar la polisemia (un término con varios significados).

En la pestaña Outputs:

• Establezca el número máximo de términos por tema (Max. terms/topic) en 5 para visualizar solo los términos más relevantes de cada tema en la tabla de temas y en los gráficos relacionados con las matrices de correlación (ver pestaña Charts).

• Active Nearest neighbor terms para visualizar las correlaciones término‑a‑término (similitudes coseno) para cada término del corpus.

• El Number of terms se fija en 30 para mostrar únicamente los 30 términos principales en la lista desplegable (en orden descendente de relación con los ejes semánticos).

• El Number of nearest terms se fija en 10 para mostrar solo los 10 términos más similares al término seleccionado.

• Haga clic en OK para iniciar los cálculos.

• Los resultados se muestran en una nueva hoja de Excel.

 

Interpretación de los resultados

La tabla de resumen presenta el número total de términos y documentos por tema. El usuario puede visualizar todos los términos/documentos en las matrices de correlación y en la tabla de temas.

La siguiente tabla y gráfico están relacionados con un objeto matemático: los autovalores, cada uno correspondiente a la importancia de un tema.

La calidad de la proyección al pasar de N dimensiones (N es el número total de términos al inicio, 269 en este conjunto) a un número menor de dimensiones (30 en nuestro caso) se mide mediante el porcentaje acumulado de variabilidad.

Cada autovalor corresponde a un tema y aquí vemos que establecer la dimensión en 30 permite obtener una variabilidad acumulada total de aproximadamente 60% de la matriz original.

La tabla siguiente lista los mejores términos para cada uno de los temas encontrados. Se muestran en orden descendente de importancia respecto al tema. Este primer resultado destaca clases de elementos frecuentemente asociados con sentimientos positivos o negativos sobre aspectos particulares de ropa comprada en línea.

Por ejemplo, los temas 8 y 24, compuestos por los pares {small, large} y {run, bust}, se relacionan con problemas de talla en líneas de ropa. Estos pares pueden combinarse para convertirse en un término común que simbolice este problema de tallas y así eliminar redundancias semánticas (sinonimia) en la matriz documento‑término inicial.

El tema 6 expresa un sentimiento positivo al asociar {sweet} con una línea de ropa {top, peplum}.

La fuerza de relación entre pares de términos se representa visualmente mediante el gráfico de correlación. Este permite visualizar el grado de similitud (similitud coseno) entre términos en el nuevo espacio semántico. La similitud coseno permite comparar términos con diferentes frecuencias de aparición.

Las similitudes están entre 0 y 1, donde 1 corresponde a una similitud o disimilitud perfecta (similitud en caso de acuerdo y disimilitud en caso de desacuerdo).

Los términos se muestran según el orden de las clases de temas detectadas (estas clases también pueden visualizarse activando la opción «Color by class» en la pestaña Charts).

Los dos ejemplos siguientes muestran las similitudes entre los términos más cercanos a los términos seleccionados (top y run) en la lista desplegable, en orden descendente de similitud.

Este es un ejemplo rápido de análisis semántico latente que muestra cómo crear clases a partir de un conjunto de documentos que combinan términos que expresan una característica similar (por ejemplo, talla de ropa) o un sentimiento (negativo o positivo). Para aplicar una reducción de dimensión a la matriz DTM de entrada y conservar una buena varianza (ver tabla de autovalores), puede recuperar los términos más influyentes de cada tema en la tabla de temas. Esto permite aplicar posteriormente un algoritmo de aprendizaje más eficiente.