XLSTAT: Clusters difusos k-means en Excel

 

Conjunto de datos del ejemplo

Nuestro ejemplo utiliza la matriz Término-documento generada mediante la funcionalidad de Extracción de características de XLSTAT, donde los datos de texto iniciales representan una recopilación de comentarios de mujeres publicados en varias plataformas de comercio electrónico. El análisis se restringió deliberadamente a las primeras 5000 filas del conjunto de datos.

Nota: si intentas volver a ejecutar el mismo análisis descrito a continuación sobre los mismos datos, dado que el método k-means comienza a partir de clústeres seleccionados aleatoriamente, es muy probable que obtengas resultados diferentes a los que se muestran aquí, a menos que fijes la semilla de los números aleatorios al mismo valor utilizado en este ejemplo (123456789).
Para fijar la semilla, ve a Opciones de XLSTAT → pestaña Avanzado, y marca la opción “Fijar la semilla”.

 

Configuración

• Abre XLSTAT.

• Haz clic en el menú Clustering data y selecciona la función Fuzzy k-means clustering.

• Después de hacer clic en el botón, aparece el cuadro de diálogo de Fuzzy k-means clustering.

En la pestaña General:

• Selecciona los datos mediante el campo Matriz Término-frecuencia (selección del rango de celdas).

• La opción Etiqueta de las filas está habilitada porque la primera columna de los datos contiene los nombres de los documentos.

• La opción Etiqueta de columnas también está habilitada porque la primera fila de los datos contiene los nombres de los términos.

• El índice de disimilitud seleccionado es la distancia basada en el coseno entre dos vectores de términos («1 - similitud del coseno»), lo que permite la estandarización de los vectores a clasificar y evita disociar documentos de diferentes tamaños pero con proporciones de términos idénticas.

En la pestaña Opciones:

• Se aumentó el número de iteraciones a 50 para mejorar la calidad y estabilidad de los resultados.
  El algoritmo se ejecutará 20 veces, cada vez con un nuevo punto de inicio aleatorio.

• La partición inicial se definirá mediante el algoritmo K|| [Bahmani2012], que es una implementación más rápida de k-means++.
  Esta inicialización elige el siguiente centro de grupo lo más alejado posible de los ya elegidos, lo que permite limitar los efectos no deseados causados por puntos atípicos durante la inicialización.

• Se seleccionó un número de 30 clústeres, aunque este puede ajustarse posteriormente observando la gráfica de la evolución del criterio (en función de diferentes valores de k) para determinar el punto de inflexión en el que la ganancia de varianza explicada (relación entre varianza interclase y varianza total) comienza a disminuir (método del codo).

• Se aplicará un coeficiente de fuzziness de 1.10, lo que permite que ciertas observaciones situadas en la periferia de un grupo puedan pertenecer al mismo tiempo a varios grupos diferentes (soft clustering).
  Este coeficiente también ayuda a reducir el efecto de los valores atípicos.

Haz clic en OK para iniciar los cálculos.

Los resultados se mostrarán en una nueva hoja de Excel.

 

Interpretación de los resultados

Después de las estadísticas descriptivas básicas de las variables seleccionadas, XLSTAT indica cómo se descompone la varianza según el criterio de clasificación óptimo.

La siguiente tabla muestra los términos asignados a cada grupo.

Las clases generadas están asociadas con términos que aparecen con frecuencia en los mismos documentos.
Por ejemplo, el Clúster 11 contiene los términos “run”, “large” y “small”, lo que muy probablemente vincula estas palabras con un sentimiento negativo, y permite reagruparlas dentro de la temática “Problemas de tallas” en todas las reseñas.

La tabla de membresías muestra, para cada palabra, el identificador del grupo al que ha sido asignada.
Esta asignación se calcula eligiendo el grupo para el cual la probabilidad de pertenencia del término es máxima (ver la tabla de probabilidades de membresía en el informe del archivo de demostración).
Una parte de esta tabla se muestra a continuación.
El Clúster 17 contiene varios términos asociados con sentimientos positivos.

Posteriormente, podemos utilizar estos grupos generados o “tópicos” para realizar análisis adicionales, asociándolos con una variable dependiente que deba predecirse (por ejemplo, una clasificación supervisada mediante SVM sobre los sentimientos asociados a los comentarios).

La siguiente figura muestra el gráfico de silueta, que indica el grado de similitud de cada observación respecto a su clase.
Cuanto más cercanos estén estos valores a 1, mejor será la clasificación.
El promedio de todos estos valores constituye otro indicador global de calidad, que resalta un número de observaciones dentro de cada clúster con una alta similitud promedio, indicando la presencia de términos fuertemente correlacionados dentro de cada grupo.