XLSTAT: Sélection de termes

 

Jeu de données pour l'exemple

Ce tutoriel est basé sur un jeu de données qui contient les paroles de 94 chansons de la chanteuse américaine Taylor Swift. Le jeu de données provient de la plateforme de data science, Kaggle et est accessible à cette adresse.

Paramétrer

• Ouvrir XLSTAT.

• Sélectionner le menu XLSTAT / Text Mining / Sélection de termes. La boîte de dialogue apparaît.

• Dans l’onglet Général , sélectionner la variable réponse et les fréquences des termes à partir de la matrice documents-termes.

• Sélectionner les titres de chanson en tant que libellés des documents .

• Cliquer sur OK.

Interpréter les résultats

Les deux premiers graphiques montrent les coefficients et les odds ratio de chaque terme. Ils montrent tous deux l’importance d’un terme dans le modèle calculé.

 

 
Le graphique suivant représente la déviance binomiale en fonction de la valeur de lambda. Le nombre de termes ayant un coefficient non nul est affiché sur l’axe vertical supérieur. Les lambda optimaux (minimum et 1se) sont tracés sur ce même graphique. Selon le lambda choisi durant le paramétrage, le nombre de termes avec un coefficient non nul est différent.

Le tableau suivant donne la matrice de confusion obtenues sur l’échantillon d’apprentissage. Elle donne le niveau de performance de notre classifieur. Nous obtenons 82% de prédiction correctes sur l’échantillon d’apprentissage.

Enfin, les prédictions sont affichées ainsi que la probabilité d’appartenir à la classe Positive.