La définition de Entropie

Dans la théorie de la communication, une entropie désigne un nombre qui mesure l'incertitude de la nature d'un message donné à partir de celui qui le précède. L'entropie est nulle quand l'incertitude n'existe pas.

L'entropie en statistique

La notion d'entropie est utilisée en statistique dans le même sens. Ainsi, si l'on connaît la distribution d'une variable nominale dans une certaine population, l'entropie mesure l'incertitude moyenne dans laquelle on se trouve pour prédire à laquelle de ces modalités appartiendra un élément extrait au hasard de cette population. Aussi, elle augmente avec le nombre de modalités. Enfin, pour un nombre donné de modalités, elle est maximale lorsque tous les effectifs de la distribution sont égaux.
Par ailleurs, l'entropie peut être considérée comme une caractéristique de dispersion d'une variable nominale. Aussi, on peut procéder à l'analyse de l'incertitude selon un modèle présentant une analogie avec l'analyse de la variance.