Calcul des probabilités, statistiques et théorie de l’information

1) Situer les différents types de probabilité (D).¹⁾

Discussion & solution

- La notion de probabilité se définit par une épreuve aléatoire dont les issues obtenues au hasard sont appelés “événements”. On définit la probabilité conditionnelle par : La probabilité d'un événement “F” sachant que “E” s'est déjà produit. Il y a deux types de probabilités générales qui sont; les probabilité objectives et les probabilités subjective. Les probabilités objectives interviennent dans des expressions sont du type: Je suis sûre que “X” se passera dans 70% des cas. Les probabilités subjectives interviennent dans des expressions sont du type: Je suis sûre à 70 que “X” se passera. (V.W & E.F)

Les exemples cités donnent des utilisations de ces probabilités. De façon plus élémentaire les probabilités objectives peuvent être théoriques (une fonction qui respecte un certain nombre d'axiomes) ou expérimentales fréquentistes. Les probabilités subjectives sont des valeurs soumises à l'évolution bayésienne. (LOP)

2) Donner la signification de l’expression : diversité (ou désordre) entropique (par un exemple) (D).

Discussion & solution

L'entropie est un indice de dispersion, c'est la mesure du désordre. Elle calcule l'écart par rapport à un modèle de répartition parfaite entre les éléments. Plus l'entropie est basse, plus l'écart par rapport à la répartition idéale est important faible. Exemple: Dans une classe mixte, la répartition idéale est de 50% de filles et 50% de garçons. Une entropie basse représente une moins grande diversité, donc par exemple cela pourra représenter 4% de filles et 96% de garçons. (V.W. & E.F.)

L'entropie fait partie des indicateurs de dispersion (LOP: et donc de diversité), tout comme l'intervalle interquartile, la variance ou encore l'écart-type (LOP: ces derniers indices valables seulement pour des échelles ordinales ou métriques). Calculer l'entropie peut s'avérer utile dans une expérience pour expliquer la différence des résultats selon les groupes faits. (U.G.)

3) Caractériser de façon « qualitative » du lien entre probabilité et « quantité d’information » (D).

Discussion & solution

- La théorie de l'information ne s'occupe pas du contenu, l'information n'est donc pas de la connaissance mais elle génère de la connaissance. Plus un événement est rare plus il génère de l'information. La mesure de l'information est une fonction de la probabilité. l'information est liée à l'occurrence d'événements. Une issue d'un événement à deux issues équiprobables, dont de probabilité 0.5, apporte une information de 1 bit. (V.W. & E.F.)

- Un événement de probabilité faible apporte une information élevée. (U.G.)