🎛️ Mesure l'entropie d'une pièce truquée
Bouge la probabilité de Pile entre 0 et 1. L'entropie est maximale quand p = 0.5 (vraie pièce) et nulle aux extrêmes.
H(p) actuel
1.000 bit
Entropie max
1 bit (à p = 0.5)
État
Maximum (équiprobable)
p = 0.5 : pile et face sont équiprobables. Chaque tirage apporte 1 bit d'information. Entropie maximale.
📡 1948 : Shannon invente la théorie de l'information
Pendant la Seconde Guerre mondiale, Claude Shannon (1916-2001), ingénieur aux Bell Labs, travaille sur le décryptage des communications ennemies. Il se pose une question : comment quantifier l'information contenue dans un message ?
En 1948, il publie A Mathematical Theory of Communication. C'est l'acte de naissance de la théorie de l'information. Sa formule centrale, l'entropie, donne une mesure objective et universelle du contenu informationnel.
Entropie de Shannon
Pour une variable aléatoire X qui prend N valeurs avec probabilités p1, …, pN :
H(X) = − ∑i pi · log2(pi)
Unité : bits
🪙 Le cas le plus simple : pile ou face
Lance une pièce. Deux issues possibles : Pile (probabilité p) ou Face (probabilité 1 − p). L'entropie vaut :
H(p) = −p · log2(p) − (1 − p) · log2(1 − p)
Calcule quelques valeurs :
- p = 1 ou p = 0 : H = 0 bit. La pièce est truquée, le résultat est certain. Aucune information.
- p = 0.1 ou p = 0.9 : H ≈ 0.47 bit. Très biaisée, peu d'incertitude.
- p = 0.5 : H = 1 bit. Vraie pièce, incertitude maximale. 1 bit d'information par tirage.
🤔 Pourquoi prendre le logarithme ?
Bonne question. Le log apporte trois propriétés magiques :
- Additivité : si X et Y sont indépendants, H(X, Y) = H(X) + H(Y). Logique : si tu reçois 2 messages indépendants, l'information totale est la somme.
- Continuité : H varie continûment quand les probabilités changent. Pas de sauts brutaux.
- Échelle : doubler le nombre d'issues équiprobables ajoute exactement 1 bit. Très intuitif quand on pense en binaire.
Shannon a démontré que la fonction H est la seule qui satisfait ces trois propriétés (à une constante près). Le logarithme n'est pas un choix arbitraire — c'est la conséquence logique des axiomes naturels.
💾 L'application qui a changé le monde : la compression
Shannon a démontré le premier théorème du codage :
Théorème de Shannon (1948)
Pour une source d'information de N symboles avec entropie H bits/symbole, le nombre minimum de
bits nécessaire pour la coder sans perte est H × N en moyenne.
En français : si tu cherches à compresser un texte, tu ne peux pas faire mieux que H bits par caractère. H est la limite physique absolue. Toutes les techniques de compression moderne (ZIP, GZIP, PNG, MP3, MPEG…) essaient d'approcher cette limite.
L'entropie d'un texte français moyen est environ 4 bits par caractère. Un caractère sans compression prend 8 bits (1 octet). Donc le ratio de compression théorique maximum est ≈ 2:1. C'est ce qu'on observe en pratique avec les bons algorithmes.
📡 Le canal bruité : Shannon a encore frappé
Shannon a aussi démontré le second théorème du codage : pour un canal de transmission bruité (Wi-Fi, 4G, fibre optique avec interférences), il existe une capacité C en bits/seconde au-delà de laquelle aucune transmission fiable n'est possible, et en dessous de laquelle on peut transmettre avec un taux d'erreur arbitrairement faible.
La formule de Shannon-Hartley pour la capacité d'un canal :
C = W · log2(1 + S/N)
Où W est la bande passante (Hz) et S/N le rapport signal/bruit. Toute la téléphonie moderne est conçue pour s'approcher de cette borne. La 5G se rapproche à 90% de C.
🌍 Applications : tu utilises Shannon tous les jours
- Compression de fichiers : ZIP, GZIP, 7-Zip, MP3, JPEG — tous reposent sur Huffman ou arithmetic coding, des techniques inspirées de Shannon.
- Wi-Fi, 4G, 5G : les codes correcteurs d'erreur (turbo codes, LDPC, polar codes) approchent la limite de Shannon.
- Cryptographie : Shannon a aussi fondé la cryptographie moderne avec son théorème de 1949 sur le secret parfait (one-time pad).
- Apprentissage automatique : la cross-entropy est la fonction de perte standard pour entraîner les réseaux de neurones de classification.
- Biologie : entropie du génome, complexité des séquences ADN, mesure de diversité écologique.
- Physique : l'entropie thermodynamique de Boltzmann (1872) est une forme physique d'entropie de Shannon (avant l'heure).
📐 Lien avec ton programme
L'entropie de Shannon connecte plusieurs notions du BAC SM :
- Probabilités : l'entropie est définie sur une distribution de probabilité. Lien avec les variables aléatoires discrètes (programme 2BAC SM).
- Logarithme : la formule utilise log2, donc lien direct avec le chapitre fonction logarithmique.
- Sommes : la formule contient une somme discrète ∑ pi log(pi). Cas particulier d'espérance E(− log p) si on définit la variable « surprise ».
- Optimisation : montrer que H est maximale pour la distribution uniforme se fait par les multiplicateurs de Lagrange (post-bac) ou par concavité du log (lycée).
🧠 L'entropie comme « surprise » moyenne
Une interprétation profonde : si tu observes un événement de probabilité p, ta surprise vaut −log2(p). Un événement très probable (p → 1) ne te surprend pas (surprise → 0). Un événement très rare (p → 0) te surprend énormément (surprise → ∞).
L'entropie H = E(surprise) est la surprise moyenne que tu obtiens en observant la variable. Plus une source est imprévisible, plus elle te surprend en moyenne, plus elle contient d'information.