إنتروبيا شانون

🎛️ قِس إنتروبيا قطعة نقدية مغشوشة

حرّك احتمال الوجه (Pile) بين 0 و 1. تكون الإنتروبيا قصوى عندما p = 0.5 (قطعة سليمة) ومنعدمة عند الطرفين.

احتمال الوجه (Pile) p = 0.50

H(p) الحالية

1.000 bit

الإنتروبيا القصوى

1 bit (عند p = 0.5)

الحالة

القصوى (متساوية الاحتمال)

p = 0.5 : الوجه والظهر متساويا الاحتمال. كل سحبة تحمل 1 بِت من المعلومات. إنتروبيا قصوى.

📡 1948 : شانون يخترع نظرية المعلومات

خلال الحرب العالمية الثانية، كان كلود شانون (1916-2001)، المهندس في مختبرات بِل (Bell Labs)، يعمل على فك تشفير اتصالات العدو. وطرح على نفسه سؤالًا: كيف نُكَمِّم المعلومة المحتواة في رسالة؟

في عام 1948، نشر A Mathematical Theory of Communication. إنها شهادة ميلاد نظرية المعلومات. وصيغته المركزية، الإنتروبيا، تُعطي قياسًا موضوعيًا وكونيًا للمحتوى المعلوماتي.

إنتروبيا شانون
من أجل متغير عشوائي X يأخذ N قيمة باحتمالات $p_{1}$ , …, $p_{N}$ :

H(X) = − $i \sum$ $p_{i}$ · $lo g_{2}$ ( $p_{i}$ )

الوحدة : بِت (bits)

🪙 أبسط حالة : الوجه أو الظهر

ارمِ قطعة نقدية. نتيجتان ممكنتان : الوجه (الاحتمال p) أو الظهر (الاحتمال 1 − p). تساوي الإنتروبيا :

H(p) = −p · $lo g_{2}$ (p) − (1 − p) · $lo g_{2}$ (1 − p)

احسب بعض القيم :

$p = 1أو p = 0$ : H = 0 بِت. القطعة مغشوشة، النتيجة أكيدة. لا توجد أي معلومة.
p = 0.1 أو p = 0.9 : H ≈ 0.47 بِت. منحازة جدًا، عدم يقين ضئيل.
p = 0.5 : H = 1 بِت. قطعة سليمة، عدم اليقين أقصاه. 1 بِت من المعلومات لكل سحبة.

🤔 لماذا نأخذ اللوغاريتم؟

سؤال جيد. يجلب اللوغاريتم ثلاث خاصيات سحرية :

الجمعية : إذا كان X و Y مستقلين، فإن H(X, Y) = H(X) + H(Y). منطقي : إذا تلقيت رسالتين مستقلتين، فالمعلومة الإجمالية هي المجموع.
الاستمرارية : تتغير H باستمرار عندما تتغير الاحتمالات. بدون قفزات مفاجئة.
السُّلَّم : مضاعفة عدد النتائج المتساوية الاحتمال تضيف بالضبط 1 بِت. بديهي جدًا عند التفكير بالنظام الثنائي.

برهن شانون أن الدالة H هي الوحيدة التي تحقق هذه الخاصيات الثلاث (إلى حدود ثابتة ضربية). اللوغاريتم ليس اختيارًا اعتباطيًا — إنه النتيجة المنطقية للمسلّمات الطبيعية.

💾 التطبيق الذي غيّر العالم : الضغط

برهن شانون المبرهنة الأولى للترميز :

مبرهنة شانون (1948)
من أجل مصدر معلومات من N رمزًا بإنتروبيا H بِت/رمز، فإن العدد الأدنى من البِتات اللازمة لترميزه بدون ضياع هو H × N في المتوسط.

بعبارة أخرى : إذا كنت تسعى لضغط نص، فلا يمكنك أن تفعل أفضل من H بِت لكل حرف. H هي الحد الفيزيائي المطلق. كل تقنيات الضغط الحديثة (ZIP، GZIP، PNG، MP3، MPEG…) تحاول الاقتراب من هذا الحد.

إنتروبيا نص فرنسي متوسط تقارب 4 بِت لكل حرف. الحرف بدون ضغط يأخذ 8 بِت (1 أوكتيت). إذن نسبة الضغط النظرية القصوى هي ≈ 2:1. وهذا ما نلاحظه عمليًا مع الخوارزميات الجيدة.

📡 القناة المُشوَّشة : شانون ضرب مجددًا

برهن شانون أيضًا المبرهنة الثانية للترميز : من أجل قناة إرسال مُشوَّشة (Wi-Fi، 4G، الألياف البصرية مع تشويش)، توجد سعة C بـ بِت/ثانية، يستحيل فوقها أي إرسال موثوق، ويمكن تحتها الإرسال بمعدل خطأ صغير اختياريًا كما نشاء.

صيغة شانون-هارتلي لسعة قناة :

C = W · $lo g_{2}$ (1 + S/N)

حيث W هي عرض النطاق (Hz) و S/N نسبة الإشارة إلى التشويش. كل الاتصالات الهاتفية الحديثة مُصممة للاقتراب من هذا الحد. تقترب 5G من C بنسبة 90٪.

🌍 تطبيقات : أنت تستعمل شانون كل يوم

ضغط الملفات : ZIP، GZIP، 7-Zip، MP3، JPEG — جميعها تعتمد على ترميز هوفمان أو الترميز الحسابي، وهي تقنيات مستوحاة من شانون.
Wi-Fi، 4G، 5G : رموز تصحيح الأخطاء (turbo codes، LDPC، polar codes) تقترب من حد شانون.
التعمية : أسّس شانون أيضًا التعمية الحديثة بمبرهنته لعام 1949 حول السرية التامة (one-time pad).
تعلم الآلة : الإنتروبيا المتقاطعة (cross-entropy) هي دالة الخسارة المعيارية لتدريب الشبكات العصبية للتصنيف.
علم الأحياء : إنتروبيا الجينوم، تعقيد متتاليات الـ ADN، قياس التنوع البيئي.
الفيزياء : الإنتروبيا الترموديناميكية لبولتزمان (1872) هي صورة فيزيائية من إنتروبيا شانون (قبل أوانها).

📐 الرابط مع برنامجك

تربط إنتروبيا شانون عدة مفاهيم من البكالوريا علوم رياضية :

الاحتمالات : تُعرَّف الإنتروبيا على توزيع احتمالي. رابط مع المتغيرات العشوائية المتقطعة (برنامج الثانية بكالوريا علوم رياضية).
اللوغاريتم : تستعمل الصيغة $lo g_{2}$ ، إذن رابط مباشر مع درس الدالة اللوغاريتمية.
المجاميع : تحتوي الصيغة على مجموع متقطع ∑ $p_{i}$ log( $p_{i}$ ). حالة خاصة من الأمل الرياضياتي E(− log p) إذا عرّفنا المتغير « المفاجأة ».
الاستمثال : إثبات أن H قصوى من أجل التوزيع المنتظم يتم بمضاعِفات لاغرانج (ما بعد البكالوريا) أو بتقعر اللوغاريتم (الثانوي).

🧠 الإنتروبيا بوصفها « مفاجأة » متوسطة

تأويل عميق : إذا لاحظت حدثًا احتماله p، فإن مفاجأتك تساوي − $lo g_{2}$ (p). الحدث المرجح جدًا (p → 1) لا يفاجئك (المفاجأة → 0). والحدث النادر جدًا (p → 0) يفاجئك بشدة (المفاجأة → ∞).

الإنتروبيا H = E(المفاجأة) هي المفاجأة المتوسطة التي تحصل عليها عند ملاحظة المتغير. كلما كان المصدر غير قابل للتنبؤ أكثر، فاجأك في المتوسط أكثر، واحتوى معلومات أكثر.

اخترع كلود شانون في عام 1948 المفهوم المركزي للعصر الرقمي. بدون إنتروبياه، لم يكن ليوجد إنترنت، ولا Wi-Fi، ولا Netflix، ولا ذكاء اصطناعي. وهي أيضًا واحدة من الحالات النادرة التي أنشأ فيها شخص واحد، في مقال واحد، تخصصًا علميًا كاملًا. ابحث عن « Shannon entropy » في محرك بحث — ستحصل على ملايين النتائج. كل علم المعلومات المعاصر منحدر من هذه الصفحات الـ 79 المنشورة في Bell System Technical Journal.

🎯

تحقّق من فهمك

٣ أسئلة قصيرة للتأكد من مكتسباتك. يمكنك إعادة المحاولة.

← أطلس المفاهيم يُثرى الأطلس كل أسبوع

Disponible dans 0 jour

إنتروبيا شانون

🎛️ قِس إنتروبيا قطعة نقدية مغشوشة

📡 1948 : شانون يخترع نظرية المعلومات

🪙 أبسط حالة : الوجه أو الظهر

🤔 لماذا نأخذ اللوغاريتم؟

💾 التطبيق الذي غيّر العالم : الضغط

📡 القناة المُشوَّشة : شانون ضرب مجددًا

🌍 تطبيقات : أنت تستعمل شانون كل يوم

📐 الرابط مع برنامجك

🧠 الإنتروبيا بوصفها « مفاجأة » متوسطة

تحقّق من فهمك