🎛️ قِس إنتروبيا قطعة نقدية مغشوشة
حرّك احتمال الوجه (Pile) بين 0 و 1. تكون الإنتروبيا قصوى عندما p = 0.5 (قطعة سليمة) ومنعدمة عند الطرفين.
H(p) الحالية
1.000 bit
الإنتروبيا القصوى
1 bit (عند p = 0.5)
الحالة
القصوى (متساوية الاحتمال)
p = 0.5 : الوجه والظهر متساويا الاحتمال. كل سحبة تحمل 1 بِت من المعلومات. إنتروبيا قصوى.
📡 1948 : شانون يخترع نظرية المعلومات
خلال الحرب العالمية الثانية، كان كلود شانون (1916-2001)، المهندس في مختبرات بِل (Bell Labs)، يعمل على فك تشفير اتصالات العدو. وطرح على نفسه سؤالًا: كيف نُكَمِّم المعلومة المحتواة في رسالة؟
في عام 1948، نشر A Mathematical Theory of Communication. إنها شهادة ميلاد نظرية المعلومات. وصيغته المركزية، الإنتروبيا، تُعطي قياسًا موضوعيًا وكونيًا للمحتوى المعلوماتي.
إنتروبيا شانون
من أجل متغير عشوائي X يأخذ N قيمة باحتمالات p1, …, pN :
H(X) = − ∑i pi · log2(pi)
الوحدة : بِت (bits)
🪙 أبسط حالة : الوجه أو الظهر
ارمِ قطعة نقدية. نتيجتان ممكنتان : الوجه (الاحتمال p) أو الظهر (الاحتمال 1 − p). تساوي الإنتروبيا :
H(p) = −p · log2(p) − (1 − p) · log2(1 − p)
احسب بعض القيم :
- p = 1 أو p = 0 : H = 0 بِت. القطعة مغشوشة، النتيجة أكيدة. لا توجد أي معلومة.
- p = 0.1 أو p = 0.9 : H ≈ 0.47 بِت. منحازة جدًا، عدم يقين ضئيل.
- p = 0.5 : H = 1 بِت. قطعة سليمة، عدم اليقين أقصاه. 1 بِت من المعلومات لكل سحبة.
🤔 لماذا نأخذ اللوغاريتم؟
سؤال جيد. يجلب اللوغاريتم ثلاث خاصيات سحرية :
- الجمعية : إذا كان X و Y مستقلين، فإن H(X, Y) = H(X) + H(Y). منطقي : إذا تلقيت رسالتين مستقلتين، فالمعلومة الإجمالية هي المجموع.
- الاستمرارية : تتغير H باستمرار عندما تتغير الاحتمالات. بدون قفزات مفاجئة.
- السُّلَّم : مضاعفة عدد النتائج المتساوية الاحتمال تضيف بالضبط 1 بِت. بديهي جدًا عند التفكير بالنظام الثنائي.
برهن شانون أن الدالة H هي الوحيدة التي تحقق هذه الخاصيات الثلاث (إلى حدود ثابتة ضربية). اللوغاريتم ليس اختيارًا اعتباطيًا — إنه النتيجة المنطقية للمسلّمات الطبيعية.
💾 التطبيق الذي غيّر العالم : الضغط
برهن شانون المبرهنة الأولى للترميز :
مبرهنة شانون (1948)
من أجل مصدر معلومات من N رمزًا بإنتروبيا H بِت/رمز، فإن العدد الأدنى من
البِتات اللازمة لترميزه بدون ضياع هو H × N في المتوسط.
بعبارة أخرى : إذا كنت تسعى لضغط نص، فلا يمكنك أن تفعل أفضل من H بِت لكل حرف. H هي الحد الفيزيائي المطلق. كل تقنيات الضغط الحديثة (ZIP، GZIP، PNG، MP3، MPEG…) تحاول الاقتراب من هذا الحد.
إنتروبيا نص فرنسي متوسط تقارب 4 بِت لكل حرف. الحرف بدون ضغط يأخذ 8 بِت (1 أوكتيت). إذن نسبة الضغط النظرية القصوى هي ≈ 2:1. وهذا ما نلاحظه عمليًا مع الخوارزميات الجيدة.
📡 القناة المُشوَّشة : شانون ضرب مجددًا
برهن شانون أيضًا المبرهنة الثانية للترميز : من أجل قناة إرسال مُشوَّشة (Wi-Fi، 4G، الألياف البصرية مع تشويش)، توجد سعة C بـ بِت/ثانية، يستحيل فوقها أي إرسال موثوق، ويمكن تحتها الإرسال بمعدل خطأ صغير اختياريًا كما نشاء.
صيغة شانون-هارتلي لسعة قناة :
C = W · log2(1 + S/N)
حيث W هي عرض النطاق (Hz) و S/N نسبة الإشارة إلى التشويش. كل الاتصالات الهاتفية الحديثة مُصممة للاقتراب من هذا الحد. تقترب 5G من C بنسبة 90٪.
🌍 تطبيقات : أنت تستعمل شانون كل يوم
- ضغط الملفات : ZIP، GZIP، 7-Zip، MP3، JPEG — جميعها تعتمد على ترميز هوفمان أو الترميز الحسابي، وهي تقنيات مستوحاة من شانون.
- Wi-Fi، 4G، 5G : رموز تصحيح الأخطاء (turbo codes، LDPC، polar codes) تقترب من حد شانون.
- التعمية : أسّس شانون أيضًا التعمية الحديثة بمبرهنته لعام 1949 حول السرية التامة (one-time pad).
- تعلم الآلة : الإنتروبيا المتقاطعة (cross-entropy) هي دالة الخسارة المعيارية لتدريب الشبكات العصبية للتصنيف.
- علم الأحياء : إنتروبيا الجينوم، تعقيد متتاليات الـ ADN، قياس التنوع البيئي.
- الفيزياء : الإنتروبيا الترموديناميكية لبولتزمان (1872) هي صورة فيزيائية من إنتروبيا شانون (قبل أوانها).
📐 الرابط مع برنامجك
تربط إنتروبيا شانون عدة مفاهيم من البكالوريا علوم رياضية :
- الاحتمالات : تُعرَّف الإنتروبيا على توزيع احتمالي. رابط مع المتغيرات العشوائية المتقطعة (برنامج الثانية بكالوريا علوم رياضية).
- اللوغاريتم : تستعمل الصيغة log2، إذن رابط مباشر مع درس الدالة اللوغاريتمية.
- المجاميع : تحتوي الصيغة على مجموع متقطع ∑ pi log(pi). حالة خاصة من الأمل الرياضياتي E(− log p) إذا عرّفنا المتغير « المفاجأة ».
- الاستمثال : إثبات أن H قصوى من أجل التوزيع المنتظم يتم بمضاعِفات لاغرانج (ما بعد البكالوريا) أو بتقعر اللوغاريتم (الثانوي).
🧠 الإنتروبيا بوصفها « مفاجأة » متوسطة
تأويل عميق : إذا لاحظت حدثًا احتماله p، فإن مفاجأتك تساوي −log2(p). الحدث المرجح جدًا (p → 1) لا يفاجئك (المفاجأة → 0). والحدث النادر جدًا (p → 0) يفاجئك بشدة (المفاجأة → ∞).
الإنتروبيا H = E(المفاجأة) هي المفاجأة المتوسطة التي تحصل عليها عند ملاحظة المتغير. كلما كان المصدر غير قابل للتنبؤ أكثر، فاجأك في المتوسط أكثر، واحتوى معلومات أكثر.