İletişimin Matematiksel Bir Kuramı

İletişimin Matematiksel Bir Kuramı Claude Shannon, kriptografiyle ilgili teorilerini henüz tamamlamıştı. Dolayısıyla, insan iletişiminin rastgelelikle istatistiksel bağımlılıkların bir karışımı olduğunun bilincindeydi. İletilerimizdeki harfler, bir açıdan kendilerinden önceki harflere bağımlıydı. 1949'da yayınladığı "İletişimin Matematiksel Bir Kuramı" makalesiyle yer yerinden oynadı. Shannon, bu makalesinde Markov modellerini iletişime yaklaşımın temeli olarak benimsemiş ve makaleye, oyuncak örneğiyle başlamıştı. a, b ve c harflerinden oluşan bir alfabeyle yazılmış bir metin düşünün. Bu dille ilgili hiçbir şey bilmiyor da olabilirsiniz. Ama şunu biliyorsunuz: a'lar kendi aralarında kümelenme eğiliminde, ama b ve c'ler değil. Shannon, makalesinde, bir Markov zinciri kullanılarak görünüşte buna benzeyen bir metin ortaya çıkartılabileceğini anlatıyor. İşe sıfır yaklaşıklık derecesiyle başlıyor. Yani a b veya c harflerini bağımsız ve rastgele olarak seçip bir dizi oluşturuyor. Ne var ki bu dizi asıl diziye benzemiyor. Bunun üstüne Shannon, birinci dereceden bir yaklaşıklıkla daha iyi sonuçlar alınabileceğini ortaya koyuyor. Bu aşamada harfler yine bağımsız olarak fakat asıl dizideki harf olasılıklarına uygun olarak seçiliyor. Sonuç a'ların çoğunlukta olması açısından bir önceki sonuçtan biraz daha iyi. Ama yine de yapı başarılı şekilde taklit edilemiyor. Sonra kilit aşama geliyor. Yani harf çiftlerinin olasılıklarını göz önünde bulunduran ikinci dereceden bir yaklaşıklık. Ve bu aşama için üç duruma ihtiyaç var. İlk durum a'yla başlayan tüm harf çiftlerinden; ikinci durum b'yle başlayan tüm harf çiftlerinden; üçüncü durum ise c'yle başlayan tüm harf çiftlerinden oluşuyor. Dikkat ederseniz A bardağı çok sayıda a-a çifti içeriyor. Bu mantıklı. Çünkü asıl iletide bir a'dan sonra başka bir a'nın gelme ihtimali yüksekti. Şimdi, ikinci dereceden bu modeli kullanarak bir dizi oluşturabiliriz. Şöyle: Herhangi bir bardaktan başlayarak bir harf çifti çekiyoruz. Bu harf çiftini bir kenara yazıyoruz yani çıktı alıyoruz. Sonra, ikinci harfle belirlenen bardağa geçiyoruz. Sonra yeni bir harf çifti belirleyip, aynı süreci sonsuz kez tekrarlıyoruz. Dikkat ederseniz metin, orijinal mesaja çok benziyor. Çünkü bu model, harfler arasındaki koşullu bağımlılıkları taklit ediyor. Daha da iyi bir sonuç için, üçlü harf dizilerini, yani üç harfli kelimeleri hesaba katan üçüncü dereceden bir yaklaşıklık kullanabiliriz. O zaman dokuz duruma ihtiyacımız olacaktır. Shannon, bir sonraki adımda, aynı mantığı gerçek bir İngilizce metin üzerinde uyguluyor. Bunu yaparken, harfler harf çiftleri ve harf üçlülerine dair bilinen istatistiklerden yararlanıyor. Yine aynı şekilde rastgele harflerden, yani sıfırıncı dereceden başlıyor; sonra birinci dereceye geçiyor sonra ikinci dereceye ve nihayet üçüncü dereceyi deniyor. Sonra bunu harfler yerine kelimelerle tekrarlıyor. Ve herhangi bir İngilizce metne olan benzerliğin her seviyede ciddi şekilde arttığı sonucuna ulaşıyor. Tüm bu makineler anlamsız metinler yaratıyor olsa da gerçek İngilizce diliyle yaklaşık olarak aynı istatistiksel yapıyı paylaşmaktadır. Bu makaleden sonra Shannon, bilginin nicel bir tanımını yapmaya koyuldu. Çünkü benzer görünümlü bir dizi oluşturabilmek için, bir iletideki bilgi miktarının makinenin tasarımına iliştirilmesi gerektiğini fark etmişti. Bu da bizi, onun "entropi" kavramına götürüyor.