Gerçekleşen sonuçlara modelin ne kadar olasılık verdiğini bilirsek tahminin bedelini ölçebiliriz. Çapraz entropi bu olasılıkları gerçek sonuçların sıklığına göre ortalar. KL ıraksaması, ortaya çıkan bedelin gerçek dağılımı bilseydik kaçınabileceğimiz kısmını gösterir. İki renkli bir kutuyla başlayıp bu ölçüleri hesaplayacak, sıfır olasılık durumunu ve yapay zekâ eğitimindeki karşılıklarını inceleyeceğiz.

Bir olayın olasılığını biliyorsak gerçekleştiğinde ne kadar şaşıracağımızı da ölçebiliriz. Entropi, bu şaşkınlığı bütün olası sonuçlar için ortalayıp henüz sonucu görmeden ne kadar belirsizlik taşıdığımızı söyler. Aynı hesap, verinin sıkıştırılmasında ve bir karar ağacının soracağı soruyu seçmesinde karşımıza çıkar. Olasılık ve logaritmadan başlayarak bilgi miktarına ulaşacak; entropiyi farklı dağılımlarda hesaplayıp sınırlarını ve yapay zekâdaki kullanımını göreceğiz.