19. Olabilirlik, Log-Olabilirlik ve Parametre Tahmini: MLE ile MAP

15 Eylül 2026

23 dakika

174 görüntüleme

Gözlediğimiz veriye hangi model ayarı daha iyi uyuyor? Olabilirlik, farklı ayarları bu soruyla karşılaştırmamızı sağlar. En yüksek olabilirlik tahmini (MLE), yalnızca veriye bakarak en uyumlu parametreyi seçer. En yüksek sonsal tahmin (MAP) ise önceki bilgiyi de hesaba katar. Bu makalede önce bir madeni para örneğiyle temel fikri kuracağız. Ardından log-olabilirliği neden kullandığımızı, MLE ile MAP arasındaki farkı ve olabilirlik yaklaşımının yapay zekâdaki kayıp fonksiyonlarına nasıl dönüştüğünü adım adım inceleyeceğiz.

Dağılımdan Veriye Gittik, Şimdi Yönü Tersine Çevirelim

Beklenen Değer ve Varyans makalesine kadar çoğunlukla parametreleri biliyor, bu parametrelerin üreteceği sonuçları inceliyorduk. Örneğin bir paranın yazı gelme olasılığı $p=0{,}8$ ise on atışta kaç yazı görebileceğimizi; Poisson dağılımında saatlik ortalama çağrı sayısı $\lambda=4$ ise bir saatte kaç çağrı gelebileceğini soruyorduk.

Çoğu zaman parametreyi bilmeyiz; elimizde yalnızca sonuçlar vardır. Bir para on atışın sekizinde yazı geldiyse şu soruyu sorarız:

Bu sonuçları üreten paranın yazı olasılığı için hangi değer daha güçlü bir adaydır?

Bu on atış paranın gerçek yazı olasılığını kesin olarak söylemez. Adil bir para da sekiz kez yazı gelebilir; yazı olasılığı 0,9 olan bir para da iki kez tura gelebilir. Yine de gözlediğimiz dizi bazı adaylarla diğerlerinden daha uyumludur.

Parametre tahmininde önce verinin nasıl üretildiğine ilişkin bir model seçeriz. Sonra olası ayarları deneyip hangisinin gözlediğimiz veriye daha iyi uyduğunu karşılaştırırız.

Hesaplar boyunca on bağımsız atışta sekiz yazı ve iki tura gözlediğimiz aynı parayı kullanacağız.

Üç Farklı Para, Aynı Gözlenmiş Veri

Yazı gelme olasılığı için üç aday düşünelim:

Birinci aday $p=0{,}5$: Para adil olabilir.
İkinci aday $p=0{,}8$: Para yazıya belirgin biçimde eğilimli olabilir.
Üçüncü aday $p=0{,}9$: Para yazıya çok güçlü biçimde eğilimli olabilir.

Sekiz yazı ve iki turadan oluşan belirli bir sıralamanın olasılığını düşünelim. Her yazı sonucu $p$, her tura sonucu $1-p$ çarpanı getirir. Sekiz yazı ve iki tura bulunduğu için adayın puanı:

$$ p^8(1-p)^2 $$

olur. Önce üç adayın bu ifadeye verdiği değerleri karşılaştıralım:

Aday yazı olasılığı	Sekiz yazı ve iki tura için puan	Günlük dille yorum
$p=0{,}5$	$0{,}0009765625$	Bu belirli sıralamaya verdiği puan, 0,8 adayının verdiği puandan daha düşüktür.
$p=0{,}8$	$0{,}0067108864$	Sekiz yazı ile iki turayı birlikte en iyi dengeleyen adaydır.
$p=0{,}9$	$0{,}0043046721$	Sekiz yazıya uyar; fakat iki turayı 0,8'e göre daha zor açıklar.

Bu küçük sayılar, on atışın belirli bir sıralamasına aittir. Uzun bir dizinin tek bir sırası düşük olasılık alabilir. Sayıları yüzde olarak yorumlamak yerine aynı veriye verilen puanları karşılaştırıyoruz. Yalnızca “sekiz yazı çıktı” bilgisini değerlendireceksek mümkün sıralamaların sayısını da hesaba katmalıyız; buna ileride döneceğiz.

Üç aday arasında en büyük puanı $p=0{,}8$ verdi. Bu sonuç sezgiseldir: On gözlemin sekizi yazı olduğuna göre gözlenen yazı oranı $8/10=0{,}8$'dir.

Diğer adayların puanı sıfır değildir. $p=0{,}8$, karşılaştırdığımız üç değer arasında veriye en iyi uyan adaydır; veri gerçek olasılığın kesin olarak 0,8 olduğunu söylemez.

Olasılık ile Olabilirlik Aynı Formüle Farklı Yönden Bakar

Biraz önce hesapladığımız sayılara olabilirlik (likelihood) adını veririz. Olasılık ile olabilirlik aynı matematiksel ifadeyi kullanabilir; fakat sabit tuttuğumuz şey ve sorduğumuz soru farklıdır.

Bakış açısı	Sabit tuttuğumuz	Değiştirdiğimiz	Sorduğumuz soru
Olasılık	Model ayarı, örneğin $p=0{,}8$	Henüz oluşmamış sonuç	Bu para hangi sonuçları ne sıklıkta üretir?
Olabilirlik	Gözlenmiş sekiz yazı ve iki tura	Aday $p$ değeri	Hangi para ayarı bu veriye daha iyi uyar?

Olasılık hesabında model ayarını sabit tutup hangi sonuçların gelebileceğini sorarız. Olabilirlik hesabında gördüğümüz veri sabittir; $p$'yi değiştirip her adayın bu veriye verdiği puanı hesaplarız.

Bu fikri genel bir gösterimle yazmak istediğimizde gözlenmiş veriye $D$, modelin bütün ayarlarına da $\theta$ deriz. Olabilirlik fonksiyonu:

$$ L(\theta;D)=P(D\mid\theta) $$

diye yazılır. $D$ gözlenmiş veridir ve sabit kalır; $\theta$ yerine farklı ayarlar koyarız. Noktalı virgül bu ayrımı hatırlatır.

Para örneğinde $\theta$ yerine yalnızca $p$ vardır.
$D$, gözlediğimiz on atışın sonuçlarıdır.
$L$, her aday $p$ için bir olabilirlik değeri üretir.

Olabilirlik, parametrenin olasılığı değildir. $P(D\mid\theta)$, “bu parametre altında veri” yönündeki sorudur. “Veriyi gördükten sonra parametrenin olasılığı” ise $P(\theta\mid D)$ yönündedir ve önsel bilgiyle birlikte Bayes Teoremi'ni gerektirir.

Birden Fazla Gözlem Varsa Puanlar Neden Çarpılır?

Üç atışta sırasıyla yazı, yazı ve tura gördüğümüz daha küçük bir örnek düşünelim. Yazı olasılığı $p$ ise ilk yazının olasılığı $p$, ikinci yazının olasılığı yine $p$, turanın olasılığı $1-p$'dir.

Atışların birbirinden bağımsız olduğunu kabul ediyorsak üç sonucun birlikte gerçekleşme olasılığı:

$$ p\times p\times(1-p)=p^2(1-p) $$

olur. On atışta sekiz yazı ve iki tura için aynı düşünce sekiz tane $p$ ve iki tane $1-p$ çarpanı üretir. Böylece $p^8(1-p)^2$ ifadesine ulaşırız.

Genel olarak $n$ bağımsız gözlemin olabilirliğini kısa biçimde şöyle yazarız:

$$ L(\theta;D) =\prod_{i=1}^{n}P(x_i\mid\theta) $$

$\prod$, $i=1$'den $n$'ye kadar bütün gözlemlerin katkılarını çarpmamızı söyler. Üç atıştaki $p\times p\times(1-p)$ işlemini aynı işaretle kısaca yazdık.

Bu çarpım için gözlemlerin bağımsız olduğunu varsaydık. Aynı kişinin art arda verdiği yanıtlar veya birbirini etkileyen zaman ölçümleri bu koşulu karşılamayabilir. Bunları ayrı kanıtlar gibi çarpmak, elimizdeki kanıt miktarını olduğundan fazla gösterebilir. Bağımlı gözlemlerde önceki sonuçları koşul olarak alan bir ortak olasılık kurmamız gerekir.

Sürekli ölçümlerde tek bir kesin değerin olasılığı yerine olasılık yoğunluğu kullanılır. Olabilirlik mantığı değişmez: Veriyi sabit tutup farklı parametrelerin gözlenen değerlerin çevresine ne kadar yoğunluk yerleştirdiğini karşılaştırırız. Yoğunluk bir olay olasılığı olmadığı için olabilirlik değerini doğrudan yüzde olarak okumamalıyız.

En Yüksek Noktayı Seçmek: MLE

Para örneğinde $p$'yi 0 ile 1 arasında küçük adımlarla değiştirdiğimizi düşünelim. Her aday için $p^8(1-p)^2$ değerini hesaplar ve sonuçları bir grafik üzerinde işaretlersek bir tepe elde ederiz. Tepe, gözlenmiş veriye en yüksek olabilirliği veren parametredir.

Olabilirliği en yüksek yapan parametreyi seçme yöntemine En Yüksek Olabilirlik Tahmini (Maximum Likelihood Estimation, MLE) denir. Para örneğimizde tepe $p=0{,}8$'dedir:

$$ \widehat p_{\mathrm{MLE}}=0{,}8 $$

$\widehat p$ üzerindeki şapka, 0,8'in bilinmeyen gerçek parametre değil, veriden elde ettiğimiz tahmin olduğunu belirtir. Seçtiğimiz model altında olabilirliği en büyük yapan değer 0,8'dir.

Aynı düşüncenin genel ve kısa gösterimi şöyledir:

$$ \widehat{\theta}_{\mathrm{MLE}} =\underset{\theta}{\operatorname{arg\,max}}\;L(\theta;D) $$

Gösterimdeki parçaların görevleri şunlardır:

$\theta$, sırayla denediğimiz aday model ayarıdır.
$L(\theta;D)$, adayın gözlenmiş veriye verdiği olabilirliktir.
$\operatorname{arg\,max}$, “en büyük puanın kendisini değil, o puanı oluşturan ayarı bul” demektir.
$\widehat{\theta}_{\mathrm{MLE}}$, bu aramanın sonunda seçilen parametre tahminidir.

Bir yarışmada en yüksek puan 96, bu puanı alan kişi Ayşe ise “maksimum” 96'yı, “argüman maksimumu” ise Ayşe'yi seçer. MLE de olabilirlik değerini değil, en yüksek olabilirliği üreten parametreyi döndürür.

Log-Olabilirlik: Aynı Yarışı Daha Kolay Sayılarla Yapmak

Yüzlerce veya milyonlarca gözlemin küçük olasılıklarını çarptığımızda sonuç çok küçülür. Sayı bilgisayarın temsil edebileceği aralığın altına düşerse sıfıra yuvarlanabilir.

Üstel ve Logaritmik Fonksiyonlar makalesinde gördüğümüz gibi logaritma çarpımları toplama dönüştürür:

$$ \ln(a\cdot b\cdot c)=\ln a+\ln b+\ln c $$

Böylece çok sayıda küçük olasılığı doğrudan çarpmak yerine logaritmalarını toplarız. Olabilirliğin doğal logaritmasına log-olabilirlik (log-likelihood) der ve genellikle küçük $\ell$ harfiyle gösteririz:

$$ \ell(\theta;D)=\ln L(\theta;D) $$

Logaritma artan bir fonksiyondur: İki pozitif sayıdan hangisi büyükse onun logaritması da büyüktür. Bu nedenle logaritma yarışın sıralamasını değiştirmez. Olabilirliği en yüksek yapan aday, log-olabilirliği de en yüksek yapar.

Aday $p$	Olabilirlik	Log-olabilirlik
0,5	0,0009765625	yaklaşık $-6{,}931$
0,8	0,0067108864	yaklaşık $-5{,}004$
0,9	0,0043046721	yaklaşık $-5{,}448$

Logaritma değerleri negatif olabilir; bu bir hata değildir. 0 ile 1 arasındaki sayıların logaritması negatiftir. Burada en büyük değer, sıfıra en yakın olan $-5{,}004$'tür. Kazanan yine $p=0{,}8$'dir.

Yazılımlar çoğu zaman log-olabilirliği büyütmek yerine onun negatifini küçültür. Buna negatif log-olabilirlik (negative log-likelihood, NLL) denir:

$$ \mathrm{NLL}=-\ell $$

Eksi işareti sıralamayı tersine çevirir: Log-olabilirliği en büyük yapan parametre, negatif log-olabilirliği en küçük yapar. Kayıp olarak NLL seçildiğinde modeli eğitmek, olabilirliği büyütmek anlamına gelir.

Para Örneğinde MLE'yi Adım Adım Türetmek

Okuma notu: Aşağıdaki türetim, $p=0{,}8$ sonucunun cebirsel olarak neden çıktığını gösterir. Türev adımlarını takip etmekte zorlanırsanız ana sonucu kaybetmiş olmazsınız: Bernoulli modelinde MLE, gözlenen başarı oranıdır.

Genel durumu ele alalım. $n$ bağımsız denemede $s$ başarı gözlenmiş olsun. Başarısızlık sayısı $n-s$'dir. Olabilirlik:

$$ L(p)=p^s(1-p)^{n-s} $$

Logaritma aldığımızda üsler çarpan olarak öne gelir:

$$ \ell(p)=s\ln p+(n-s)\ln(1-p) $$

En yüksek noktayı bulmak için Türev makalesinde öğrendiğimiz yöntemi kullanırız. Log-olabilirliğin türevini sıfıra eşitleriz:

$$ \begin{aligned} \frac{d\ell}{dp} &=\frac{s}{p}-\frac{n-s}{1-p}=0 \\ s(1-p)&=(n-s)p \\ s-sp&=np-sp \\ s&=np \\ \widehat p_{\mathrm{MLE}}&=\frac{s}{n} \end{aligned} $$

İlk satırdaki kesirleri paydalarıyla çarparak sadeleştirdik. Her iki taraftaki $-sp$ terimi çıkınca $s=np$ kaldı; iki tarafı $n$'ye bölerek tahmini bulduk.

On atışta sekiz yazı için $s=8$ ve $n=10$'dur:

$$ \widehat p_{\mathrm{MLE}} =\frac{8}{10} =0{,}8 $$

Üç adayı karşılaştırırken bulduğumuz $0{,}8$'e cebirle de ulaştık. Bütün denemeler yazı olsaydı MLE sınırda $p=1$, hepsi tura olsaydı $p=0$ verecekti. Az veriyle böyle uç tahminler çıkabileceğini akılda tutalım.

Sıralama mı, yalnızca sayı mı? Belirli bir sekiz-yazı-iki-tura sıralamasını gözlediysek olabilirlik $p^8(1-p)^2$'dir. Yalnızca “on atışta sekiz yazı” sayısını kaydettiysek Binom katsayısı $\binom{10}{8}$ de eklenir. Bu katsayı $p$'ye bağlı olmadığı için MLE sonucunu değiştirmez; fakat olabilirliğin sayısal değerini değiştirir.

MLE Hesabının Kısa Özeti

Gözlenmiş veriyi sabit tuttuk: sekiz yazı ve iki tura.
Farklı $p$ adaylarının bu veriye verdiği olabilirliği karşılaştırdık.
En yüksek olabilirliği veren adayı MLE olarak seçtik.
Çarpımları kolaylaştırmak için log-olabilirliğe geçtik; kazanan değişmedi.
Türev kullanarak Bernoulli MLE'sinin başarı oranı $s/n$ olduğunu gösterdik.

Poisson ve Normal dağılımlarda da bu adımları izleyeceğiz. Değişen şey, verinin türüyle birlikte seçtiğimiz olasılık modelidir.

Dağılım Değişince Tahmin Edilen Şey de Değişir

Olasılık Dağılımları makalesindeki Bernoulli, Poisson ve Normal modelleri farklı veri türlerini anlatıyordu. Bu yüzden her birinin olabilirlik fonksiyonu ve tahmin ettiğimiz parametre farklıdır.

Veri türü ve model	Tahmin edilen parametre	MLE'nin verdiği tanıdık sonuç
Bernoulli: evet–hayır sonuçları	Başarı olasılığı $p$	Gözlenen başarı oranı
Poisson: zaman aralığındaki olay sayısı	Ortalama olay sayısı $\lambda$	Gözlenen sayıların ortalaması
Normal: bir merkez çevresindeki ölçümler	Merkez $\mu$	Gözlenen değerlerin ortalaması

Daha Derin Bakış: Poisson Sonucu Nereden Gelir?

Dört saatte sırasıyla 3, 5, 4 ve 6 çağrı gözlediğimizi düşünelim. Saatlerin aynı $\lambda$ değerine sahip bağımsız Poisson süreçleri olduğunu varsayarsak MLE sonucu bu sayıların ortalamasıdır:

$$ \widehat\lambda_{\mathrm{MLE}} =\overline{x} =\frac{3+5+4+6}{4} =4{,}5 $$

Yani model, saat başına ortalama 4,5 çağrı tahmin eder. Cebirsel nedenini görmek isteyen okuyucu için Poisson log-olabilirliğinin parametreye bağlı bölümü:

$$ \ell(\lambda) =-n\lambda+\left(\sum_{i=1}^{n}x_i\right)\ln\lambda+\text{sabit} $$

biçimindedir. Türevini sıfıra eşitlersek $\widehat\lambda=\sum x_i/n$, yani gözlediğimiz olay sayılarının ortalaması çıkar.

Daha Derin Bakış: Normal Model Neden Kareli Hataya Götürür?

Ölçümlerin bilinmeyen bir $\mu$ merkezi çevresinde, bilinen ve sabit $\sigma$ yayılımıyla Normal dağıldığını varsayalım. Bu modelde $\mu$'ya bağlı log-olabilirlik bölümü:

$$ \ell(\mu) =-\frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 +\text{sabit} $$

olur. Kareli farkların önünde eksi işareti bulunduğu için log-olabilirliği büyütmek, gözlemlerle $\mu$ arasındaki kareli uzaklıkların toplamını küçültmekle aynı şeydir. Bu toplamı en küçük yapan değer örneklem ortalamasıdır:

$$ \widehat\mu_{\mathrm{MLE}}=\overline{x} $$

Regresyonda kareli hata kaybı, hataların sabit varyanslı Normal dağıldığı varsayımından elde edilebilir. Bu olasılıksal yorumu kullandığımızda kaybın neden kareli olduğunu da açıklarız.

İnce bir ayrım: Normal modelde $\mu$ ve $\sigma^2$ birlikte tahmin edildiğinde olabilirliği en büyük yapan varyans tahmininin paydası $n$'dir. Örneklem varyansında gördüğümüz $n-1$ ise tekrarlanan örneklemlerdeki yanlılığı düzeltme amacına hizmet eder. İki formül farklı hedefleri izler.

En İyi Nokta, Ne Kadar Emin Olduğumuzu Söylemez

MLE tek bir tepe noktası seçer. Fakat tepenin ne kadar sivri veya yayvan olduğunu tek başına göstermez. Bu ayrımı iki veri kümesiyle görelim:

Veri	Gözlenen yazı oranı	MLE	Belirsizlik sezgisi
10 atışta 8 yazı	$8/10$	0,8	Az veri vardır; yakın birçok $p$ değeri hâlâ makul olabilir.
1000 atışta 800 yazı	$800/1000$	0,8	Çok daha fazla veri vardır; olabilirlik 0,8 çevresinde daha sıkı toplanır.

İki veri kümesinde de MLE 0,8'dir; 1000 atışlık sonuç bu değer çevresinde çok daha fazla kanıt sunar. Tek bir tahmin bu farkı göstermez. Güven aralığı, standart hata veya Bayesçi sonsal dağılım tahmin çevresindeki makul değerleri incelememize yardım eder.

MLE'yi yorumlarken şu sınırları hatırlamalıyız:

Modele bağlıdır: Yanlış dağılım ailesi seçildiyse hesap kusursuz olsa bile yorum yanlış olabilir.
Bağımsızlık önemlidir: Bağımlı kayıtları ayrı kanıtlar gibi saymak tahmini gereğinden emin gösterebilir.
Küçük örneklemde uç sonuç verebilir: Bir atışın yazı gelmesi bile MLE'yi $p=1$ yapar; bu, gelecek atışın kesin yazı olduğu anlamına gelmez.
En iyi aday kesin gerçek değildir: Tepe, yalnızca seçilen model altında en yüksek uyumu gösterir.
Sonlu örneklemde yanlı olabilir: Her MLE, uzun dönemde hedefin tam çevresinde merkezlenmek zorunda değildir.

Veriden Önce Bildiklerimizi Tamamen Yok Saymalı mıyız?

Bir fabrikada kullanılan paraların üretim süreci gereği çoğunlukla adile yakın olduğunu yıllardır biliyor olabiliriz. Yeni seçilen bir parayı yalnızca on kez attık ve sekiz yazı gördük. MLE yalnızca bu on atışa bakar ve $p=0{,}8$ der.

On gözlem, paraların çoğunlukla adile yakın olduğu yönündeki önceki bilgiyi ne kadar değiştirmeli?

Bayesçi yaklaşım üç parçayı birleştirir:

Önsel dağılım: Veriyi görmeden önce parametre hakkında bildiklerimiz veya açıkça seçtiğimiz başlangıç varsayımı.
Olabilirlik: Gözlenen verinin farklı parametre adaylarına verdiği destek.
Sonsal dağılım: Önceki bilgi ile veriyi birleştirdikten sonra parametre hakkındaki güncellenmiş görünümümüz.

Koşullu Olasılık ve Bayes Teoremi makalesindeki güncelleme fikrini parametreye uygularsak:

$$ P(\theta\mid D) =\frac{P(D\mid\theta)P(\theta)}{P(D)} $$

elde ederiz. Bu formülde $P(D\mid\theta)$ olabilirlik, $P(\theta)$ önsel ve $P(\theta\mid D)$ sonsaldır. $P(D)$ ise bütün adayların toplam ağırlığını 1'e getiren normalleştirme terimidir.

Aday parametreleri karşılaştırırken aynı $D$ verisi sabit kaldığı için $P(D)$ bütün adaylarda aynıdır. Bu nedenle tepenin yerini ararken daha kısa bir ifade kullanabiliriz:

$$ \text{sonsal} \;\propto\; \text{olabilirlik}\times\text{önsel} $$

$\propto$ işareti “aynı sabit dışında orantılıdır” diye okunur. Sonsal dağılım, gözlenen veriyle önsel dağılımı bu çarpım üzerinden birleştirir.

Sonsalın En Yüksek Noktasını Seçmek: MAP

Sonsal dağılımın en yüksek olduğu parametreyi seçme yöntemine En Yüksek Sonsal Tahmin (Maximum A Posteriori, MAP) denir:

$$ \widehat{\theta}_{\mathrm{MAP}} =\underset{\theta}{\operatorname{arg\,max}}\; P(\theta\mid D) $$

İki yöntemin seçtiği tepe farklı olabilir:

MLE: Yalnızca verinin olabilirliğini en yüksek yapan parametreyi seçer.
MAP: Olabilirlik ile önselin birlikte oluşturduğu sonsalın tepesini seçer.

Az veri olduğunda önselin etkisi daha belirgin olabilir. Veri arttıkça olabilirlik genellikle keskinleşir ve makul bir önselin göreli etkisi azalır. Bu değişimin hızı modelin yapısına ve önselin gücüne bağlıdır.

Önseli hangi bilgiye dayanarak seçtiğimizi açıkça söylemeliyiz. Geçmiş çalışmalar, fiziksel sınırlar, uzman bilgisi veya güvenlik gereksinimleri kaynak olabilir. Veriyi gördükten sonra istediğimiz sonucu verecek bir önsel seçersek güvenilir bir güncelleme yapmış olmayız.

Beta Önseliyle Para Örneğini Yeniden Düşünmek

Okuma notu: Bu bölüm MAP hesabının somut bir örneğini verir. Beta dağılımının cebirini tamamen takip etmeseniz de ana fikir şudur: Adile yakın paraları baştan daha makul gören bir önsel, az sayıdaki gözlemden gelen 0,8 tahminini 0,5 yönüne çeker.

Yazı olasılığı $p$, 0 ile 1 arasında olmalıdır. Bu aralık üzerinde farklı başlangıç inançları kurmak için Beta dağılımı kullanışlıdır. Önsel yoğunluğu $\pi(p)$ ile gösterelim:

$$ \pi(p)\propto p^{a-1}(1-p)^{b-1} $$

Buradaki $a$ ve $b$, önselin biçimini belirleyen pozitif sayılardır. $a=b=3$ seçersek önsel 0,5 çevresini uçlara göre daha güçlü destekler. Bu seçim “gerçek para kesinlikle adildir” demez; veri gelmeden önce adile yakın değerleri daha makul gördüğümüzü belirtir.

Sekiz yazı ve iki turanın olabilirliği $p^8(1-p)^2$'ydi. Önsel ile olabilirliği çarptığımızda:

$$ \begin{aligned} \text{sonsal} &\propto p^8(1-p)^2 \times p^{3-1}(1-p)^{3-1} \\ &=p^{10}(1-p)^4 \end{aligned} $$

elde ederiz. Bu önsel, hesapta iki ek yazı ve iki ek tura varmış gibi dengeleyici bir etki yapar. Gerçekte böyle atışlar yapmadık; bu yalnızca üslerin hesaba katkısını anlamaya yarayan bir benzetmedir.

İç bölgede bir tepe bulunduğunda Beta–Bernoulli modelinin MAP tahmini:

$$ \widehat p_{\mathrm{MAP}} =\frac{s+a-1}{n+a+b-2} =\frac{8+3-1}{10+3+3-2} =\frac{10}{14} \approx0{,}714 $$

olur. Yalnızca veriyi kullanan MLE 0,8; önsel ile veriyi birleştiren MAP yaklaşık 0,714 çıktı. Önsel, az veriden doğan uç tahmini 0,5 yönüne çekti.

Atış sayısı 10 yerine 10.000 olsaydı önselin birkaç birimlik katkısı toplam içinde çok daha küçük kalırdı. MAP veriyi kullanmaya devam eder; veri ile önselin göreli etkisi gözlem sayısına göre değişir.

MAP ile Düzenlileştirme Arasında Nasıl Bir Bağ Var?

MAP hesabının logaritmasını aldığımızda çarpım toplama dönüşür. Sonsalı büyütmek yerine negatifini küçültürsek amaç şu biçime gelir:

$$ \underset{\theta}{\operatorname{minimize}} \left[ \underbrace{-\ell(\theta;D)}_{\text{veriye uyumsuzluk}} + \underbrace{-\ln P(\theta)}_{\text{önsel cezası}} \right] $$

İlk bölüm modelin veriyi ne kadar kötü açıkladığını, ikinci bölüm ise seçilen önsele göre parametrenin ne kadar sıra dışı olduğunu ölçer. Yapay zekâda model ağırlıklarının gereksiz yere büyümesini veya karmaşıklaşmasını sınırlayan ek terimlere düzenlileştirme (regularization) denir.

Ağırlıklar için sıfır merkezli Normal önsel seçmek, ağırlıkların karelerini cezalandıran $L_2$ düzenlileştirmesiyle bağlantı kurar.
Sıfır çevresinde daha sivri bir Laplace önseli seçmek, mutlak değerleri cezalandıran $L_1$ düzenlileştirmesiyle bağlantı kurar.

Düzenlileştirmeyi ileride ayrıntılı inceleyeceğiz. Burada MAP hesabının veriye uyumu ve parametre hakkındaki önsel bilgiyi aynı amaçta birleştirdiğini görüyoruz.

Her ceza terimini sonradan otomatik olarak bilinçli bir Bayes modeli saymamalıyız. Kullanılan toplam veya ortalama kayıp, veri sayısı ve ceza katsayısı önsel yorumunun ölçeğini etkiler. Olasılıksal yorum ancak varsayımlar açıkça kurulduğunda anlamlıdır.

MLE, MAP ve Tam Sonsal Aynı Bilgiyi Vermez

MLE ve MAP tek bir tepenin yerini verir. Bu noktanın çevresindeki dağılım geniş mi dar mı, başka yüksek bölgeler var mı? Bunları tek sayıdan göremeyiz.

Yaklaşım	Kullandığı bilgi	Ürettiği sonuç	Tek başına göstermediği
MLE	Olabilirlik	Veriye en uyumlu tek parametre	Önsel bilgi ve tepenin genişliği
MAP	Olabilirlik ve önsel	Sonsalın tepesindeki tek parametre	Sonsalın tamamı ve başka tepeler
Tam sonsal	Olabilirlik ve önsel	Parametre değerleri üzerindeki güncellenmiş dağılım	Tek sayıya indirgenmediği için hesap ve aktarım daha zor olabilir

MAP, Bayes Teoremi'ni kullanır; fakat bütün sonsal dağılımı taşımadığı için tam Bayesçi çıkarımla aynı şey değildir. Sonsal genişse MAP noktasının çevresinde çok sayıda başka değer de makul olabilir. İki ayrı tepe varsa MAP yalnızca bunlardan en yükseğini seçer ve ikinci bölgeyi görünmez kılabilir.

“En iyi tahmin nedir?” sorusunu tek bir değerle yanıtlayabiliriz. Hangi değerlerin ne kadar desteklendiğini görmek için aralıklara veya dağılımın tamamına bakmak gerekir.

Yapay Zekâ Eğitiminde Olabilirlik ve Kayıp

Birçok yapay zekâ modeli, doğru cevaplara yüksek olasılık verecek parametreleri arar. Uygulamada bu işlem çoğunlukla doğru cevapların negatif log-olabilirliğini küçültmek biçiminde yazılır.

Görev	Olasılık modeli	Ortaya çıkan eğitim amacı
İkili sınıflandırma	Bernoulli	İkili çapraz entropi, yani Bernoulli NLL
Çok sınıflı sınıflandırma	Kategorik dağılım	Sınıflar üzerindeki çapraz entropi
Sürekli değer tahmini	Sabit varyanslı Normal hata	Kareli hata
Olay sayısı tahmini	Poisson	Poisson negatif log-olabilirliği
Bir sonraki kelime parçası	Önceki parçalar koşulunda kategorik dağılım	Doğru parçanın negatif log-olabilirliği

Sınıflandırma tablosundaki çapraz entropi, doğru sınıfa verilen olasılıkla ilişkilidir. Model doğru sınıfa düşük olasılık verirse negatif log-olabilirlik ve kayıp büyür; yüksek olasılık verirse küçülür. Çapraz entropiyi ileride ayrıntılı inceleyeceğiz.

Kayıp fonksiyonu seçtiğimiz olasılık modeliyle ilişkilidir. Sayım verisine Normal hata modeli, çok aykırı değerli veriye sabit varyans varsayımı veya birbirine bağlı kayıtlara bağımsızlık varsayımı uygulamak modelin öğrendiği şeyi değiştirebilir.

Dil modellerinde bir metnin yüksek olabilirliğe sahip olması, o metnin gerçek veya güvenli olduğunu kanıtlamaz. Olabilirlik, dizinin eğitim dağılımına göre ne kadar beklenen göründüğünü ölçer. Olgusal doğruluk, güvenlik ve tarafsızlık ayrı değerlendirmeler gerektirir.

Benzer biçimde eğitim olabilirliğini sürekli artırmak yeni veride başarı garantisi değildir. Çok esnek bir model eğitim örneklerini ezberleyebilir. Bu nedenle eğitim amacıyla seçilen parametreler, ayrı doğrulama ve test verilerinde ayrıca değerlendirilmelidir.

Olabilirlik ve Parametre Tahmininde Sık Yapılan Hatalar

Olabilirliği parametrenin olasılığı sanmak: $P(D\mid\theta)$ ile $P(\theta\mid D)$ aynı koşullu ifade değildir.
Veri ile parametreyi birlikte değiştirmek: Olabilirlik eğrisinde gözlenmiş veri sabit, aday parametre değişkendir.
Olabilirlik değerini yüzde gibi okumak: Özellikle sürekli veride yoğunluklardan kurulan olabilirlik bir olay olasılığı değildir.
Bağımsızlık varsayımını gizlemek: Gözlem katkılarını çarpmadan önce veri üretim sürecinin bu çarpımı desteklediğini göstermeliyiz.
En yüksek olabilirliği kesin gerçek sanmak: MLE seçilen model altında en uyumlu noktadır; model hatasını ve örnekleme belirsizliğini ortadan kaldırmaz.
Log-olabilirliğin negatif olmasını hata sanmak: 0 ile 1 arasındaki olasılıkların logaritması negatiftir; önemli olan adayların sıralamasıdır.
Küçük olasılıkları doğrudan çarpmak: Çok sayıda gözlemde sayısal yuvarlanmayı önlemek için log-olabilirlik kullanılır.
MLE'nin her zaman yansız olduğunu düşünmek: Olabilirliği en büyük yapmak ile tekrarlanan örneklemlerde yanlılığı sıfırlamak farklı hedeflerdir.
MAP'i nesnel ve önselsiz sanmak: MAP sonucu seçilen önsele bağlıdır; önselin kaynağı ve gücü açıklanmalıdır.
Önseli veriyi gördükten sonra sonuca göre ayarlamak: Aynı kanıtı iki kez kullanmak veya istenen sonucu önsel içine gizlemek çıkarımı bozar.
MAP'i tam sonsal dağılım sanmak: MAP tek bir tepedir; sonsalın genişliğini ve diğer yüksek bölgelerini göstermez.
Eğitim verisindeki başarıyı genelleme sanmak: Yüksek eğitim olabilirliği, yeni veride doğru veya güvenli davranış garantisi değildir.

Bir Parametre Tahmini Sorusu İçin İzlenecek Yol

Gözlenen veriyi açıkça tanımlayın. Sıralı sonuçları mı, yalnızca toplam sayıyı mı, yoksa sürekli ölçümleri mi gözlediniz?
Veri üretim modelini gerekçelendirin. Bernoulli, Poisson veya Normal dağılım sorunun yapısına gerçekten uyuyor mu?
Parametreyi ve izinli aralığını söyleyin. Örneğin olasılık için $0\le p\le1$, Poisson hızı için $\lambda>0$ olmalıdır.
Bağımsızlığı kontrol edin. Gözlem katkılarını çarpmadan önce kayıtların birbirini etkileyip etkilemediğini sorun.
Olabilirliği kurun. Gözlenmiş veriyi sabit, aday parametreyi değişken tutun.
Gerekirse log-olabilirliğe geçin. Çarpımları toplam yapın ve sayısal olarak çok küçük değerlerden kaçının.
Seçtiğiniz tahmin türünü belirtin. MLE yalnızca veriyi, MAP ise veriyle birlikte önseli kullanır.
Optimumun sınırlarını inceleyin. Tepe izinli aralıkta mı; sınırda mı; tek mi?
Nokta tahminini belirsizlik sanmayın. Veri miktarını, aralıkları veya sonsalın genişliğini ayrıca değerlendirin.
Yeni veride doğrulayın. Eğitim verisine yüksek uyumun genellenebilir başarı anlamına gelip gelmediğini sınayın.

Sonuç: Veriyi Sabit Tutup Model Ayarını Aramak

Olasılık hesabında model ayarını sabit tutup olası sonuçlara bakarız. Olabilirlikte ise gözlediğimiz veri sabittir; aday ayarları değiştiririz. On atışta sekiz yazı örneğinde MLE'yi $\widehat p=s/n$ ile hesapladık ve 0,8 bulduk. Logaritma çarpımları toplamaya dönüştürdü ve adayların sırasını korudu; negatif log-olabilirliği küçültmek de aynı ayarı seçti.

Bernoulli için başarı oranı, Poisson için ortalama olay sayısı, Normal dağılımın merkezi için örneklem ortalaması MLE sonucu oldu. Normal hata varsayımı altında kareli hata kaybının nereden geldiğini de gördük. MAP hesabına önseli ekleyince para örneğindeki tahmin 0,8'den yaklaşık 0,714'e, yani 0,5 yönüne kaydı. MLE ve MAP birer nokta verir; çevrelerindeki belirsizliği görmek için aralıklara veya sonsal dağılımın tamamına bakmalıyız. Sonuçların güvenilirliği seçtiğimiz modele, veriye ve varsayımlarımıza bağlıdır.

Burada gözlenen veriyi açıklayan parametreyi aradık. Bir sonraki makalede bir olasılık modeli kurmadan verinin merkezini, yayılımını ve biçimini doğrudan özetleyen Betimsel İstatistik konusuna geçeceğiz. Ardından örneklemden daha geniş bir topluluk hakkında nasıl çıkarım yaptığımızı inceleyeceğiz.

Yazar: Levent KARAGÖL