Olabilirlik, gözlediğimiz veriyi hangi model ayarının daha iyi açıkladığını karşılaştırmamızı sağlar. En yüksek olabilirlik tahmini (MLE) yalnızca veriye bakarak en uyumlu parametreyi seçerken, en yüksek sonsal tahmin (MAP) önceki bilgiyi de hesaba katar. Bu makalede önce bir madeni para örneğiyle temel fikri kuracak; ardından log-olabilirliğin neden kullanıldığını, MLE ile MAP arasındaki farkı ve bu yaklaşımın yapay zekâdaki kayıp fonksiyonlarına nasıl dönüştüğünü adım adım inceleyeceğiz.
Dağılımdan Veriye Gittik, Şimdi Yönü Tersine Çevirelim
Beklenen Değer ve Varyans makalesine kadar çoğunlukla parametreleri biliyor, bu parametrelerin üreteceği sonuçları inceliyorduk. Örneğin bir paranın yazı gelme olasılığı \(p=0{,}8\) ise on atışta kaç yazı görebileceğimizi; Poisson dağılımında saatlik ortalama çağrı sayısı \(\lambda=4\) ise bir saatte kaç çağrı gelebileceğini soruyorduk.
Gerçek hayatta çoğu zaman bunun tersiyle karşılaşırız. Parametreyi bilmeyiz; yalnızca sonuçları görürüz. On kez atılan bir para sekiz kez yazı gelmiştir. Şimdi sormak istediğimiz soru şudur:
Elimizdeki veri tek başına paranın gerçek ayarını kesin biçimde açıklamaz. Adil bir para da şans eseri on atışın sekizinde yazı gelebilir. Yazı olasılığı 0,9 olan bir para da iki kez tura gelebilir. Buna rağmen bazı adaylar gördüğümüz sonuca diğerlerinden daha iyi uyar.
Parametre tahmini, işte bu adayları karşılaştırma problemidir. Önce verinin nasıl üretildiğine ilişkin bir model seçeriz. Ardından modelin bilinmeyen ayarlarını sırayla dener ve gözlediğimiz verinin hangi ayar altında daha uyumlu göründüğünü araştırırız.
Bu makale boyunca ana örneğimiz aynı kalacak: On bağımsız para atışında sekiz yazı ve iki tura gözledik. Yeni sembolleri ve yöntemleri bu tek örneğin üzerine yavaş yavaş ekleyeceğiz.
Üç Farklı Para, Aynı Gözlenmiş Veri
Yazı gelme olasılığı için üç aday düşünelim:
- Birinci aday \(p=0{,}5\): Para adil olabilir.
- İkinci aday \(p=0{,}8\): Para yazıya belirgin biçimde eğilimli olabilir.
- Üçüncü aday \(p=0{,}9\): Para yazıya çok güçlü biçimde eğilimli olabilir.
Sekiz yazı ve iki turadan oluşan belirli bir sıralamanın olasılığını düşünelim. Her yazı sonucu \(p\), her tura sonucu \(1-p\) çarpanı getirir. Sekiz yazı ve iki tura bulunduğu için adayın puanı:
biçiminde olur. Şimdilik bu ifadeyi türetmeye veya en büyük değerini cebirle bulmaya çalışmayalım. Yalnızca üç adayı yerine yazıp sonuçları karşılaştıralım:
| Aday yazı olasılığı | Sekiz yazı ve iki tura için puan | Günlük dille yorum |
|---|---|---|
| \(p=0{,}5\) | \(0{,}0009765625\) | Bu belirli sıralamaya verdiği puan, 0,8 adayının verdiği puandan daha düşüktür. |
| \(p=0{,}8\) | \(0{,}0067108864\) | Sekiz yazı ile iki turayı birlikte en iyi dengeleyen adaydır. |
| \(p=0{,}9\) | \(0{,}0043046721\) | Sekiz yazıya uyar; fakat iki turayı 0,8'e göre daha zor açıklar. |
Tablodaki bütün sayıların küçük görünmesi bizi yanıltmamalıdır. Burada on sonuçtan oluşan belirli bir sıralamayı puanlıyoruz; uzun bir dizinin tek bir kesin sıralaması doğal olarak küçük bir değer alır. Bizim için önemli olan sayıyı yüzde gibi yorumlamak değil, aynı veri üzerinde adayların birbirine göre sıralamasıdır. Yalnızca “sekiz yazı çıktı” sayısını değerlendirmek istersek mümkün sıralamaların sayısını da hesaba katarız; bu ayrıntıya ileride döneceğiz.
Üç aday arasında en büyük puanı \(p=0{,}8\) verdi. Bu sonuç sezgiseldir: On gözlemin sekizi yazı olduğuna göre gözlenen yazı oranı \(8/10=0{,}8\)'dir.
Burada önemli bir ayrım vardır. \(p=0{,}8\) dışındaki adayların puanı sıfır değildir. Dolayısıyla veri “yalnızca 0,8 mümkündür” demiyor. Sadece karşılaştırdığımız adaylar arasında 0,8'in gözlediğimiz veriye daha iyi uyduğunu söylüyor.
Olasılık ile Olabilirlik Aynı Formüle Farklı Yönden Bakar
Biraz önce hesapladığımız sayılara olabilirlik (likelihood) adını veririz. Olasılık ile olabilirlik aynı matematiksel ifadeyi kullanabilir; fakat sabit tuttuğumuz şey ve sorduğumuz soru farklıdır.
| Bakış açısı | Sabit tuttuğumuz | Değiştirdiğimiz | Sorduğumuz soru |
|---|---|---|---|
| Olasılık | Model ayarı, örneğin \(p=0{,}8\) | Henüz oluşmamış sonuç | Bu para hangi sonuçları ne sıklıkta üretir? |
| Olabilirlik | Gözlenmiş sekiz yazı ve iki tura | Aday \(p\) değeri | Hangi para ayarı bu veriye daha iyi uyar? |
Olasılıkta modelden sonuçlara doğru ilerleriz. Olabilirlikte ise gözlenmiş sonuçlardan geriye, model ayarına doğru bakarız. Veri artık değişmez; sanki bir ayar düğmesini çevirir gibi \(p\)'yi değiştirir ve her konumda verinin uyum puanını hesaplarız.
Bu fikri genel bir gösterimle yazmak istediğimizde gözlenmiş veriye \(D\), modelin bütün ayarlarına da \(\theta\) deriz. Olabilirlik fonksiyonu:
biçiminde gösterilir. Bu formülü şöyle okuyabiliriz: “\(D\) verisi sabitken, farklı \(\theta\) ayarlarının bu veriye verdiği uyum puanı.” Noktalı virgül de verinin gözlenmiş ve sabit olduğunu hatırlatır.
- Para örneğinde \(\theta\) yerine yalnızca \(p\) vardır.
- \(D\), gözlediğimiz on atışın sonuçlarıdır.
- \(L\), her aday \(p\) için bir olabilirlik değeri üretir.
Birden Fazla Gözlem Varsa Puanlar Neden Çarpılır?
Üç atışta sırasıyla yazı, yazı ve tura gördüğümüz daha küçük bir örnek düşünelim. Yazı olasılığı \(p\) ise ilk yazının olasılığı \(p\), ikinci yazının olasılığı yine \(p\), turanın olasılığı \(1-p\)'dir.
Atışların birbirinden bağımsız olduğunu kabul ediyorsak üç sonucun birlikte gerçekleşme olasılığı:
olur. On atışta sekiz yazı ve iki tura için aynı düşünce sekiz tane \(p\) ve iki tane \(1-p\) çarpanı üretir. Böylece \(p^8(1-p)^2\) ifadesine ulaşırız.
Genel olarak \(n\) bağımsız gözlemin olabilirliğini kısa biçimde şöyle yazarız:
Çarpım işareti \(\prod\), “\(i=1\)'den \(n\)'ye kadar bütün gözlemlerin katkılarını çarp” demektir. İlk kez gören bir okuyucu için büyük görünebilir; fakat üç atışta yaptığımız \(p\times p\times(1-p)\) işleminin yalnızca kısa yazımıdır.
Bağımsızlık burada bir yazım kolaylığı değil, model varsayımıdır. Aynı kişinin art arda verdiği yanıtları veya birbirini etkileyen zaman ölçümlerini bağımsızmış gibi çarparsak elimizde gerçekte olduğundan daha fazla ayrı kanıt bulunduğunu varsayabiliriz. Bağımlı gözlemlerde önceki sonuçları koşul olarak kullanan daha farklı bir ortak olasılık kurulmalıdır.
Sürekli ölçümlerde tek bir kesin değerin olasılığı yerine olasılık yoğunluğu kullanılır. Olabilirlik mantığı değişmez: Veriyi sabit tutup farklı parametrelerin gözlenen değerlerin çevresine ne kadar yoğunluk yerleştirdiğini karşılaştırırız. Yoğunluk bir olay olasılığı olmadığı için olabilirlik değerini doğrudan yüzde olarak okumamalıyız.
En Yüksek Noktayı Seçmek: MLE
Para örneğinde \(p\)'yi 0 ile 1 arasında küçük adımlarla değiştirdiğimizi düşünelim. Her aday için \(p^8(1-p)^2\) değerini hesaplar ve sonuçları bir grafik üzerinde işaretlersek bir tepe elde ederiz. Tepe, gözlenmiş veriye en yüksek olabilirliği veren parametredir.
Olabilirliği en yüksek yapan parametreyi seçme yöntemine En Yüksek Olabilirlik Tahmini (Maximum Likelihood Estimation, MLE) denir. Para örneğimizde tepe \(p=0{,}8\)'dedir:
Şapka işareti, bu sayının bilinmeyen gerçek parametrenin kendisi değil, veriden elde edilen tahmini olduğunu anlatır. “\(p\) kesinlikle 0,8'dir” demiyoruz; “seçtiğimiz model altında olabilirliği en büyük yapan değer 0,8'dir” diyoruz.
Aynı düşüncenin genel ve kısa gösterimi şöyledir:
Bu satır ilk bakışta yoğun görünebilir. Parçalara ayıralım:
- \(\theta\), sırayla denediğimiz aday model ayarıdır.
- \(L(\theta;D)\), adayın gözlenmiş veriye verdiği olabilirliktir.
- \(\operatorname{arg\,max}\), “en büyük puanın kendisini değil, o puanı oluşturan ayarı bul” demektir.
- \(\widehat{\theta}_{\mathrm{MLE}}\), bu aramanın sonunda seçilen parametre tahminidir.
Bir yarışmada en yüksek puan 96, bu puanı alan kişi Ayşe ise “maksimum” 96'yı, “argüman maksimumu” ise Ayşe'yi seçer. MLE de olabilirlik değerini değil, en yüksek olabilirliği üreten parametreyi döndürür.
Log-Olabilirlik: Aynı Yarışı Daha Kolay Sayılarla Yapmak
Yüzlerce veya milyonlarca gözlem olduğunda birçok küçük sayıyı çarpmamız gerekir. Örneğin her biri 1'den küçük yüzlerce olasılığın çarpımı son derece küçük olabilir. Bilgisayar bu sayıyı taşıyamayacak kadar küçüldüğünde onu sıfıra yuvarlayabilir.
Logaritma iki sorunu aynı anda çözer. Üstel ve Logaritmik Fonksiyonlar makalesinde gördüğümüz gibi logaritma çarpımları toplama dönüştürür:
Böylece çok sayıda küçük olasılığı doğrudan çarpmak yerine logaritmalarını toplarız. Olabilirliğin doğal logaritmasına log-olabilirlik (log-likelihood) der ve genellikle küçük \(\ell\) harfiyle gösteririz:
Logaritma artan bir fonksiyondur: İki pozitif sayıdan hangisi büyükse onun logaritması da büyüktür. Bu nedenle logaritma yarışın sıralamasını değiştirmez. Olabilirliği en yüksek yapan aday, log-olabilirliği de en yüksek yapar.
| Aday \(p\) | Olabilirlik | Log-olabilirlik |
|---|---|---|
| 0,5 | 0,0009765625 | yaklaşık \(-6{,}931\) |
| 0,8 | 0,0067108864 | yaklaşık \(-5{,}004\) |
| 0,9 | 0,0043046721 | yaklaşık \(-5{,}448\) |
Logaritma değerleri negatif olabilir; bu bir hata değildir. 0 ile 1 arasındaki sayıların logaritması negatiftir. Burada en büyük değer, sıfıra en yakın olan \(-5{,}004\)'tür. Kazanan yine \(p=0{,}8\)'dir.
Yazılımlar çoğu zaman log-olabilirliği büyütmek yerine onun negatifini küçültür. Buna negatif log-olabilirlik (negative log-likelihood, NLL) denir:
Eksi işareti tepeyi çukura çevirir. “Log-olabilirliği en büyük yap” ile “negatif log-olabilirliği en küçük yap” aynı parametreyi seçer. Yapay zekâ eğitiminde sık sık “kayıp fonksiyonunu küçültmek” dediğimiz işlem bu yüzden olabilirlikle doğrudan bağlantılıdır.
Para Örneğinde MLE'yi Adım Adım Türetmek
Genel durumu ele alalım. \(n\) bağımsız denemede \(s\) başarı gözlenmiş olsun. Başarısızlık sayısı \(n-s\)'dir. Olabilirlik:
Logaritma aldığımızda üsler çarpan olarak öne gelir:
En yüksek noktayı bulmak için Türev makalesinde öğrendiğimiz yöntemi kullanırız. Log-olabilirliğin türevini sıfıra eşitleriz:
Her satırda yapılan işlem şudur: Önce kesirli ifadeyi eşitliğin iki tarafını uygun paydalarla çarparak sadeleştirdik. Ardından iki tarafta bulunan \(-sp\) terimleri birbirini götürdü ve \(s=np\) kaldı. Son olarak iki tarafı \(n\)'ye böldük.
On atışta sekiz yazı için \(s=8\) ve \(n=10\)'dur:
Adayları tek tek deneyerek gördüğümüz tepeye cebirle de ulaştık. Bütün denemeler başarıysa sonuç sınırda \(p=1\), bütün denemeler başarısızsa \(p=0\) olur. Bu sınır sonuçları, küçük bir veri kümesinde MLE'nin ne kadar kesin görünebildiğini de gösterir; birazdan bu sınırlamaya döneceğiz.
Buraya Kadar Ne Yaptık? Kısa Bir Duraklama
- Gözlenmiş veriyi sabit tuttuk: sekiz yazı ve iki tura.
- Farklı \(p\) adaylarının bu veriye verdiği olabilirliği karşılaştırdık.
- En yüksek olabilirliği veren adayı MLE olarak seçtik.
- Çarpımları kolaylaştırmak için log-olabilirliğe geçtik; kazanan değişmedi.
- Türev kullanarak Bernoulli MLE'sinin başarı oranı \(s/n\) olduğunu gösterdik.
Bu beş madde makalenin MLE bölümünün özüdür. Bundan sonraki dağılımlar aynı yöntemi kullanır; yalnızca veriyi açıklamak için seçtiğimiz olasılık modeli değişir.
Dağılım Değişince Tahmin Edilen Şey de Değişir
Olasılık Dağılımları makalesinde Bernoulli, Poisson ve Normal dağılımlarının farklı veri türlerini anlattığını görmüştük. MLE tek bir ezber formülü değildir. Her dağılım kendi olabilirlik fonksiyonunu getirir; dolayısıyla tahmin edilen parametre ve hesabın anlamı da değişir.
| Veri türü ve model | Tahmin edilen parametre | MLE'nin verdiği tanıdık sonuç |
|---|---|---|
| Bernoulli: evet–hayır sonuçları | Başarı olasılığı \(p\) | Gözlenen başarı oranı |
| Poisson: zaman aralığındaki olay sayısı | Ortalama olay sayısı \(\lambda\) | Gözlenen sayıların ortalaması |
| Normal: bir merkez çevresindeki ölçümler | Merkez \(\mu\) | Gözlenen değerlerin ortalaması |
Daha Derin Bakış: Poisson Sonucu Nereden Gelir?
Dört saatte sırasıyla 3, 5, 4 ve 6 çağrı gözlediğimizi düşünelim. Saatlerin aynı \(\lambda\) değerine sahip bağımsız Poisson süreçleri olduğunu varsayarsak MLE sonucu bu sayıların ortalamasıdır:
Yani model, saat başına ortalama 4,5 çağrı tahmin eder. Cebirsel nedenini görmek isteyen okuyucu için Poisson log-olabilirliğinin parametreye bağlı bölümü:
biçimindedir. Türevi sıfıra eşitlediğimizde \(\widehat\lambda=\sum x_i/n\), yani örneklem ortalaması çıkar. Bu ayrıntıyı takip etmeyen okuyucu için alınması gereken sonuç şudur: Poisson modelinde MLE, gözlediğimiz olay sayılarının ortalamasını seçer.
Daha Derin Bakış: Normal Model Neden Kareli Hataya Götürür?
Ölçümlerin bilinmeyen bir \(\mu\) merkezi çevresinde, bilinen ve sabit \(\sigma\) yayılımıyla Normal dağıldığını varsayalım. Bu modelde \(\mu\)'ya bağlı log-olabilirlik bölümü:
olur. Kareli farkların önünde eksi işareti bulunduğu için log-olabilirliği büyütmek, gözlemlerle \(\mu\) arasındaki kareli uzaklıkların toplamını küçültmekle aynı şeydir. Bu toplamı en küçük yapan değer örneklem ortalamasıdır:
Bu bağlantı yapay zekâ için çok önemlidir. Regresyonda kareli hata kaybı yalnızca alışkanlıkla seçilmiş bir ceza değildir; hataların sabit varyanslı Normal dağıldığını kabul eden olasılıksal bir modelden doğabilir.
En İyi Nokta, Ne Kadar Emin Olduğumuzu Söylemez
MLE tek bir tepe noktası seçer. Fakat tepenin ne kadar sivri veya yayvan olduğunu tek başına göstermez. Bu ayrımı iki veri kümesiyle görelim:
| Veri | Gözlenen yazı oranı | MLE | Belirsizlik sezgisi |
|---|---|---|---|
| 10 atışta 8 yazı | \(8/10\) | 0,8 | Az veri vardır; yakın birçok \(p\) değeri hâlâ makul olabilir. |
| 1000 atışta 800 yazı | \(800/1000\) | 0,8 | Çok daha fazla veri vardır; olabilirlik 0,8 çevresinde daha sıkı toplanır. |
İki veri kümesi de aynı MLE sonucunu verir. Buna rağmen ikinci tahmine çok daha fazla kanıt eşlik eder. Bu nedenle bir nokta tahmini, belirsizlik ölçüsünün yerini tutmaz. Güven aralığı, standart hata veya Bayesçi sonsal dağılım gibi araçlar tahminin çevresindeki makul değerleri ayrıca inceler.
MLE'yi yorumlarken şu sınırları hatırlamalıyız:
- Modele bağlıdır: Yanlış dağılım ailesi seçildiyse hesap kusursuz olsa bile yorum yanlış olabilir.
- Bağımsızlık önemlidir: Bağımlı kayıtları ayrı kanıtlar gibi saymak tahmini gereğinden emin gösterebilir.
- Küçük örneklemde uç sonuç verebilir: Bir atışın yazı gelmesi bile MLE'yi \(p=1\) yapar; bu, gelecek atışın kesin yazı olduğu anlamına gelmez.
- En iyi aday kesin gerçek değildir: Tepe, yalnızca seçilen model altında en yüksek uyumu gösterir.
- Sonlu örneklemde yanlı olabilir: Her MLE, uzun dönemde hedefin tam çevresinde merkezlenmek zorunda değildir.
Veriden Önce Bildiklerimizi Tamamen Yok Saymalı mıyız?
Bir fabrikada kullanılan paraların üretim süreci gereği çoğunlukla adile yakın olduğunu yıllardır biliyor olabiliriz. Yeni seçilen bir parayı yalnızca on kez attık ve sekiz yazı gördük. MLE yalnızca bu on atışa bakar ve \(p=0{,}8\) der.
Fakat elimizdeki önceki bilgi şu soruyu doğurur: Yalnızca on gözlem uğruna, paranın büyük olasılıkla adile yakın olduğu bilgisini tamamen bırakmalı mıyız?
Bayesçi yaklaşım üç parçayı birleştirir:
- Önsel dağılım: Veriyi görmeden önce parametre hakkında bildiklerimiz veya açıkça seçtiğimiz başlangıç varsayımı.
- Olabilirlik: Gözlenen verinin farklı parametre adaylarına verdiği destek.
- Sonsal dağılım: Önceki bilgi ile veriyi birleştirdikten sonra parametre hakkındaki güncellenmiş görünümümüz.
Koşullu Olasılık ve Bayes Teoremi makalesindeki güncelleme fikrini parametreye uygularsak:
elde ederiz. Bu formülde \(P(D\mid\theta)\) olabilirlik, \(P(\theta)\) önsel ve \(P(\theta\mid D)\) sonsaldır. \(P(D)\) ise bütün adayların toplam ağırlığını 1'e getiren normalleştirme terimidir.
Aday parametreleri karşılaştırırken aynı \(D\) verisi sabit kaldığı için \(P(D)\) bütün adaylarda aynıdır. Bu nedenle tepenin yerini ararken daha kısa bir ifade kullanabiliriz:
\(\propto\) işareti “aynı sabit dışında orantılıdır” diye okunur. Günlük dille sonsal, verinin söylediği ile önceden bildiğimizin birleşimidir.
Sonsalın En Yüksek Noktasını Seçmek: MAP
Sonsal dağılımın en yüksek olduğu parametreyi seçme yöntemine En Yüksek Sonsal Tahmin (Maximum A Posteriori, MAP) denir:
MLE ile MAP arasındaki fark tek cümlede şöyledir:
- MLE: Yalnızca verinin olabilirliğini en yüksek yapan parametreyi seçer.
- MAP: Olabilirlik ile önselin birlikte oluşturduğu sonsalın tepesini seçer.
Veri azsa önselin etkisi daha görünür olabilir. Veri çoğaldıkça olabilirlik genellikle keskinleşir ve makul bir önselin göreli etkisi azalır. Ancak “veri çoksa önsel hiçbir zaman önemli değildir” biçiminde evrensel bir kural kuramayız; modelin yapısı ve önselin gücü önemlidir.
Önsel, gizlenmesi gereken öznel bir ek değil, açıkça savunulması gereken bir model parçasıdır. Geçmiş çalışmalar, fiziksel sınırlar, uzman bilgisi veya güvenlik gereksinimleri önselin kaynağı olabilir. Veriyi gördükten sonra yalnızca istediğimiz sonucu çıkaracak bir önsel seçmek ise güvenilir bir güncelleme değildir.
Beta Önseliyle Para Örneğini Yeniden Düşünmek
Yazı olasılığı \(p\), 0 ile 1 arasında olmalıdır. Bu aralık üzerinde farklı başlangıç inançları kurmak için Beta dağılımı kullanışlıdır. Önsel yoğunluğu \(\pi(p)\) ile gösterelim:
Buradaki \(a\) ve \(b\), önselin biçimini belirleyen pozitif sayılardır. \(a=b=3\) seçersek önsel 0,5 çevresini uçlara göre daha güçlü destekler. Bu seçim “gerçek para kesinlikle adildir” demez; veri gelmeden önce adile yakın değerleri daha makul gördüğümüzü belirtir.
Sekiz yazı ve iki turanın olabilirliği \(p^8(1-p)^2\)'ydi. Önsel ile olabilirliği çarptığımızda:
elde ederiz. Üslerdeki katkıları günlük bir sezgiyle okuyabiliriz: Bu özel önsel, hesapta sanki iki ek yazı ve iki ek tura gözlenmiş gibi dengeleyici bir etki oluşturur. Bunlar gerçekten yapılmış atışlar değildir; önsel ağırlığı anlamaya yardımcı olan bir benzetmedir.
İç bölgede bir tepe bulunduğunda Beta–Bernoulli modelinin MAP tahmini:
olur. Yalnızca veriyi kullanan MLE 0,8; önsel ile veriyi birleştiren MAP yaklaşık 0,714 çıktı. Önsel, az veriden doğan uç tahmini 0,5 yönüne çekti.
Veri sayısı 10 yerine 10.000 olsaydı önselin birkaç birimlik katkısı toplam içinde çok daha küçük kalırdı. Bu, MAP'in veriyi görmezden gelmediğini; veri ile önceki bilgiyi göreli güçlerine göre bir araya getirdiğini gösterir.
MAP ile Düzenlileştirme Arasında Nasıl Bir Bağ Var?
MAP hesabının logaritmasını aldığımızda çarpım toplama dönüşür. Sonsalı büyütmek yerine negatifini küçültürsek amaç şu biçime gelir:
İlk bölüm modelin veriyi ne kadar kötü açıkladığını, ikinci bölüm ise seçilen önsele göre parametrenin ne kadar sıra dışı olduğunu ölçer. Yapay zekâda model ağırlıklarının gereksiz yere büyümesini veya karmaşıklaşmasını sınırlayan ek terimlere düzenlileştirme (regularization) denir.
- Ağırlıklar için sıfır merkezli Normal önsel seçmek, ağırlıkların karelerini cezalandıran \(L_2\) düzenlileştirmesiyle bağlantı kurar.
- Sıfır çevresinde daha sivri bir Laplace önseli seçmek, mutlak değerleri cezalandıran \(L_1\) düzenlileştirmesiyle bağlantı kurar.
Bu bölüm ileride ayrıntılı olarak işleyeceğimiz düzenlileştirme konusuna bir ön bakıştır. Şimdilik alınması gereken fikir şudur: MAP, veri uyumu ile parametreler hakkındaki tercih veya bilgiyi tek bir amaçta birleştirir.
Her ceza terimini sonradan otomatik olarak bilinçli bir Bayes modeli saymamalıyız. Kullanılan toplam veya ortalama kayıp, veri sayısı ve ceza katsayısı önsel yorumunun ölçeğini etkiler. Olasılıksal yorum ancak varsayımlar açıkça kurulduğunda anlamlıdır.
MLE, MAP ve Tam Sonsal Aynı Bilgiyi Vermez
Bir dağ manzarası düşündüğümüzde MLE veya MAP bize yalnızca en yüksek tepenin konumunu söyler. Oysa dağın ne kadar geniş olduğu, yakınında başka tepeler bulunup bulunmadığı ve yüksekliklerin nasıl dağıldığı da önemlidir.
| Yaklaşım | Kullandığı bilgi | Ürettiği sonuç | Tek başına göstermediği |
|---|---|---|---|
| MLE | Olabilirlik | Veriye en uyumlu tek parametre | Önsel bilgi ve tepenin genişliği |
| MAP | Olabilirlik ve önsel | Sonsalın tepesindeki tek parametre | Sonsalın tamamı ve başka tepeler |
| Tam sonsal | Olabilirlik ve önsel | Parametre değerleri üzerindeki güncellenmiş dağılım | Tek sayıya indirgenmediği için hesap ve aktarım daha zor olabilir |
MAP, Bayes Teoremi'ni kullanır; fakat bütün sonsal dağılımı taşımadığı için tam Bayesçi çıkarımla aynı şey değildir. Sonsal genişse MAP noktasının çevresinde çok sayıda başka değer de makul olabilir. İki ayrı tepe varsa MAP yalnızca bunlardan en yükseğini seçer ve ikinci bölgeyi görünmez kılabilir.
Bu nedenle “en iyi tahmin nedir?” ile “hangi değerler ne kadar destekleniyor?” farklı sorulardır. Nokta tahmini hızlı ve kullanışlı bir özet sunar; belirsizliğin önemli olduğu kararlarda aralıkları veya dağılımın tamamını da incelemek gerekir.
Yapay Zekâ Modeli Eğitilirken Aslında Ne Büyütülüyor?
Birçok yapay zekâ modeli, doğru cevaplara yüksek olasılık verecek parametreleri arar. Uygulamada bu işlem çoğunlukla doğru cevapların negatif log-olabilirliğini küçültmek biçiminde yazılır.
| Görev | Olasılık modeli | Ortaya çıkan eğitim amacı |
|---|---|---|
| İkili sınıflandırma | Bernoulli | İkili çapraz entropi, yani Bernoulli NLL |
| Çok sınıflı sınıflandırma | Kategorik dağılım | Sınıflar üzerindeki çapraz entropi |
| Sürekli değer tahmini | Sabit varyanslı Normal hata | Kareli hata |
| Olay sayısı tahmini | Poisson | Poisson negatif log-olabilirliği |
| Bir sonraki kelime parçası | Önceki parçalar koşulunda kategorik dağılım | Doğru parçanın negatif log-olabilirliği |
“Çapraz entropi” adı ilk bakışta ayrı ve karmaşık bir yöntem gibi görünebilir. Bu tabloda ise temel fikir aynıdır: Model doğru sınıfa düşük olasılık verirse negatif log-olabilirlik büyür ve model daha büyük bir kayıp alır; doğru sınıfa yüksek olasılık verdikçe kayıp küçülür. Çapraz entropiyi ileride kendi bağlamında daha ayrıntılı inceleyeceğiz.
Bu tablo önemli bir ders verir: Kayıp fonksiyonu ile veri hakkında yaptığımız olasılık varsayımı birbirine bağlıdır. Sayım verisine Normal hata modeli, güçlü aykırı değerler içeren bir probleme sabit varyans varsayımı veya bağımlı kayıtlara bağımsızlık varsayımı uygulamak modelin öğrendiği şeyi değiştirebilir.
Dil modellerinde bir metnin yüksek olabilirliğe sahip olması, o metnin gerçek veya güvenli olduğunu kanıtlamaz. Olabilirlik, dizinin eğitim dağılımına göre ne kadar beklenen göründüğünü ölçer. Olgusal doğruluk, güvenlik ve tarafsızlık ayrı değerlendirmeler gerektirir.
Benzer biçimde eğitim olabilirliğini sürekli artırmak yeni veride başarı garantisi değildir. Çok esnek bir model eğitim örneklerini ezberleyebilir. Bu nedenle eğitim amacıyla seçilen parametreler, ayrı doğrulama ve test verilerinde ayrıca değerlendirilmelidir.
Olabilirlik ve Parametre Tahmininde Sık Yapılan Hatalar
- Olabilirliği parametrenin olasılığı sanmak: \(P(D\mid\theta)\) ile \(P(\theta\mid D)\) aynı koşullu ifade değildir.
- Veri ile parametreyi birlikte değiştirmek: Olabilirlik eğrisinde gözlenmiş veri sabit, aday parametre değişkendir.
- Olabilirlik değerini yüzde gibi okumak: Özellikle sürekli veride yoğunluklardan kurulan olabilirlik bir olay olasılığı değildir.
- Bağımsızlık varsayımını gizlemek: Gözlem katkılarını çarpmadan önce veri üretim sürecinin bu çarpımı desteklediğini göstermeliyiz.
- En yüksek olabilirliği kesin gerçek sanmak: MLE seçilen model altında en uyumlu noktadır; model hatasını ve örnekleme belirsizliğini ortadan kaldırmaz.
- Log-olabilirliğin negatif olmasını hata sanmak: 0 ile 1 arasındaki olasılıkların logaritması negatiftir; önemli olan adayların sıralamasıdır.
- Küçük olasılıkları doğrudan çarpmak: Çok sayıda gözlemde sayısal yuvarlanmayı önlemek için log-olabilirlik kullanılır.
- MLE'nin her zaman yansız olduğunu düşünmek: Olabilirliği en büyük yapmak ile tekrarlanan örneklemlerde yanlılığı sıfırlamak farklı hedeflerdir.
- MAP'i nesnel ve önselsiz sanmak: MAP sonucu seçilen önsele bağlıdır; önselin kaynağı ve gücü açıklanmalıdır.
- Önseli veriyi gördükten sonra sonuca göre ayarlamak: Aynı kanıtı iki kez kullanmak veya istenen sonucu önsel içine gizlemek çıkarımı bozar.
- MAP'i tam sonsal dağılım sanmak: MAP tek bir tepedir; sonsalın genişliğini ve diğer yüksek bölgelerini göstermez.
- Eğitim verisindeki başarıyı genelleme sanmak: Yüksek eğitim olabilirliği, yeni veride doğru veya güvenli davranış garantisi değildir.
Bir Parametre Tahmini Sorusu İçin İzlenecek Yol
- Gözlenen veriyi açıkça tanımlayın. Sıralı sonuçları mı, yalnızca toplam sayıyı mı, yoksa sürekli ölçümleri mi gözlediniz?
- Veri üretim modelini gerekçelendirin. Bernoulli, Poisson veya Normal dağılım sorunun yapısına gerçekten uyuyor mu?
- Parametreyi ve izinli aralığını söyleyin. Örneğin olasılık için \(0\le p\le1\), Poisson hızı için \(\lambda>0\) olmalıdır.
- Bağımsızlığı kontrol edin. Gözlem katkılarını çarpmadan önce kayıtların birbirini etkileyip etkilemediğini sorun.
- Olabilirliği kurun. Gözlenmiş veriyi sabit, aday parametreyi değişken tutun.
- Gerekirse log-olabilirliğe geçin. Çarpımları toplam yapın ve sayısal olarak çok küçük değerlerden kaçının.
- Seçtiğiniz tahmin türünü belirtin. MLE yalnızca veriyi, MAP ise veriyle birlikte önseli kullanır.
- Optimumun sınırlarını inceleyin. Tepe izinli aralıkta mı; sınırda mı; tek mi?
- Nokta tahminini belirsizlik sanmayın. Veri miktarını, aralıkları veya sonsalın genişliğini ayrıca değerlendirin.
- Yeni veride doğrulayın. Eğitim verisine yüksek uyumun genellenebilir başarı anlamına gelip gelmediğini sınayın.
Sonuç: Veriyi Sabit Tutup Model Ayarını Aramak
Bu makalede önce tek bir soruya odaklandık: On atışta sekiz yazı ve iki tura gördüğümüzde yazı olasılığı için hangi değer daha güçlü bir adaydır? Veriyi sabit tutup \(p\) değerini değiştirdik; her adayın veriye verdiği uyum puanını olabilirlik olarak okuduk.
En yüksek olabilirliği veren parametreyi MLE olarak seçtik. Para örneğinde adayları deneyerek ve ardından türevle \(\widehat p=s/n\) sonucuna ulaştık. Logaritmanın çarpımları toplam yaptığını, adayların sıralamasını değiştirmediğini ve bilgisayarda çok küçük sayılarla çalışmayı kolaylaştırdığını gördük. Negatif log-olabilirliği küçültmenin, log-olabilirliği büyütmekle aynı hedef olduğunu ayırdık.
Aynı ilkenin farklı dağılımlarda farklı tanıdık sonuçlar ürettiğini gördük: Bernoulli modelinde başarı oranı, Poisson modelinde ortalama olay sayısı, Normal modelde merkez için örneklem ortalaması. Normal hata modeli, kareli hata kaybının olasılıksal kökenini de görünür kıldı.
Sonra MLE'nin yalnızca veriye baktığını, MAP'in ise olabilirlikle önsel bilgiyi birleştirdiğini öğrendik. Beta önseli örneğinde az sayıdaki gözlemden gelen 0,8 tahmini 0,5 yönüne çekildi. MAP'in yine tek bir nokta olduğunu; sonsalın genişliğini ve bütün makul bölgelerini görmek için dağılımın tamamına ihtiyaç duyduğumuzu vurguladık.
En önemli zihinsel model şudur: Olasılıkta model sabit, sonuç değişkendir; olabilirlikte veri sabit, aday model ayarı değişkendir. MLE veriye en iyi uyan noktayı, MAP ise veriyle önceki bilginin birlikte desteklediği noktayı seçer. İkisi de model varsayımlarını, veri kalitesini veya belirsizlik incelemesini gereksiz hâle getirmez.
Parametre tahmini, gözlenen verinin arkasındaki modeli kurmamızı sağlar. Fakat her veri incelemesi tam bir olasılık modeliyle başlamak zorunda değildir. Bir sonraki makalede verinin merkezini, yayılımını ve biçimini doğrudan özetleyen Betimsel İstatistik konusuna geçecek; ardından örneklemden daha geniş bir topluluk hakkında nasıl çıkarım yaptığımızı inceleyeceğiz.
Yazar: Levent KARAGÖL
