23. Yaygın İstatistiksel Testler: T-Testi ve ANOVA

19 Eylül 2026

26 dakika

14 görüntüleme

T-testi ve ANOVA, örneklem ortalamaları arasında gördüğümüz farkların yalnızca rastgele dalgalanmayla açıklanıp açıklanamayacağını değerlendiren temel istatistiksel yöntemlerdir. Bir üretim sürecinin hedef değerden sapmasını, iki yöntemin ortalama sonucunu veya üç ya da daha fazla grubun performansını karşılaştırırken doğru testi seçmek; yapay zekâ deneylerinde gözlenen küçük kazanımları gerçek ve genellenebilir bir iyileşme sanmamak için önemlidir. Bu makalede Student'ın t dağılımını sezgisel olarak kuracak; tek örneklem, bağımsız gruplar ve eşleştirilmiş t-testlerini adım adım hesaplayacak, ardından ANOVA'nın toplam değişkenliği gruplar arası ve grup içi parçalara nasıl ayırdığını, sonuçların hangi varsayımlar ve etki büyüklükleriyle birlikte okunması gerektiğini inceleyeceğiz.

“Ortalamalar Farklı” Demek Neden Yetmez?

Bir çevrim içi eğitim sisteminde iki anlatım yöntemini karşılaştırdığımızı düşünelim. Birinci yöntemi kullanan öğrencilerin ortalama puanı 80, ikinci yöntemi kullananların ortalaması 70 olsun. İlk bakışta 10 puanlık fark açık görünür. Fakat yalnızca iki ortalamayı bilmek karar vermemize yetmez.

Birinci gruptaki puanlar 79 ile 81 arasında, ikinci gruptakiler 69 ile 71 arasında toplanıyorsa 10 puanlık fark oldukça düzenli bir örüntüdür. Buna karşılık iki grubun puanları 20 ile 100 arasında geniş biçimde dağılıyorsa aynı 10 puanlık fark daha belirsizdir. Ayrıca her grupta yalnızca üç kişi bulunmasıyla yüzlerce kişinin bulunması aynı kanıt gücünü vermez.

Bu nedenle bir ortalama farkını üç parçayla birlikte okuruz:

Farkın büyüklüğü: Ortalamalar gerçek ölçekte ne kadar ayrılıyor?
Gözlemlerin yayılımı: Grup içindeki değerler ne kadar değişken?
Bilgi miktarı: Kaç bağımsız gözlemimiz var?

Çıkarımsal İstatistik ve Hipotezler makalesinde bir farkı, onun standart hatasına bölerek test istatistiği oluşturduğumuzu görmüştük. Ayrıca p-değerinin sıfır hipotezinin doğru olma olasılığı olmadığını; etki büyüklüğü, güven aralığı, çalışma tasarımı ve varsayımlarla birlikte yorumlanması gerektiğini ayırmıştık. Şimdi bu genel iskeleti, gerçek karşılaştırmalarda en sık karşılaşılan ortalama testlerine dönüştüreceğiz.

Ortak fikir: T-testi de ANOVA da gözlenen grup farkını, verinin kendi içindeki rastgele değişkenlikle karşılaştırır. Fark, gürültüye göre büyüdükçe sıfır hipotezi altında daha olağandışı görünür.

Z Yerine Neden T Dağılımı?

Önceki yazıda anakütle standart sapması $\sigma$ bilindiğinde bir ortalamayı standartlaştırmak için:

$$ z=\frac{\bar{x}-\mu_0}{\sigma/\sqrt{n}} $$

ifadesini kullanmıştık. Burada $\mu_0$, sıfır hipotezinin ileri sürdüğü ortalamadır. Gerçek hayatta anakütle standart sapması $\sigma$'yı çoğu zaman bilmeyiz. Onu aynı örneklemden hesaplanan $s$ ile tahmin ederiz:

$$ t=\frac{\bar{x}-\mu_0}{s/\sqrt{n}} $$

Paydaki fark değişmedi. Fakat paydadaki standart hata artık bilinen bir $\sigma$'ya değil, örnekleme göre değişen $s$'ye dayanıyor. Başka bir örneklem seçseydik hem $\bar{x}$ hem $s$ değişebilirdi. Bu ek belirsizlik nedeniyle test istatistiği standart Normal dağılımdan biraz daha geniş kuyruklu olan Student'ın t dağılımını izler.

Bu ifade küçük örneklemde kendiliğinden doğru olmaz. Gözlemler bağımsız ve anakütle Normal dağılıyorsa yukarıdaki istatistik sıfır hipotezi altında t dağılımını tam olarak izler. Anakütle Normal değilse t-testi, örneklem ortalamasının yaklaşık Normal davranmasına ve yöntemin orta düzey sapmalara dayanıklılığına yaslanır. Bu nedenle küçük örneklem, güçlü çarpıklık ve aykırı değerler bir araya geldiğinde yalnızca formülü uygulamak yeterli değildir.

T dağılımı da sıfır çevresinde simetriktir. Fakat küçük örneklemlerde uzak değerlere Normal dağılımdan daha fazla olasılık verir. Bunun anlamı şudur: Standart sapmayı az sayıda gözlemden tahmin ediyorsak, aynı standartlaştırılmış farkı kanıt saymak için daha temkinli davranırız. Örneklem büyüdükçe $s$, $\sigma$ hakkında daha kararlı bilgi verir; t dağılımının kuyrukları incelir ve dağılım standart Normal dağılıma yaklaşır.

Yaklaşmanın hızını serbestlik derecesi (degrees of freedom) belirler. Tek örneklem t-testinde:

$$ df=n-1 $$

olur. Örneklem ortalamasını hesapladıktan sonra $n$ sapmanın toplamı sıfır olmak zorundadır; ilk $n-1$ sapmayı bilirsek sonuncusu artık serbestçe seçilemez. Betimsel İstatistik: Merkez ve Dağılım makalesinde örneklem varyansını hesaplarken $n-1$ paydasının ortaya çıkmasının arkasında da aynı bilgi kısıtı vardı.

Bir Ortalamayı Hedefle Karşılaştırmak: Tek Örneklem T-Testi

Tek örneklem t-testi, bir sayısal değişkenin bilinmeyen anakütle ortalamasını belirli bir referans değerle karşılaştırır. Bir cihazın ortalama ölçümünün 50 olması, bir çağrı merkezinin ortalama bekleme süresinin 60 saniyeyi aşmaması veya bir modelin ortalama hatasının belirli bir temel değerden farklı olması bu yapıya örnektir.

Sekiz ölçümden oluşan şu örneklemi kullanalım:

$$ 52,\;55,\;54,\;50,\;57,\;53,\;56,\;51 $$

Cihazın uzun dönem ortalamasının 50 olup olmadığını iki yönlü test etmek istiyoruz:

$$ H_0:\mu=50 $$ $$ H_1:\mu\ne50 $$

Örneklem ortalaması $\bar{x}=53{,}5$, örneklem standart sapması $s=\sqrt{6}\approx2{,}449$ ve gözlem sayısı $n=8$'dir. Önce tahmin edilen standart hatayı bulalım:

$$ \widehat{\operatorname{SE}}(\bar{x}) =\frac{s}{\sqrt{n}} =\frac{2{,}449}{\sqrt{8}} \approx0{,}866 $$

Gözlenen ortalama ile sıfır hipotezindeki değer arasındaki fark $53{,}5-50=3{,}5$'tir. Bu farkın kaç standart hataya karşılık geldiği:

$$ \begin{aligned} t &=\frac{\bar{x}-\mu_0}{s/\sqrt{n}}\\ &=\frac{53{,}5-50}{2{,}449/\sqrt{8}}\\ &\approx4{,}04 \end{aligned} $$

olur. Serbestlik derecesi $df=8-1=7$'dir. Yedi serbestlik dereceli t dağılımında iki yönlü p-değeri yaklaşık $0{,}0049$'dur. Önceden $\alpha=0{,}05$ seçilmişse $H_0$'ı reddederiz. Veri, anakütle ortalamasının 50'den farklı olduğuna dair kanıt sunar.

Ancak raporu burada bitirmemeliyiz. Ortalama farkı 3,5 birimdir; bu farkın uygulamada büyük mü küçük mü olduğuna alan bilgisi karar verir. Ayrıca yüzde 95 güven aralığı yaklaşık olarak:

$$ 53{,}5\pm t_{0{,}975,7}(0{,}866) \approx53{,}5\pm2{,}05 =[51{,}45,\;55{,}55] $$

olur. Aralık 50'yi dışarıda bırakarak aynı varsayımlara dayanan iki yönlü yüzde 5 test kararıyla uyumludur; üstelik seçtiğimiz model ve aralık kurma yöntemi altında veriyle uyumlu ortalama değerlerini de gösterir.

İki Ayrı Grubu Karşılaştırmak: Bağımsız Örneklemler T-Testi

Şimdi iki farklı öğrenci grubunun iki ayrı öğrenme yöntemini kullandığını düşünelim. Bir gruptaki kişinin puanı diğer gruptaki belirli bir kişiyle doğal olarak eşleşmiyorsa gruplar bağımsızdır. Anakütle ortalamalarına $\mu_1$ ve $\mu_2$ diyelim. İki yönlü hipotezler:

$$ H_0:\mu_1-\mu_2=0 $$ $$ H_1:\mu_1-\mu_2\ne0 $$

biçimindedir. İki örneklem ortalamasının farkı $\bar{x}_1-\bar{x}_2$'dir. Bağımsız gruplarda bu farkın tahmin edilen standart hatası:

$$ \widehat{\operatorname{SE}}(\bar{x}_1-\bar{x}_2) =\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}} $$

olur. Böylece Welch t-istatistiği:

$$ t= \frac{(\bar{x}_1-\bar{x}_2)-\Delta_0} {\sqrt{s_1^2/n_1+s_2^2/n_2}} $$

biçiminde yazılır. Buradaki $\Delta_0$, sıfır hipotezindeki farktır ve çoğu soruda 0'dır. Welch testi, iki anakütle varyansının eşit olduğunu varsaymaz. Grup büyüklükleri veya yayılımları farklı olduğunda da çalıştığı için bağımsız iki ortalama karşılaştırmasında çoğu zaman güvenli başlangıç tercihidir.

Birinci grupta $n_1=10$, $\bar{x}_1=80$, $s_1=8$; ikinci grupta $n_2=12$, $\bar{x}_2=70$, $s_2=10$ olsun. Standart hata:

$$ \begin{aligned} \widehat{\operatorname{SE}} &=\sqrt{\frac{8^2}{10}+\frac{10^2}{12}}\\ &=\sqrt{6{,}4+8{,}333}\\ &\approx3{,}838 \end{aligned} $$

ve test istatistiği:

$$ t=\frac{80-70}{3{,}838}\approx2{,}61 $$

olur. Welch testindeki serbestlik derecesi tam sayı olmak zorunda değildir. Welch–Satterthwaite yaklaşımı:

$$ df\approx \frac{\left(s_1^2/n_1+s_2^2/n_2\right)^2} {\dfrac{(s_1^2/n_1)^2}{n_1-1}+\dfrac{(s_2^2/n_2)^2}{n_2-1}} $$

formülünü kullanır. Bu örnekte $df\approx19{,}98$ ve iki yönlü p-değeri yaklaşık $0{,}017$'dir. Sonuç, eşit ortalama sıfır hipotezine karşı kanıt sunar. Fakat p-değeri tek başına farkın ne kadar kesin tahmin edildiğini göstermez. Aynı Welch hesabıyla yüzde 95 güven aralığı yaklaşık olarak:

$$ \begin{aligned} (\bar{x}_1-\bar{x}_2) &\pm t_{0{,}975,19{,}98}\widehat{\operatorname{SE}} \\ &\approx10\pm2{,}086(3{,}838) \\ &\approx[1{,}99,\;18{,}01] \end{aligned} $$

olur. Aralık sıfırı dışarıda bırakır, fakat gerçek ortalama farkı için yaklaşık 2 ile 18 puan arasında geniş bir değer kümesinin veriyle uyumlu olduğunu da gösterir. İki yöntemin gerçekten karşılaştırılabilir gruplara uygulanıp uygulanmadığı, katılımcıların rastgele atanıp atanmadığı ve bu büyüklüklerin eğitim açısından anlamı test formülünün dışında kalan önemli sorulardır.

Eşit Varyanslı Student T-Testi Nerede Duruyor?

Klasik bağımsız örneklemler Student t-testi, iki anakütlenin varyanslarının eşit olduğunu varsayar ve iki örneklem varyansını havuzlanmış varyans içinde birleştirir:

$$ s_p^2= \frac{(n_1-1)s_1^2+(n_2-1)s_2^2} {n_1+n_2-2} $$

Bu durumda standart hata $s_p\sqrt{1/n_1+1/n_2}$, serbestlik derecesi de $n_1+n_2-2$ olur. Eşit varyans varsayımı gerçekten savunulabiliyorsa yöntem geçerlidir. Ancak sırf iki örneklem standart sapması birbirine yakın göründü diye varsayım kanıtlanmış olmaz. Önce ayrı bir “varyanslar eşit mi?” testi yapıp yalnızca sonucu anlamsızsa klasik teste geçmek de kusursuz bir çözüm değildir; ilk testin belirsizliği ve düşük gücü karar zincirine eklenir. Welch yöntemi, eşit varyans durumunda da genellikle az şey kaybettiği için uygulamada sık kullanılan dayanıklı seçenektir.

Aynı Birimi İki Kez Ölçmek: Eşleştirilmiş T-Testi

Bir kişinin eğitimden önceki ve sonraki puanını, aynı hastanın iki zamandaki ölçümünü veya iki yapay zekâ modelinin aynı veri örneklerindeki kayıplarını karşılaştırdığımızda gözlemler bağımsız iki grup oluşturmaz. Her “önce” değeri belirli bir “sonra” değeriyle; her A modeli sonucu aynı örnekteki B modeli sonucuyla eşleşir.

Eşleştirilmiş t-testinin temel hareketi, her çift için tek bir fark oluşturmaktır:

$$ d_i=x_{i,\text{sonra}}-x_{i,\text{önce}} $$

Ardından bu farklara tek örneklem t-testi uygularız:

$$ t=\frac{\bar{d}-\Delta_0}{s_d/\sqrt{n}}, \qquad df=n-1 $$

Buradaki $\bar{d}$ farkların ortalaması, $s_d$ farkların standart sapmasıdır. Sıfır hipotezinde ortalama değişim yoksa $\Delta_0=0$'dır.

Sekiz kişinin puan artışları şöyle olsun:

$$ 2,\;4,\;3,\;5,\;1,\;4,\;3,\;2 $$

Farkların ortalaması $\bar{d}=3$, standart sapması $s_d\approx1{,}309$'dur. Dolayısıyla:

$$ \begin{aligned} t &=\frac{3-0}{1{,}309/\sqrt{8}}\\ &\approx6{,}48 \end{aligned} $$

ve $df=7$ için iki yönlü p-değeri yaklaşık $0{,}00034$'tür. Farkların aynı yönde ve görece düzenli olması, ortalama artışın sıfırdan ayrılmasını kolaylaştırmıştır.

Eşleştirme, kişiler arasındaki sabit farklılıkların büyük bölümünü fark alınca ortadan kaldırabilir. Örneğin bazı öğrenciler hem önce hem sonra yüksek, bazıları iki ölçümde de düşük puan alabilir. Bağımsız grup testi bu kişi farklarını gürültüye ekler; eşleştirilmiş test ise her kişinin kendi başlangıcına göre değişimine odaklanır.

Eşleşmeyi kaybetmeyin: Eşleştirilmiş testte asıl veri iki ayrı ortalama değil, her çiftin farkıdır. Kayıtları yanlış eşleştirmek veya aynı kişilerden gelen ölçümleri bağımsız saymak standart hatayı ve sonucu bozar.

Üç T-Testi Arasında Nasıl Seçim Yaparız?

Soru	Veri yapısı	Uygun temel test
Bir grubun ortalaması hedef değerden farklı mı?	Tek sayısal örneklem	Tek örneklem t-testi
İki ayrı grubun ortalamaları farklı mı?	Birbirinden bağımsız gruplar	Welch bağımsız örneklemler t-testi
Aynı birimlerin iki koşuldaki ortalama değişimi sıfır mı?	Eşleşmiş çiftler veya önce–sonra ölçümleri	Eşleştirilmiş t-testi

Test seçimini gözlenen sayıların büyüklüğü değil, verinin nasıl üretildiği belirler. Aynı kişinin iki ölçümünü ayrı gruplar sanmak da, birbirinden farklı kişileri yapay biçimde eşleştirmek de yanlıştır. Araştırma tasarımı formülden önce gelir.

T-Testlerinin Varsayımları

Bir yazılım her sayı tablosu için t-istatistiği üretebilir. Fakat p-değeri ve güven aralığının hedeflediğimiz anlamı taşıması için veri yapısını incelemeliyiz:

Sayısal bir sonuç: Klasik t-testi grup ortalamalarını karşılaştırır. Sınıf etiketi veya sıralı kategori her zaman aritmetik ortalama için uygun değildir.
Bağımsız deney birimleri: Bağımsız grup testinde bir kişinin ölçümü diğerinden bağımsız olmalıdır. Aynı kullanıcının yüz kaydı, yüz bağımsız kullanıcı değildir.
Uygun örnekleme veya atama: Temsil edilmeyen bir grubu t-testi sonradan örnekleme ekleyemez; gözlemsel grup farkını da otomatik olarak nedensel etkiye çeviremez.
Aşırı aykırı değerlerin bulunmaması: Ortalama ve standart sapma uzak değerlerden güçlü biçimde etkilenir. Küçük örneklemde tek bir kayıt sonucu değiştirebilir.
Yaklaşık Normal örnekleme davranışı: Tek örneklem testinde ortalamanın, eşleştirilmiş testte ise tek tek “önce” ve “sonra” listelerinden çok çiftler arasındaki farkların ortalamasının örnekleme dağılımı önemlidir. Fark çiftleri birbirinden bağımsız olmalıdır. Küçük örneklemde farkların güçlü çarpıklığı, ağır kuyrukları veya aykırı değerleri t yaklaşımını zayıflatabilir.
Varyans koşulu: Welch testi eşit grup varyansı istemez. Havuzlanmış Student testi ise bu ek varsayıma dayanır.

“T-testi yalnızca ham veri kusursuz Normal ise kullanılabilir” demek fazla katıdır. Yöntem, özellikle dengeli ve yeterli büyüklükteki örneklemlerde orta düzey sapmalara dayanıklı olabilir. Fakat “örneklem büyük, artık hiçbir şeyi kontrol etmeye gerek yok” demek de yanlıştır. Büyük örneklem bağımlılığı, seçim yanlılığını veya veri hatasını iyileştirmez; çok büyük örneklem küçük sistematik sorunları son derece küçük p-değerleriyle görünür de kılabilir.

Varsayımlar ciddi biçimde uyuşmuyorsa soruya göre dönüşüm, güvenilir bir yeniden örnekleme yöntemi, permütasyon testi veya sıra tabanlı yöntem düşünülebilir. Örneğin bağımsız iki grup için Mann–Whitney, eşleştirilmiş farklar için Wilcoxon işaretli sıralar testi sık duyulan seçeneklerdir. Ancak bunları otomatik olarak “ortanca testi” diye adlandırmak doğru değildir; genel durumda dağılımların sıraları hakkında farklı sıfır hipotezlerini sınarlar.

P-Değerinin Yanına Etki Büyüklüğünü Koyalım

T-testi, farkın sıfırla uyumunu değerlendirir; farkın uygulama açısından önemini tek başına ölçmez. En doğrudan etki büyüklüğü, ortalamalar arasındaki gerçek birimli farktır. “10 puan”, “4 gram” veya “120 milisaniye” çoğu karar verici için standartlaştırılmış bir katsayıdan daha anlaşılır olabilir.

Farkı farklı ölçekler arasında karşılaştırmak istediğimizde standartlaştırılmış etki büyüklüğü kullanabiliriz. İki bağımsız grup için yaygın Cohen'in $d$ ölçüsü:

$$ d=\frac{\bar{x}_1-\bar{x}_2}{s_p} $$

biçimindedir. Eşleştirilmiş tasarımda ise farkların ortalamasını farkların standart sapmasına bölen:

$$ d_z=\frac{\bar{d}}{s_d} $$

ölçüsü kullanılabilir. Paydadaki standart sapmanın hangi tanıma göre seçildiği mutlaka belirtilmelidir; farklı $d$ türleri aynı sayıyı vermeyebilir. “$d=0{,}2$ küçük, $0{,}5$ orta, $0{,}8$ büyük” gibi ezber sınırlar bazı alanlarda kaba bir iletişim yardımı olabilir, fakat karar maliyetini ve konu bilgisini ikame etmez. Küçük bir tıbbi etki önemli, eğitim puanındaki daha büyük bir değişim ise uygulamada değersiz olabilir.

Üç Grup Gelince Neden Tek Tek T-Testi Yapmıyoruz?

A, B ve C adlı üç yöntemin ortalamalarını karşılaştırmak istediğimizi düşünelim. Üç çift vardır: A–B, A–C ve B–C. Dört grup olsaydı altı, beş grup olsaydı on çift oluşacaktı. Sayma İlkeleri, Faktöriyel, Permütasyon ve Kombinasyon makalesinde öğrendiğimiz kombinasyon kuralıyla, genel olarak $k$ grup için çift sayısını şöyle buluruz:

$$ \binom{k}{2}=\frac{k(k-1)}{2} $$

olur. Her bağımsız testi $\alpha=0{,}05$ düzeyinde yaparsak bütün test ailesinde en az bir yanlış alarm olasılığı büyür. Üç bağımsız karşılaştırmada bütün testlerin yanlış alarm vermeme olasılığı $0{,}95^3$, en az bir yanlış alarm olasılığı ise:

$$ 1-0{,}95^3\approx0{,}1426 $$

yani yaklaşık yüzde 14,26 olur. Gerçekte aynı grupları paylaşan karşılaştırmalar bağımsız değildir; bu hesap yalnızca sorunun nasıl biriktiğini görünür kılar. Her çifte ayrı test uygulamak yerine önce bütün ortalamalar için tek bir ortak soru sorarız. Bu yaklaşım varyans analizi, yani ANOVA'dır (analysis of variance).

Ortalama Sorusu Neden Varyans Analizi Adını Taşır?

Tek yönlü ANOVA, bir kategorik etkenin oluşturduğu $k$ bağımsız grubun ortalamalarını karşılaştırır. Hipotezler şöyledir:

$$ H_0:\mu_1=\mu_2=\cdots=\mu_k $$ $$ H_1:\text{En az bir grup ortalaması farklıdır.} $$

Alternatif hipotez “bütün ortalamalar birbirinden farklıdır” demez. Yalnızca hepsinin aynı olduğu iddiasının bozulduğunu söyler. Hangi grupların farklı olduğunu ANOVA sonucu tek başına belirtmez.

Peki ortalamaları sınayan yöntem neden varyansa bakar? Çünkü grup ortalamalarının birbirinden ne kadar uzak olduğunu, aynı grupların kendi içindeki doğal yayılımla karşılaştırır:

Gruplar arası değişkenlik: Grup ortalamaları genel ortalamadan ne kadar uzak?
Grup içi değişkenlik: Aynı gruptaki bireyler kendi grup ortalamalarının çevresinde ne kadar dağınık?

Grup ortalamaları uzak, grup içindeki gözlemler sıkıysa gruplama verideki değişimin önemli bir bölümünü açıklıyor olabilir. Grup ortalamaları arasındaki fark, her grubun içindeki büyük dalgalanmanın yanında küçük kalıyorsa gözlenen ayrım rastgele değişkenlikle daha uyumludur.

Toplam Değişkenliği İki Parçaya Ayıralım

$j$'inci gruptaki $i$'inci gözleme $y_{ij}$, grup ortalamasına $\bar{y}_j$, bütün gözlemlerin genel ortalamasına $\bar{y}$ diyelim. Her gözlemin genel ortalamadan sapmasını iki adımda yazabiliriz:

$$ y_{ij}-\bar{y} =\underbrace{(y_{ij}-\bar{y}_j)}_{\text{grup içi sapma}} +\underbrace{(\bar{y}_j-\bar{y})}_{\text{gruplar arası sapma}} $$

Yani bir gözlemin genel merkezden uzaklığı, kendi grup merkezinden uzaklığı ile grup merkezinin genel merkezden uzaklığının toplamıdır. Bu sapmaları kareleyip bütün gözlemler boyunca topladığımızda çapraz terimler grup içinde sıfırlanır ve temel ANOVA ayrışımı ortaya çıkar:

Neden sıfırlandığını açıkça görelim. Her grubun kendi ortalamasından sapmalarının toplamı sıfırdır. Grup merkezinin genel merkezden uzaklığı aynı gruptaki bütün gözlemler için sabit olduğundan çapraz terim:

$$ 2\sum_{j=1}^{k}(\bar{y}_j-\bar{y}) \underbrace{\sum_{i=1}^{n_j}(y_{ij}-\bar{y}_j)}_{0} =0 $$

olur. Böylece toplam değişkenlikte karışık bir parça kalmaz; grup içi ve gruplar arası bölümler temiz biçimde toplanabilir:

$$ SS_{\text{toplam}} =SS_{\text{gruplar arası}} +SS_{\text{grup içi}} $$

Buradaki $SS$, “kareler toplamı” (sum of squares) demektir. Açık formüller:

$$ \begin{aligned} SS_{\text{toplam}} &=\sum_{j=1}^{k}\sum_{i=1}^{n_j}(y_{ij}-\bar{y})^2,\\ SS_{\text{gruplar arası}} &=\sum_{j=1}^{k}n_j(\bar{y}_j-\bar{y})^2,\\ SS_{\text{grup içi}} &=\sum_{j=1}^{k}\sum_{i=1}^{n_j}(y_{ij}-\bar{y}_j)^2. \end{aligned} $$

Gruplar arası kareler toplamında her grup merkezinin genel merkezden uzaklığını, o grubun büyüklüğü $n_j$ ile ağırlıklandırırız. Grup içi kareler toplamında ise her gözlemin kendi grubunun merkezinden uzaklığına bakarız. Böylece genel değişimin ne kadarının grup etiketleriyle, ne kadarının aynı grup içindeki farklılıklarla ilişkili olduğunu ayırırız.

Tek Yönlü ANOVA'yı Adım Adım Hesaplayalım

Üç yöntemin küçük ve öğretici sonuçları şöyle olsun:

Grup	Gözlemler	Grup ortalaması
A	4, 5, 6	5
B	5, 6, 7	6
C	8, 9, 10	9

Toplam gözlem sayısı $N=9$, grup sayısı $k=3$'tür. Genel ortalama:

$$ \bar{y}=\frac{4+5+6+5+6+7+8+9+10}{9} =\frac{60}{9} =\frac{20}{3} \approx6{,}667 $$

Gruplar arası kareler toplamı:

$$ \begin{aligned} SS_{\text{gruplar arası}} &=3\left(5-\frac{20}{3}\right)^2 +3\left(6-\frac{20}{3}\right)^2 +3\left(9-\frac{20}{3}\right)^2\\ &=26 \end{aligned} $$

Her grubun kendi ortalamasından sapmaları $-1,0,1$'dir; kareleri toplamı her grupta 2 olur. Üç grup için:

$$ SS_{\text{grup içi}}=2+2+2=6 $$

Toplam kareler toplamı da $26+6=32$'dir. Fakat 26 ile 6'yı doğrudan bölemeyiz; iki toplam farklı sayıda serbest bilgi içerir. Gruplar arası serbestlik derecesi $k-1=2$, grup içi serbestlik derecesi $N-k=6$'dır. Kareler toplamlarını kendi serbestlik derecelerine bölerek ortalama kareleri buluruz:

$$ \begin{aligned} MS_{\text{gruplar arası}} &=\frac{26}{2}=13,\\ MS_{\text{grup içi}} &=\frac{6}{6}=1. \end{aligned} $$

ANOVA'nın test istatistiği bu iki yayılım tahmininin oranıdır:

$$ F=\frac{MS_{\text{gruplar arası}}}{MS_{\text{grup içi}}} =\frac{13}{1}=13 $$

Sıfır hipotezi doğruysa hem pay hem payda aynı ortak hata varyansını farklı yollardan tahmin eder ve oran çoğu zaman 1 çevresinde olur. Grup ortalamaları gerçekten ayrılıyorsa pay büyür ve $F$ değeri 1'in üzerine çıkar. $df_1=2$ ve $df_2=6$ için $F=13$'ün sağ kuyruk p-değeri yaklaşık $0{,}0066$'dır. Bu küçük örnekte eşit ortalamalar hipotezini reddederiz.

Hesabın bütün parçalarını klasik ANOVA tablosunda yan yana görelim:

Değişkenlik kaynağı	Kareler toplamı	Serbestlik derecesi	Ortalama kare	$F$
Gruplar arası	26	2	13	13
Grup içi	6	6	1	—
Toplam	32	8	—	—

Toplam serbestlik derecesi $N-1=8$'dir ve gruplar arası 2 derece ile grup içi 6 derecenin toplamına eşittir. Tablodaki $F$ oranı yalnızca gruplar arası ortalama kareyi grup içi ortalama kareye böldüğümüz satırda hesaplanır.

Sonuç bize en az bir ortalamanın farklı olduğuna dair kanıt verdi. Fakat yalnızca ANOVA tablosuna bakarak A ile B'nin, A ile C'nin veya B ile C'nin hangilerinin farklı olduğunu söyleyemeyiz.

F Dağılımı ve T-Testiyle Bağı

F-istatistiği iki negatif olamayan değişkenlik tahmininin oranıdır; bu nedenle $F$ negatif olamaz. Sıfır hipotezi altındaki dağılımı, pay ve paydanın serbestlik derecelerine bağlı F dağılımıdır. ANOVA'da yalnızca büyük $F$ değerleri eşit ortalamalar hipotezine karşı kanıt oluşturduğu için p-değeri sağ kuyruktan hesaplanır.

Yalnızca iki grup bulunduğunda, eşit varyanslı tek yönlü ANOVA ile iki yönlü havuzlanmış t-testi aynı temel karşılaştırmayı yapar. Test istatistikleri arasında:

$$ F=t^2 $$

ilişkisi vardır ve iki yöntem aynı p-değerini verir. Kare alma t-istatistiğinin yönünü kaldırır; ANOVA farkın hangi yönde olduğunu değil, grup ortalamaları arasında sıfırdan büyük bir ayrışma bulunup bulunmadığını sınar. İki grup için t-testi farkın işaretini ve doğrudan güven aralığını daha doğal gösterir; üç veya daha fazla grup için ANOVA ortak bir başlangıç testi sağlar.

Anlamlı ANOVA'dan Sonra Hangi Gruplar Farklı?

ANOVA'nın genel testine bazen omnibus test denir: Bütün grup ortalamalarını tek bir çatı altında sınar. Sonuç anlamlıysa ayrılığın yerini belirlemek için araştırma planına uygun ikinci bir adım gerekir.

Önceden planlanmış karşıtlıklar: Araştırma sorusu baştan “A, B ve C'nin ortalamasından farklı mı?” gibi belirli bir karşılaştırma içeriyorsa bu yapı doğrudan sınanabilir. Önceden planlama, sonuçları gördükten sonra ilginç görünen karşılaştırmayı seçmekten daha güvenlidir.
Tukey HSD: Bütün grup çiftlerini karşılaştırırken aile düzeyindeki yanlış alarm oranını kontrol etmek için yaygın bir sonraki testtir. Klasik biçimi eşit varyanslı ANOVA yapısına dayanır.
Bonferroni veya Holm düzeltmesi: Birden fazla p-değerinin karar eşiklerini sıkılaştırır. Bonferroni basit ve temkinlidir; Holm yöntemi çoğu durumda aynı aile düzeyi korumasını daha fazla güçle sağlayabilir.

Genel ANOVA anlamsız çıktı diye veri içinde hiçbir grup farkı bulunmadığı kanıtlanmaz; çalışma gücü yetersiz olabilir. Tersine genel test anlamlı diye her çift farklı değildir. Hangi karşılaştırmaların aile oluşturduğu, veri görülmeden önceki araştırma sorusuna göre açıklanmalıdır.

ANOVA'da Etki Büyüklüğü

ANOVA p-değeri, bütün ortalamaların eşitliğiyle verinin uyumunu değerlendirir. Gruplamanın toplam değişkenlikteki payını anlatmak için eta kare kullanılabilir:

$$ \eta^2= \frac{SS_{\text{gruplar arası}}} {SS_{\text{toplam}}} $$

Örneğimizde:

$$ \eta^2=\frac{26}{32}=0{,}8125 $$

olur. Bu yapay ve çok küçük veri kümesindeki toplam kareli değişkenliğin yüzde 81,25'i grup ortalamaları arasındaki ayrışmayla ilişkilidir. Bu oran nedensel açıklama yüzdesi değildir; ayrıca aynı veride hesaplandığı için anakütledeki etkiyi yukarı yönlü tahmin edebilir. Özellikle küçük örneklemlerde serbestlik derecelerini hesaba katan omega kare gibi daha az yanlı ölçüler de kullanılabilir. Hangi ölçünün raporlandığı açıkça belirtilmelidir.

ANOVA'nın Varsayımları ve Uzantıları

Klasik tek yönlü ANOVA'nın temel koşulları t-testlerinin uzantısıdır:

Bağımsız deney birimleri: Bir gözlemin hatası diğerini sistematik biçimde belirlememelidir.
Grup içinde yaklaşık Normal artıklar: Varsayım bütün ham verinin tek bir Normal dağılımdan gelmesi değil, her grubun merkezinden kalan hataların uygun davranmasıyla ilgilidir.
Varyansların homojenliği: Klasik F testi grupların ortak bir hata varyansını paylaştığını varsayar. Dengesiz grup büyüklükleriyle birlikte güçlü varyans farkları özellikle sorun yaratabilir.
Sayısal sonuç ve doğru grup tanımı: Grup etiketi kategorik, karşılaştırılan sonuç ise ortalaması anlamlı sayısal bir büyüklük olmalıdır.

Varyanslar eşit değilse Welch ANOVA, serbestlik derecelerini ve grup katkılarını buna göre ayarlayan bir seçenek sunar. Böyle bir genel testten sonra ikili farkların yerini araştırırken, eşit olmayan varyans ve grup büyüklüklerini hesaba katan Games–Howell karşılaştırması düşünülebilir. Güçlü aykırı değer, çarpıklık veya uygun olmayan ölçüm ölçeğinde sıra tabanlı Kruskal–Wallis testi başka bir seçenek olabilir; ancak o da genel durumda doğrudan “bütün ortancalar eşit mi?” sorusunun kusursuz karşılığı değildir.

Aynı kişilerin üç veya daha fazla koşulda ölçülmesi bağımsız tek yönlü ANOVA değildir; eşleşmeyi koruyan tekrarlı ölçümler ANOVA'sı gerekir. İki kategorik etkeni birlikte incelemek istediğimizde iki yönlü ANOVA, her etkenin ana etkisinin yanında bir etkenin sonucunun diğerinin düzeyine göre değişip değişmediğini anlatan etkileşimi de sınayabilir. Bunlar aynı değişkenlik parçalama fikrinin daha gelişmiş biçimleridir; tasarım değiştiğinde hata terimi ve bağımsızlık yapısı da değişir.

Yapay Zekâ Deneylerinde Doğru Deney Birimi

Bir yapay zekâ modeli A'nın beş katlı çapraz doğrulamadaki doğruluk ortalaması yüzde 91, model B'nin ortalaması yüzde 90 olabilir. Bu iki ortalamayı bağımsız gruplar gibi test etmek çoğu zaman uygun değildir; iki model aynı katlarda, yani aynı eğitim ve değerlendirme bölünmelerinde ölçülmüştür. Her kattaki A–B farkını kullanmak eşleştirilmiş düşünceye daha yakındır.

Yine de sıradan eşleştirilmiş t-testi otomatik olarak kusursuz olmaz. Çapraz doğrulama katları eğitim verilerinin büyük bölümünü paylaşır; bu nedenle farklar tam bağımsız değildir. Aynı hiperparametre aramasında yüzlerce modeli deneyip en iyi görünen ikisini sonradan test etmek de seçim yanlılığı ve çoklu karşılaştırma üretir. Bağımsız son test kümesi, tekrarlı çalıştırmalar, veri kümeleri üzerinde karşılaştırma veya çapraz doğrulamanın bağımlılığını hesaba katan yöntemler gerekebilir.

Deney birimini doğru seçmek bu yüzden model adından daha önemlidir:

İki model aynı kullanıcı isteklerinde sınanıyorsa sonuçlar istek düzeyinde eşleşebilir; fakat aynı kullanıcının çok sayıda isteği birbirinden bağımsız olmayabilir.
Farklı rastgele başlangıçlarla eğitim yapılıyorsa tohumdan tohuma performans değişimi önemlidir; tek başarılı çalıştırma genel performans değildir.
Birden fazla veri kümesinde karşılaştırma yapılıyorsa her veri kümesinin ölçeği, büyüklüğü ve görevinin aynı olmadığı göz önünde tutulmalıdır.
Çevrim içi A/B testinde kullanıcı rastgele atama birimi olabilir; oturumları bağımsız saymak tekrar gelen kullanıcıları çoğaltabilir.

T-testi veya ANOVA, kötü kurulmuş bir değerlendirme düzenini iyi hâle getiremez. İlk soru “Hangi modelin ortalaması büyük?” değil, “Bağımsız bilgi hangi birimden geliyor ve bu birimler hangi anakütleyi temsil ediyor?” olmalıdır.

T-Testi ve ANOVA'da Sık Yapılan Hatalar

Testi veri yapısından önce seçmek: Bağımsız ve eşleştirilmiş ölçümler aynı formülle analiz edilmez.
Her iki grup için klasik eşit varyans testini varsayılan saymak: Varyans eşitliği savunulamıyorsa Welch testi daha uygun olabilir.
Üç veya daha fazla grupta bütün çiftlere düz t-testi uygulamak: Çoklu karşılaştırmalar aile düzeyindeki yanlış alarm olasılığını büyütür.
Anlamlı ANOVA'yı “bütün gruplar farklı” diye yorumlamak: Genel test yalnızca en az bir ortalamanın ayrıldığına dair kanıt sunar.
P-değerini etki büyüklüğü sanmak: Küçük p-değeri büyük veya yararlı fark demek değildir.
Reddedilemeyen sonucu eşitlik kanıtı saymak: Test gücü düşük veya güven aralığı geniş olabilir. Gerçek eşdeğerlik iddiası ayrı bir eşdeğerlik sınırı ve uygun test gerektirir.
Normalliği yalnızca bir geçti–kaldı testine bağlamak: Grafik, aykırı değerler, örneklem büyüklüğü ve testin dayanıklılığı birlikte değerlendirilmelidir.
Aykırı değeri sessizce silmek: Veri hatası mı, gerçek ama nadir bir olay mı olduğu araştırılmalı; duyarlılık analizi raporlanmalıdır.
Aynı kullanıcının veya kurumun kayıtlarını bağımsız saymak: Yapay biçimde büyüyen örneklem standart hatayı küçültür.
Veriyi gördükten sonra tek yönlü teste geçmek: Yön ve analiz planı sonuçtan önce belirlenmelidir.
Gözlemsel farkı nedensel etki sanmak: Test, karıştırıcıları ve seçim yanlılığını kendiliğinden ortadan kaldırmaz.
Yalnızca “anlamlı/anlamsız” etiketi vermek: Grup özetleri, fark, güven aralığı, etki büyüklüğü, p-değeri ve varsayımlar birlikte raporlanmalıdır.

Bir Ortalama Karşılaştırmasını Okurken İzlenecek Yol

Araştırma sorusunu ve hedef anakütleyi tanımlayın. Hangi ortalama, kimler ve hangi koşullar için karşılaştırılıyor?
Deney birimini belirleyin. Bağımsız bilgi kişi, cihaz, kurum, zaman dilimi veya başka bir kümeden mi geliyor?
Tasarımı sınıflandırın. Tek örneklem mi, iki bağımsız grup mu, eşleşmiş ölçümler mi, yoksa üçten fazla grup mu var?
Veriyi betimleyin ve görün. Her grubun gözlem sayısını, ortalamasını, standart sapmasını, dağılım biçimini ve aykırı değerlerini inceleyin.
Hipotezi, yönü ve hata eşiğini önceden yazın. Sonucu gördükten sonra soruyu değiştirmeyin.
Uygun standart hatayı kullanın. Bağımsızlık, eşleşme ve varyans yapısını formüle doğru yansıtın.
Varsayımları bağlam içinde değerlendirin. Bir test adını seçmek veri üretim sürecini doğrulamaz.
Çoklu karşılaştırmaları hesaba katın. Kaç soru sorulduğunu ve hangi test ailesinin korunacağını belirtin.
Etkiyi ve belirsizliği birlikte raporlayın. Gerçek birimli fark, güven aralığı, uygun etki büyüklüğü ve p-değerini yan yana verin.
İstatistiksel kararı pratik karardan ayırın. Fark, maliyeti ve riski karşılayacak kadar büyük mü?
Tekrarlanabilirliği arayın. Sonuç yeni veri, yeni dönem veya bağımsız bir deneyde korunuyor mu?

Sonuç: Farkı Kendi Gürültüsüyle Tartmak

Bu makalede genel hipotez testi fikrini, ortalamaları karşılaştıran somut yöntemlere dönüştürdük. Anakütle standart sapması bilinmediğinde onu örneklemden tahmin etmenin ek belirsizlik oluşturduğunu; Student'ın t dağılımının küçük serbestlik derecelerinde daha geniş kuyruklarla bu belirsizliği taşıdığını gördük.

Tek örneklem t-testiyle bir ortalamayı hedef değerle, Welch t-testiyle iki bağımsız grup ortalamasını ve eşleştirilmiş t-testiyle aynı birimlerden gelen farkların ortalamasını sınadık. Üç testin formülleri farklı görünse de aynı zihinsel modeli kullandı: İlgilendiğimiz farkı, o farkın tahmin edilen standart hatasına böldük. Doğru formülü ise sayıların görünüşü değil, araştırma tasarımı belirledi.

Üç veya daha fazla grupta tek tek t-testlerinin yanlış alarm riskini biriktirdiğini gördük. ANOVA, toplam kareli değişkenliği gruplar arası ve grup içi parçalara ayırdı; bunların serbestlik derecesi başına büyüklüklerini $F$ oranında karşılaştırdı. Anlamlı genel sonucun hangi çiftlerin farklı olduğunu söylemediğini, planlanmış karşıtlık veya düzeltilmiş sonraki test gerektiğini ayırdık.

En önemli zihinsel model şudur: Büyük görünen bir fark, verinin doğal yayılımı ve bilgi miktarı hesaba katılmadan güçlü kanıt sayılmaz. T-testi ve ANOVA bu karşılaştırmayı düzenler; fakat temsil edilmeyen anakütleyi, bağımlı kayıtları, kötü ölçümü, çoklu denemeleri veya nedensel tasarım eksikliğini onaramaz. Bu yüzden p-değerini daima gerçek birimli fark, güven aralığı, etki büyüklüğü, varsayımlar ve kararın maliyetiyle birlikte okumalıyız.

Ortalamalar ve varyanslar, dağılımı birkaç sayıyla özetlememizi ve grupları karşılaştırmamızı sağladı. Fakat belirsizliği ölçmenin başka bir yolu daha vardır: Bir dağılımın olasılık kütlesi ne kadar yoğunlaşmış veya yayılmıştır? Sıradaki Entropi makalesinde belirsizliği yalnızca ortalamadan uzaklıkla değil, olası sonuçlar arasında dağılan bilgi miktarıyla ele alacak; bu kavramın karar ağaçlarından çapraz entropi kaybına kadar yapay zekâdaki rolüne hazırlanacağız.

Yazar: Levent KARAGÖL