12. Gradyan ve Kısmi Türevler

30 Ağustos 2026

27 dakika

168 görüntüleme

Bir evin fiyatı birden fazla özelliğe bağlıysa, bunlardan birinin etkisini nasıl ayırırız? Kısmi türev, seçtiğimiz değişkenin sonucu nasıl etkilediğini ölçer. Gradyan ise bütün bu etkileri bir yön vektöründe bir araya getirir. Milyonlarca ayarın hatayı birlikte değiştirdiği yapay zekâ modellerinde de bu çok değişkenli bakışa ihtiyaç duyarız. Bu makalede kısmi türevi günlük örneklerle kuracağız. Ardından gradyanın geometrik anlamını, yönlü türevi, seviye eğrilerini ve kritik noktaları inceleyip gradyanın model eğitiminde nasıl kullanıldığını adım adım göreceğiz.

Gerçek Hayatta Sonuçları Tek Bir Şey Belirlemez

Türev makalesinde tek bir girdideki değişimin çıktıya etkisini ölçtük; İntegral makalesinde küçük katkıları biriktirdik. Böylece tek değişkenli Kalkülüs'ün temel araçlarını tanıdık. $f(x)$ fonksiyonunun türevi, $x$ değişirken çıktının hangi yönde ve ne hızla değiştiğini söylüyordu.

Gerçek hayatta çoğu sonuç birden fazla etkene bağlıdır. Bir evin fiyatında metrekarenin yanında yaş, oda sayısı ve konum da rol oynar. Aracın yakıt tüketimi hızla birlikte yol eğimine, ağırlığa ve hava koşullarına bağlıdır. Yapay zekâ modelinin hatasını da çok sayıda ayarlanabilir değer belirler.

Bu durumda “Çıktı ne hızla değişiyor?” sorusu eksik kalır. Önce hangi girdiyi değiştirdiğimizi söylememiz gerekir:

Diğer her şey aynı kalırken evin metrekaresini artırırsak fiyat nasıl değişir?
Hız aynı kalırken yolun eğimi artarsa yakıt tüketimi nasıl değişir?
Bir modelin diğer ayarlarına dokunmadan yalnızca tek bir ağırlığını değiştirirsek hata ne olur?

Kısmi türev her girdinin etkisini ayrı ayrı ölçer. Bu değerleri bir araya getirdiğimizde bütün girdiler için değişim yönünü ve hızını inceleyebiliriz.

Tek Girdili Fonksiyondan Çok Girdili Fonksiyona

Fonksiyonlar makalesinde bir fonksiyonun birden fazla girdi alabileceğini görmüştük. İki girdili basit bir örnek kullanalım:

$$ f(x,y)=x^2+3y $$

Bu gösterim “f fonksiyonu x ve y girdilerini alır” diye okunur. $x=2$ ve $y=4$ yazarsak:

$$ \begin{aligned} f(2,4) &=2^2+3\cdot4\\ &=4+12\\ &=16 \end{aligned} $$

elde ederiz. Farklı $x$ ve $y$ değerleriyle de 16 sonucuna ulaşabiliriz. Çıktı değiştiğinde $x$ ile $y$'nin etkilerini ayrı ayrı görmek isteriz.

Tek girdili $y=f(x)$ fonksiyonunu düzlemde bir eğri olarak çizebiliyorduk. İki girdili $z=f(x,y)$ fonksiyonunda ise $x$ ve $y$ yatay konumu, $z$ yüksekliği gösterir. Böylece grafik bir eğri değil, üç boyutlu bir yüzey olur.

Örneğin $z=x^2+y^2$ yüzeyi, ortası alçak ve kenarlara doğru yükselen bir kâseye benzer:

z eşittir x kare artı y kare fonksiyonunun kâse biçimindeki üç boyutlu yüzeyi

Bir eğri üzerinde sağa ya da sola ilerleriz. Yüzeydeyse doğuya, kuzeye veya bunların arasında bir yöne gidebiliriz. Ölçtüğümüz eğim de hangi yönde ilerlediğimize bağlıdır.

Kısmi Türev Ne Sorar?

$f(x,y)$ fonksiyonunda yalnızca $x$'in etkisini görmek istediğimizi düşünelim. Bunun için $y$'yi geçici olarak sabit tutar, fonksiyonu yalnızca $x$'e bağlıymış gibi türevleriz. Elde ettiğimiz sonuca $x$'e göre kısmi türev denir:

$$ \frac{\partial f}{\partial x} $$

Bu ifade “f'nin x'e göre kısmi türevi” diye okunur. Alıştığımız yuvarlak $d$ yerine kıvrımlı $\partial$ sembolünü kullanmamız, fonksiyonun başka girdileri de olduğunu ve yalnızca birini değiştirdiğimizi hatırlatır.

Yalnızca $y$'nin etkisini görmek istersek bu kez $x$'i sabit tutarız:

$$ \frac{\partial f}{\partial y} $$

İki kısmi türevin yanıtladığı sorular şöyle ayrılır:

$\partial f/\partial x$, “$y$ aynı kalırken $x$ biraz değişirse $f$ ne kadar değişir?” sorusunu;
$\partial f/\partial y$, “$x$ aynı kalırken $y$ biraz değişirse $f$ ne kadar değişir?” sorusunu yanıtlar.

Gerçekte diğer değişken de değişebilir. Onu sabit tutmamızın amacı, seçtiğimiz girdinin etkisini ayrı ölçmektir.

İlk Kısmi Türevleri Adım Adım Hesaplayalım

Biraz önceki fonksiyona dönelim:

$$ f(x,y)=x^2+3y $$

Önce $x$'e göre kısmi türev alalım. $y$ sabit tutulduğu için $3y$ ifadesinin tamamı sabit sayı gibi davranır ve türevi sıfır olur:

$$ \begin{aligned} \frac{\partial f}{\partial x} &=\frac{\partial}{\partial x}(x^2+3y)\\ &=2x+0\\ &=2x \end{aligned} $$

Şimdi $y$'ye göre türev alalım. Bu kez $x$ sabittir; dolayısıyla $x^2$'nin türevi sıfır olur:

$$ \begin{aligned} \frac{\partial f}{\partial y} &=\frac{\partial}{\partial y}(x^2+3y)\\ &=0+3\\ &=3 \end{aligned} $$

$(2,4)$ noktasında bu değerler:

$$ \left.\frac{\partial f}{\partial x}\right|_{(2,4)}=4 \qquad \left.\frac{\partial f}{\partial y}\right|_{(2,4)}=3 $$

olur. Dikey çizginin sağındaki $(2,4)$, türevi bu noktada değerlendirdiğimizi gösterir. Bulunduğumuz noktada yalnızca $x$'i küçük miktarda artırırsak çıktı yaklaşık olarak her bir $x$ birimi başına 4; yalnızca $y$'yi artırırsak her bir $y$ birimi başına 3 artar.

Kısmi türevin birimi de hangi girdiye göre türev aldığımıza bağlıdır. Çıktı lira, $x$ metrekare ise $\partial f/\partial x$ birimi lira/metrekare olabilir. $y$ yıl cinsinden yaş ise $\partial f/\partial y$ birimi lira/yıl olur. Farklı birimli bileşenleri karşılaştırırken ölçekleri göz ardı etmemeliyiz.

Değişkenler Aynı Terimdeyse Ne Olur?

Şimdi $x$ ve $y$'nin birlikte bulunduğu bir etkileşim terimi ekleyelim:

$$ f(x,y)=x^2+3xy+y^2 $$

$x$'e göre türev alırken $y$ sabittir. Bu nedenle $3xy$, sabit katsayısı $3y$ olan $3y\cdot x$ terimi gibi davranır:

$$ \begin{aligned} \frac{\partial f}{\partial x} &=2x+3y,\\ \frac{\partial f}{\partial y} &=3x+2y. \end{aligned} $$

$(1,2)$ noktasında:

$$ \begin{aligned} \frac{\partial f}{\partial x}(1,2)&=2+6=8,\\ \frac{\partial f}{\partial y}(1,2)&=3+4=7. \end{aligned} $$

elde ederiz. $x$'in etkisi $y$'nin, $y$'nin etkisi de $x$'in değerine bağlıdır. Çünkü iki değişken aynı çarpım teriminde yer alır; bir özelliğin etkisi diğerinin değerine göre değişebilir.

Kısmi Türevin Geometrik Anlamı

$z=f(x,y)$ yüzeyinde $(x_0,y_0)$ noktasında durduğumuzu düşünelim. $y=y_0$ değerini sabit tutarsak yüzeyi bir yönde dilimler ve tek değişkenli bir eğri elde ederiz. Bu eğrinin eğimi $\partial f/\partial x$'tir.

Bu kez $x=x_0$ değerini sabit tutarsak yüzeyi diğer yönde dilimleriz. Yeni kesitin eğimi de $\partial f/\partial y$'dir.

Yüzeyi iki farklı yönde keserek bildiğimiz tek değişkenli türeve döndük. Bu iki kesitin eğimini birlikte kullanırsak çapraz yönlerdeki değişimi de hesaplayabiliriz.

Birçok Kısmi Türevi Birleştiren Gradyan

Bir fonksiyonun bütün birinci kısmi türevlerini bir vektörde topladığımızda gradyanı elde ederiz. İki değişkenli bir fonksiyon için:

$$ \nabla f(x,y)= \begin{bmatrix} \dfrac{\partial f}{\partial x}\\ \dfrac{\partial f}{\partial y} \end{bmatrix} $$

Üçgeni andıran $\nabla$ sembolü “nabla” diye okunur. Bu makalede gradyanı sütun vektörü olarak yazacağız; bazı kaynaklar aynı bileşenleri satır biçiminde gösterebilir.

$f(x,y)=x^2+3y$ için:

$$ \nabla f(x,y)= \begin{bmatrix} 2x\\ 3 \end{bmatrix} $$

ve $(2,4)$ noktasında:

$$ \nabla f(2,4)= \begin{bmatrix} 4\\ 3 \end{bmatrix} $$

olur. İki kısmi türevi birleştirdiğimiz için sonuç iki bileşenli bir vektördür. Vektörler makalesinde gördüğümüz gibi bunun bir yönü ve büyüklüğü vardır:

$$ \|\nabla f(2,4)\| =\sqrt{4^2+3^2} =5 $$

Bir yüzey üzerindeki noktada gradyan vektörünün yönünü gösteren çizim

Her bileşen kendi eksenindeki değişimi, vektörün tamamı ise bu değişimlerin birleşimini gösterir.

Gradyan Neden En Hızlı Yükselişi Gösterir?

Bir dağın yamacında durduğumuzu düşünelim. Aynı noktadan birçok yöne yürüyebiliriz. Bazı yönler bizi yükseltir, bazıları aşağı indirir, bazıları ise yaklaşık aynı yükseklikte tutar. Gradyan, bulunduğumuz noktadan çıkabileceğimiz en hızlı yükseliş yönünü gösterir.

Gradyanın yönü en hızlı artış yönüdür. Büyüklüğü $\|\nabla f\|$ de bu yöndeki anlık artış hızını verir.

Fonksiyonun en hızlı azaldığı yön bunun tam tersidir:

$$ -\nabla f $$

Bir modelin maliyetini azaltırken genellikle negatif gradyan yönünde ilerleriz. Adımın ne kadar büyük olacağını ise ayrıca seçmemiz gerekir; bunu ileride Gradyan İnişi konusunda inceleyeceğiz.

“En hızlı” ifadesi kullandığımız uzaklık ölçüsüne ve değişkenlerin ölçeğine bağlıdır. Standart gradyan, bildiğimiz Öklid uzaklığına göre en hızlı artış yönünü verir. Bir değişken metre, diğeri kuruş gibi çok farklı ölçeklerdeyse bileşenleri doğrudan karşılaştırmak yanıltıcı olabilir.

Yüzeye Yukarıdan Bakmak: Seviye Eğrileri

Üç boyutlu bir dağı yukarıdan gösteren haritalarda aynı yükseklikteki noktalar çizgilerle birleştirilir. Bu çizgilere kontur veya seviye eğrisi denir. Matematikte $f(x,y)=c$ eşitliği, fonksiyon değerinin aynı $c$ sayısına eşit olduğu bütün noktaları gösterir.

$f(x,y)=x^2+y^2$ için bir seviye seçersek:

$$ x^2+y^2=c $$

elde ederiz. Analitik Düzlem makalesinden bu denklemin merkezi $(0,0)$ olan bir çemberi anlattığını biliyoruz. $c$'yi değiştirdikçe iç içe çemberler elde ederiz.

Bu fonksiyonun gradyanı:

$$ \nabla f(x,y)= \begin{bmatrix} 2x\\ 2y \end{bmatrix} $$

olduğu için merkezden dışarı yönelir. Aynı çember üzerinde ilerlerken fonksiyon değeri değişmez; dışarıya doğru ilerlerken artar. Gradyan bu yüzden düzgün noktalarda seviye eğrisine diktir. Eğriyi izlediğimizde ilk anda yüksekliği değiştirmeyen bir yönde yürürüz.

Eksenler Dışındaki Değişim: Yönlü Türev

Kısmi türevler yalnızca koordinat eksenleri boyunca değişimi ölçer. Oysa bir yüzeyde çapraz bir yöne de ilerleyebiliriz. Uzunluğu 1 olan $\mathbf{u}$ vektörü gitmek istediğimiz yönü göstersin. Fonksiyonun bu yöndeki değişim hızına yönlü türev denir:

$$ D_{\mathbf{u}}f =\nabla f\cdot\mathbf{u} $$

Sağ taraftaki nokta, vektörlerde öğrendiğimiz nokta çarpımdır. Yön vektörünün uzunluğunu 1 seçeriz; aksi halde hesapladığımız değer yönün yanında vektörün uzunluğuna da bağlı olur.

Gradyanımız $[4,3]$ olsun. Sadece $x$ yönünde ilerlersek $\mathbf{u}=[1,0]$ olur ve yönlü türev 4 çıkar. Sadece $y$ yönünde gidersek $\mathbf{u}=[0,1]$ olur ve sonuç 3'tür. Yani kısmi türevler, yönlü türevin eksen yönlerindeki özel halleridir.

Şimdi gradyanın kendi yönündeki birim vektörü kullanalım:

$$ \mathbf{u} =\frac{1}{5} \begin{bmatrix} 4\\ 3 \end{bmatrix} = \begin{bmatrix} 0{,}8\\ 0{,}6 \end{bmatrix} $$

Bu yöndeki değişim:

$$ \begin{aligned} D_{\mathbf{u}}f &= \begin{bmatrix} 4\\ 3 \end{bmatrix} \cdot \begin{bmatrix} 0{,}8\\ 0{,}6 \end{bmatrix}\\ &=4\cdot0{,}8+3\cdot0{,}6\\ &=3{,}2+1{,}8\\ &=5 \end{aligned} $$

olur. 5, gradyanın büyüklüğüne eşittir ve ulaşabileceğimiz en büyük yönlü türevdir.

Nokta Çarpım ve Kosinüs Bağlantısı

Trigonometri ile vektörlerdeki nokta çarpımı birleştirildiğinde yönlü türevin neden en büyük değeri gradyan yönünde aldığı görülür:

$$ D_{\mathbf{u}}f =\nabla f\cdot\mathbf{u} =\|\nabla f\|\,\|\mathbf{u}\|\cos\theta $$

$\mathbf{u}$ birim vektör olduğu için uzunluğu 1'dir. Buradaki $\theta$, “teta” diye okunur ve gradyanla yürüdüğümüz yön arasındaki açıdır:

Açı 0 ise aynı yöndeyiz; $\cos0=1$ olur ve değişim en büyük pozitif değerini alır.
Açı 90 derece ise yönler diktir; kosinüs 0 olur ve fonksiyon ilk anda değişmez.
Açı 180 derece ise ters yöndeyiz; kosinüs $-1$ olur ve değişim en büyük hızla azalır.

Gradyanın seviye eğrilerine dik olması da buradan anlaşılır. Seviye eğrisi boyunca değer değişmediği için yönlü türev sıfırdır; sıfır nokta çarpım da iki yönün dik olduğunu gösterir.

Küçük Bir Adımın Etkisi: Yerel Doğrusal Yaklaşım

Tek değişkenli türevde, düzgün bir eğrinin küçük bir bölgede teğet doğrusuna benzediğini görmüştük. Aynı fikir iki değişkenli bir yüzeyde teğet düzlem olarak karşımıza çıkar.

$x$'i $\Delta x$, $y$'yi $\Delta y$ kadar küçük değiştirirsek:

$$ f(x+\Delta x,y+\Delta y) \approx f(x,y) +\frac{\partial f}{\partial x}\Delta x +\frac{\partial f}{\partial y}\Delta y $$

yazabiliriz. Girdi değişimini $\Delta\mathbf{x}=[\Delta x,\Delta y]$ vektörüyle gösterirsek aynı fikir daha kısa görünür:

$$ f(\mathbf{x}+\Delta\mathbf{x}) \approx f(\mathbf{x}) +\nabla f(\mathbf{x})\cdot\Delta\mathbf{x} $$

Bu formülle girdilerdeki küçük bir değişimin çıktıyı yaklaşık ne kadar değiştireceğini hesaplarız. Yaklaşımın yerel olması önemlidir: Başlangıç noktasından uzaklaştıkça yüzey teğet düzleminden ayrılabilir.

Yerel Yaklaşımı Gerçek Değerle Karşılaştıralım

$f(x,y)=x^2+y^2$ fonksiyonunda $(3,4)$ noktasından başlayalım:

$$ f(3,4)=3^2+4^2=25 \qquad \nabla f(3,4)= \begin{bmatrix} 6\\ 8 \end{bmatrix} $$

$x$'i $0{,}01$ artırıp $y$'yi $0{,}02$ azaltalım:

$$ \Delta\mathbf{x}= \begin{bmatrix} 0{,}01\\ -0{,}02 \end{bmatrix} $$

Gradyanın öngördüğü yaklaşık değişim:

$$ \begin{aligned} \Delta f &\approx \begin{bmatrix} 6\\ 8 \end{bmatrix} \cdot \begin{bmatrix} 0{,}01\\ -0{,}02 \end{bmatrix}\\ &=6\cdot0{,}01-8\cdot0{,}02\\ &=-0{,}10 \end{aligned} $$

olur. Yeni değeri yaklaşık $25-0{,}10=24{,}90$ bekleriz. Gerçek değer:

$$ \begin{aligned} f(3{,}01,3{,}98) &=3{,}01^2+3{,}98^2\\ &=9{,}0601+15{,}8404\\ &=24{,}9005 \end{aligned} $$

çıkar. Tahmin ile gerçek değer arasında $0{,}0005$ fark vardır. Daha büyük adımlarda yüzeyin kıvrımı belirginleşir ve doğrusal yaklaşımın hatası genellikle artar.

Gradyanın Sıfır Olması Ne Anlama Gelir?

Tek değişkende $f'(x)=0$ olan noktaların özel olduğunu öğrenmiştik. Çok değişkende bunun karşılığı bütün kısmi türevlerin aynı anda sıfır olmasıdır:

$$ \nabla f(\mathbf{x})=\mathbf{0} $$

Böyle bir noktaya durağan nokta denir. $f(x,y)=x^2+y^2$ için gradyan $[2x,2y]$'dir ve yalnızca $(0,0)$'da sıfır olur. Kâsenin dibi olan bu nokta gerçekten minimumdur.

Fakat sıfır gradyan tek başına minimum garantisi vermez:

$x^2+y^2$, sıfırda kâse gibi davranır ve minimuma sahiptir.
$-x^2-y^2$, sıfırda kubbe gibi davranır ve maksimuma sahiptir.
$x^2-y^2$, bir yönde yükselip diğer yönde alçalır ve eyer noktası oluşturur.

Son örneğin yüzeyi bir at eyerine benzer:

x kare eksi y kare fonksiyonunun eyer biçimindeki yüzeyi

$f(x,y)=x^2-y^2$ için $\nabla f=[2x,-2y]$ ve $\nabla f(0,0)=[0,0]$'dır. Ancak $x$ yönünde $f(x,0)=x^2$ yükselirken $y$ yönünde $f(0,y)=-y^2$ düşer. Bu nedenle nokta ne minimum ne de maksimumdur.

Bir minimumda gradyanın mutlaka sıfır olacağını da varsayamayız; gradyan o noktada tanımlı olmayabilir. Örneğin $f(x,y)=|x|+|y|$ fonksiyonunun minimumu $(0,0)$'dadır, fakat keskin köşede gradyan yoktur.

Yüzeyin Kıvrımını Anlatan İkinci Kısmi Türevler

Birinci kısmi türevlerin yeniden türevini alabiliriz. Aynı değişkene göre iki kez türev alırsak:

$$ \frac{\partial^2 f}{\partial x^2} \qquad \frac{\partial^2 f}{\partial y^2} $$

ifadelerini elde ederiz. Önce $x$'e, sonra $y$'ye veya ters sırada türev alırsak karma kısmi türevler oluşur:

$$ \frac{\partial^2 f}{\partial y\,\partial x} \qquad \frac{\partial^2 f}{\partial x\,\partial y} $$

$f(x,y)=x^2+3xy+y^2$ örneğinde ikinci türevler 2, 3, 3 ve 2'dir. Bunları bir matriste toplarsak Hessian matrisini elde ederiz:

$$ H_f= \begin{bmatrix} \dfrac{\partial^2 f}{\partial x^2} & \dfrac{\partial^2 f}{\partial x\,\partial y}\\ \dfrac{\partial^2 f}{\partial y\,\partial x} & \dfrac{\partial^2 f}{\partial y^2} \end{bmatrix} = \begin{bmatrix} 2&3\\ 3&2 \end{bmatrix} $$

Gradyan yüzeyin o anda hangi yöne eğildiğini, Hessian ise bu eğimin çevrede nasıl değiştiğini, yani yüzeyin kıvrımını anlatır. Yeterince düzgün fonksiyonlarda iki karma kısmi türev birbirine eşittir; fakat bu eşitlik hiçbir koşul olmadan otomatik kabul edilmemelidir.

Hessian, durağan bir noktanın kâse, kubbe ya da eyer gibi davranıp davranmadığını incelemeye yardım eder. İkinci türevler, gradyanın tek başına vermediği eğrilik bilgisini taşır; ayrıntılı sınıflandırmayı burada ele almayacağız.

Formül Olmadan Sayısal Gradyan

Bir fonksiyonun açık formülü yoksa veya hesapladığımız türevi kontrol etmek istiyorsak, girdileri küçük bir $h$ miktarı kadar oynatabiliriz. $x$'e göre merkezi fark yaklaşımı:

$$ \frac{\partial f}{\partial x}(x,y) \approx \frac{f(x+h,y)-f(x-h,y)}{2h} $$

biçimindedir. $y$'ye göre türev için bu kez yalnızca $y$'yi artırıp azaltırız:

$$ \frac{\partial f}{\partial y}(x,y) \approx \frac{f(x,y+h)-f(x,y-h)}{2h} $$

$f(x,y)=x^2+3y$, $(2,4)$ ve $h=0{,}01$ için ilk hesap:

$$ \frac{f(2{,}01,4)-f(1{,}99,4)}{0{,}02} =\frac{16{,}0401-15{,}9601}{0{,}02} =4 $$

sonucunu verir. Bu, sembolik olarak bulduğumuz $\partial f/\partial x=2x=4$ değeriyle aynıdır.

Sayısal türevle hesapladığımız gradyanı kontrol edebiliriz. Milyonlarca parametrenin her birini ayrı ayrı artırıp azaltmak ise çok maliyetlidir; üstelik $h$'yi aşırı küçültmek yuvarlama hatasını büyütebilir. Büyük modellerde türevleri hesaplamak için işlemlerin yapısını izleyen otomatik türev ve geriye yayılım yöntemleri kullanılır.

Yapay Zekâda Küçük Bir Modelin İki Ayarı

Matrisler makalesinde ağırlıkların ve kaydırmaların girdileri nasıl dönüştürdüğünü görmüştük. Şimdi tek girdili basit bir model kullanalım:

$$ \widehat{y}=wx+b $$

“y şapka” diye okunan $\widehat{y}$, modelin tahminidir. $w$ girdinin etkisini belirleyen ağırlık, $b$ ise sonucu yukarı veya aşağı kaydıran sabittir. Tek bir veri örneğinde gerçek değer $y$ olsun. Karesel kaybı:

$$ J(w,b)=(wx+b-y)^2 $$

ile gösterelim. Bu fonksiyon, tahmin ile gerçek değer arasındaki farkı kareye çevirir. $x$ ve $y$ bu veri örneği için sabittir; modelin değiştirebileceği sayılar $w$ ve $b$'dir.

Genel formülün türevini alırken bir sonraki makalenin konusu olan Zincir Kuralı gerekir. Burada sonucu yazalım; sayısal örnekte ifadeyi açarak aynı türevi kontrol edeceğiz:

$$ \nabla J(w,b)= \begin{bmatrix} 2(wx+b-y)x\\ 2(wx+b-y) \end{bmatrix} $$

Elimizde $x=2$, $y=7$ verisi; başlangıçta da $w=1$, $b=0$ ayarları bulunsun. Tahmin ve kayıp:

$$ \begin{aligned} \widehat{y}&=1\cdot2+0=2,\\ J(1,0)&=(2-7)^2=25 \end{aligned} $$

olur. Bu özel örnekte kaybı açarsak:

$$ \begin{aligned} J(w,b) &=(2w+b-7)^2\\ &=4w^2+4wb-28w+b^2-14b+49 \end{aligned} $$

elde ederiz. Artık yalnızca polinom türevleriyle:

$$ \begin{aligned} \frac{\partial J}{\partial w} &=8w+4b-28,\\ \frac{\partial J}{\partial b} &=4w+2b-14 \end{aligned} $$

buluruz. $w=1$, $b=0$ noktasındaki gradyan:

$$ \nabla J(1,0)= \begin{bmatrix} -20\\ -10 \end{bmatrix} $$

olur. Birinci bileşen $w$'nin, ikinci bileşen $b$'nin kaybı nasıl etkilediğini söyler. İkisi de negatif olduğundan bu noktada $w$ ve $b$'yi biraz artırmak kaybı azaltır. En hızlı azaltma yönü $-\nabla J=[20,10]$'dur.

Gradyandan Bir Öğrenme Adımına

Model ayarlarını negatif gradyan yönünde küçük miktarda değiştiren temel güncelleme şöyledir:

$$ \begin{bmatrix} w_{\text{yeni}}\\ b_{\text{yeni}} \end{bmatrix} = \begin{bmatrix} w_{\text{eski}}\\ b_{\text{eski}} \end{bmatrix} -\eta\nabla J $$

Yunan alfabesindeki “eta” harfiyle gösterilen $\eta$, adım büyüklüğü veya öğrenme oranıdır. Şimdilik $\eta=0{,}01$ seçelim:

$$ \begin{aligned} w_{\text{yeni}}&=1-0{,}01(-20)=1{,}2,\\ b_{\text{yeni}}&=0-0{,}01(-10)=0{,}1. \end{aligned} $$

Yeni tahmin $1{,}2\cdot2+0{,}1=2{,}5$, yeni kayıp ise:

$$ (2{,}5-7)^2=20{,}25 $$

olur. Kayıp 25'ten 20,25'e düştü; tek adımda doğru cevaba ulaşmadık. Öğrenme oranı aşırı büyükse iyi noktanın üzerinden atlayabiliriz, çok küçükse ilerleme yavaşlar. Bu seçimleri daha sonraki Gradyan İnişi makalesinde inceleyeceğiz.

İki Parametreden Milyarlarca Parametreye

Örneğimizde gradyan iki bileşenliydi. Bir modelin $n$ tane ayarlanabilir parametresi varsa bunları $\mathbf{w}=[w_1,w_2,\ldots,w_n]$ vektöründe toplayabiliriz. Maliyet fonksiyonunun gradyanı da aynı sayıda bileşen taşır:

$$ \nabla J(\mathbf{w})= \begin{bmatrix} \dfrac{\partial J}{\partial w_1}\\ \dfrac{\partial J}{\partial w_2}\\ \vdots\\ \dfrac{\partial J}{\partial w_n} \end{bmatrix} $$

Üç boyuttan yüksek bir yüzeyi gözümüzde canlandırmak güçtür. Yine de Normlar ve Mesafeler makalesinde olduğu gibi yüksek boyutlu vektörlerle hesap yapabiliriz. Her parametre bir eksene karşılık gelir; maliyet o noktadaki yükseklik, gradyan da yerel eğim bilgisidir.

Gradyan, her ayarı hangi yönde değiştireceğimizi söyler. Eğitimde ayrıca veri seçimi, adım büyüklüğü, düzenlileştirme, düz bölgeler ve gürültüyle nasıl başa çıkılacağı da önemlidir.

Türev, Kısmi Türev, Yönlü Türev ve Gradyan Arasındaki Fark

Kavram	Sonuç	Yanıtladığı soru
Türev	Bir sayı	Tek girdi değişirken çıktı ne hızla değişir?
Kısmi türev	Bir sayı	Diğer girdiler sabitken seçilen girdi çıktıyı nasıl etkiler?
Yönlü türev	Bir sayı	Seçilen herhangi bir yönde çıktı ne hızla değişir?
Gradyan	Bir vektör	Bütün eksen etkileri birlikte hangi en hızlı artış yönünü oluşturur?

Kısmi türevler gradyanın bileşenleridir. Yönlü türev, gradyanın seçtiğimiz yön üzerindeki payıdır. Gradyan ise tek bir yönlü türev değil, bütün yönlerdeki yerel değişimi hesaplamamıza izin veren temel vektördür.

Gradyan ve Kısmi Türevlerde Sık Yapılan Hatalar

Diğer değişkenleri yok saymak: Kısmi türev alırken diğer değişkenler sıfır yapılmaz; geçici olarak sabit kabul edilir.
Kısmi türev ile gradyanı aynı sanmak: Kısmi türev tek bir bileşen ve sayıdır; gradyan bütün birinci kısmi türevlerden oluşan vektördür.
Gradyanın en hızlı azalışı gösterdiğini düşünmek: $\nabla f$ en hızlı artışı, $-\nabla f$ en hızlı azalışı gösterir.
Yön vektörünü birimleştirmemek: Birim olmayan vektörle alınan nokta çarpım yönün yanında vektörün uzunluğunu da sonuca katar.
Sıfır gradyanı kesin minimum sanmak: Nokta maksimum veya eyer olabilir; ayrıca keskin bir minimumda gradyan hiç bulunmayabilir.
Kısmi türevlerin varlığını tam düzgünlük sanmak: Eksen yönlerindeki türevlerin tek başına bulunması bütün yönlerde iyi bir doğrusal yaklaşımı garanti etmez.
Birimleri ve ölçekleri unutmak: Farklı ölçekteki değişkenler gradyanın sayısal yönünü güçlü biçimde etkileyebilir.
Sayısal türevde en küçük $h$'yi seçmek: Çok küçük adımlar yuvarlama hatasını artırabilir; yaklaşık türev ile sembolik veya otomatik türev karşılaştırılırken uygun tolerans gerekir.
Gradyanı bütün öğrenme süreci sanmak: Gradyan yerel yön bilgisidir; doğru adım büyüklüğü, veri örneklemesi ve optimizasyon yöntemi ayrıca belirlenir.

Bir Çok Değişkenli Fonksiyonu İncelerken İzlenecek Yol

Girdileri ve çıktıyı ayırın. Hangi değişkenlerin bağımsız, hangilerinin parametre veya sabit olduğunu belirleyin.
Tanım kümesini kontrol edin. Kök, payda ve logaritma gibi kısıtları unutmayın.
Her kısmi türevi tek tek bulun. Seçtiğiniz değişken dışındakileri sabit tutun.
Gradyanı doğru sırayla kurun. Bileşen sırası, değişken vektörünün sırasıyla aynı olmalıdır.
Noktadaki değeri hesaplayın. Gradyan fonksiyonu ile belirli bir noktadaki gradyan vektörünü karıştırmayın.
Yönü ve büyüklüğü yorumlayın. Artış mı azalış mı aradığınızı ve kullanılan ölçeği belirleyin.
Sonucu kontrol edin. Gerekirse merkezi farkla sayısal kontrol yapın; işaretleri, birimleri ve yaklaşık değişimi inceleyin.

Değişkenler Birbirine Bağlıysa Ne Yapacağız?

Kısmi türev alırken bir girdiyi değiştirip diğerlerini sabit tuttuk. Fakat gerçek sistemlerde değişkenler çoğu zaman birbirine bağlıdır. $z=f(x,y)$ olsun; ayrıca $x=x(t)$ ve $y=y(t)$ biçiminde ikisi de zamana bağlı olsun. Zaman değiştiğinde $x$ ve $y$ birlikte değişir, onların değişimi de $z$'ye ulaşır.

Bir yapay sinir ağında da ilk katmandaki ağırlık sonraki katmanın değerini, o değer başka bir katmanı ve en sonunda modelin kaybını etkiler. Zincirin başındaki küçük bir değişikliğin sonuca etkisini bulmak için bu yolların tamamını izlememiz gerekir.

Kısmi türevler tek tek bağlantılardaki yerel etkiyi, gradyan da bir noktadaki etkilerin tamamını verir. Değişkenler birbirine bağlı olduğunda bu etkilerin zincir boyunca nasıl taşındığını da hesaplamamız gerekir.

Sonuç: Tek Bir Eğimden Çok Boyutlu Yöne

Tek değişkenli türevden çok değişkenli fonksiyonlara geçerken diğer girdileri sabit tutup bir girdinin etkisini ölçtük. Kısmi türev bize bu etkiyi verir. Aynı terimde yer alan değişkenlerdeyse bir girdinin etkisi, diğerinin bulunduğu değere bağlıdır.

Kısmi türevleri bir vektörde topladığımızda gradyanı elde ettik. Bu vektör en hızlı artış yönünü, tersi en hızlı azalış yönünü gösterir. Yönlü türev, gradyanla seçilen yönün nokta çarpımıdır; seviye eğrileri ve kosinüs bağıntısı bu yönlerin nasıl ilişkili olduğunu gösterdi.

Gradyanı kullanarak küçük bir adımın çıktıyı yaklaşık ne kadar değiştireceğini hesapladık. Eyer örneği sıfır gradyanın minimum garantisi vermediğini, keskin köşe örneği de bir minimumda gradyanın bulunmayabileceğini gösterdi. Yüzeyin kıvrımı hakkında daha fazla bilgiyi ikinci kısmi türevler ve Hessian matrisi verir.

İki parametreli modelde negatif gradyan yönündeki tek adım, kaybı 25'ten 20,25'e indirdi. Parametre sayısı büyüdüğünde de her bileşen için aynı yerel etkiyi hesaplarız.

Bir sonraki Zincir Kuralı makalesinde birbirine bağlı değişkenlere geçeceğiz. İç içe fonksiyonlarda etkilerin neden çarpıldığını ve bir sinir ağındaki hatanın önceki katmanların ağırlıklarına nasıl ulaştığını inceleyeceğiz.

Yazar: Levent KARAGÖL