Bir modelin hatasını ölçmek kolay olabilir; en düşük hatayı veren ayarları bulmak her zaman kolay değildir. Gradyan inişinde bulunduğumuz noktadaki eğime bakar, maliyetin azaldığı yöne doğru tekrar tekrar adım atarız. Öğrenme oranı bu adımların ölçeğini belirler. Önce tek bir teslimat süresi tahmininde güncellemeleri hesaplayacak, ardından farklı öğrenme oranlarını ve iki parametreli bir modeli inceleyeceğiz.

Bir modelin hatasını ölçtükten sonra hangi ayarların bu hatayı azaltacağını bulmamız gerekir. İzin verilen seçenekler arasından amacımıza en uygun olanı aramaya optimizasyon, amacı sayıyla ifade eden kurala maliyet fonksiyonu deriz. Bir teslimat süresi tahmininden başlayıp kareli ve mutlak hatanın neden farklı seçimlere götürdüğünü hesaplayacağız. Ardından çapraz entropiyi bu çerçevede kullanacak ve düşük eğitim maliyetinin sınırlarını inceleyeceğiz.