Veri Seti Eğitildikten Sonra Overfitting Olup Olmadığı Nasıl Anlaşılır ?


#1

Merhaba,

  1. haftanın uygulama ödevinde ortaya çıkan modelin overfitting’e maruz kaldığı söyleniyor. Bir veri setinin overfitting’e maruz kaldığını, eğitimin doğruluğu artarken testin doğruluğunun azalmasından anlıyoruz diye biliyorum. Ancak uygulamada, bir eğitimden sonra direkt olarak overfitting var denmiş. Bunu sadece bir tane eğitim doğruluk ve test doğruluk sonucuna bakarak anlayabiliyor muyuz?

Sevgiler, Ender.


#2

Eger model degiskenler degilde data uizerinden rastgele hata uretmeye basliyorsa overfitting (asiri oturma (google translate)) var diyebilirsiniz. En kolay yol belirttiginiz gibi training datasindaki sonuclarin iyi cikmasi test datasinda ise kotu cikmasi olabilir.


#3

Eğitim doğruluk sonucu ile test doğruluk sonuçları arasında fark büyük ise o zaman modeliniz eğitimdeki verileri ezberlemiştir (overfitting) diyebiliriz. Bu nedenle de eğitim doğruluğunuz yüksek çıkmıştır.


#4

Overfitting göreceli bir kavram. Evet train ve test sonuçları hataları arasındaki fark ama ne kadarlık bir farktan bahsediyoruz? Sınıflama probleminde “accuracy” için belki %20’lik fark çok belirgin olabilir ama örneğin RMSE kullanılan bir problemde bu farkın ölçütü ne olacak? Bu nedenle fikir vermesi açısından, basitçe bir yaklaşım ile train ve test sonuçlarına (örneğin) t testi yaparak sonuçların aynı dağılımdan gelip gelmediğine bakabilirsin.


#5

Input’unuz nedir bilmiyorum fakat bana kalırsa overfitting’i yorumlamanın en kolay yolu confusion matrix’e bakmaktır.

Bir senaryo ile açıklamak gerekirse diyelim ki 10.000 adet data ile eğitim yapıyorsunuz ve output’unuz %90’a %10 şeklinde dağılım göstermiş. (%90: 0, %10: 1 olsun)

80/20 oranında tabakalı örnekleme ile train, test yaptığınızda karşınıza çıkan confusion matrix overfitting durumunda şu şekilde olacaktır:

[1800 0]
[200 0]

Sola dayalı olan confusion matrix overfitting durumunu gösteriyor. Accuracy’miz %90 olmasına rağmen test sonucunda görüyoruz ki %10 olan output’u makine tahmin etmede başarısız olmuştur. Test sonucunda hepsine 0 diyerek %90’lık bir başarı göstermiş gibi davranıyor.


#6

Overfitting durumu ayrıca confusion matrisdeki specifity ve sensicifity arasındaki bariz yüzde farkı ile de gözlenebilir. Bu fark genellikle modelin bir etiketi tahminindeki başarısına rağmen diğer durumları yeterli tahmin edemediği şeklinde yorumlanmaktadır. Bu yorumun yanı sıra overfitting oluştuğu da (üstelik daha sıkıntılı bir overfitting) muhakkak düşünülmelidir.