Karar ağaçları ve model mimarisi
Mimariden bahsederken genellikle binaları düşünürüm. Mimari, bir binanın nasıl yapılandırıldığına sorumludur; yüksekliği, derinliği, kat sayısı ve işlerin dahili olarak nasıl bağlanıyor olduğu. Bu mimari aynı zamanda bir binayı nasıl kullanacağımızı da belirler: nereye gireceğiz ve pratikte "oradan ne elde edebiliriz".
Makine öğrenmesinde mimari de benzer bir kavramı ifade eder. Kaç parametresi var ve hesaplama yapmak için bunlar nasıl birbirine bağlı? Çok fazla paralel (genişlik) mi hesaplıyoruz yoksa önceki bir hesaplamaya (derinlik) dayanan seri işlemlerimiz mi var? Bu modele nasıl giriş sağlayabiliriz ve çıkışları nasıl alacağız? Bu tür mimari kararlar genellikle yalnızca daha karmaşık modeller için geçerlidir ve mimari kararlar basitten karmaşıka kadar değişebilir. Bu kararlar genellikle model eğitilmeden önce alınsa da bazı durumlarda eğitim sonrası değişiklikler yapmaya yer vardır.
Şimdi bunu örnek olarak karar ağaçlarıyla daha somut bir şekilde inceleyelim.
Karar ağacı nedir?
Temelde karar ağacı bir akış grafiğidir. Karar ağaçları, kararları birden çok adıma ayıran bir kategorilere ayırma modelidir.
Giriş noktasında (yukarıdaki diyagramda üstte) sağlanan örnek ve her çıkış noktasının bir etiketi (diyagramın alt kısmı) vardır. Her düğümde, örneğin hangi dala geçeceğine basit bir "if" deyimi karar verir. Dal, ağacın (yapraklar) sonuna ulaştığında, bir etikete atanır.
Karar ağaçları nasıl eğitilir?
Karar ağaçları tek seferde bir düğüm veya karar noktası eğitilir. İlk düğümde eğitim kümesinin tamamı değerlendirilir. Buradan, kümeyi daha homojen etiketlere sahip iki alt kümeye ayırabilecek bir özellik seçilir. Örneğin, eğitim kümemizin aşağıdaki gibi olduğunu düşünün:
| Ağırlık (Özellik) | Yaş (Özellik) | Madalya kazandı (Etiket) |
|---|---|---|
| 90 | 18 | No |
| Kategori 80 | 20 | No |
| 70 | 19 | No |
| 70 | 25 | No |
| 60 | 18 | Evet |
| 80 | 28 | Evet |
| 85 | 26 | Evet |
| 90 | 25 | Evet |
Bu verileri bölmek için bir kural bulmak için elimizden geleni yapıyorsak, madalya kazananların çoğu 24 yaşın üzerinde olduğu için yaşı 24'e göre bölebiliriz. Bu bölme bize iki veri alt kümesi sağlar.
Alt Küme 1
| Ağırlık (Özellik) | Yaş (Özellik) | Madalya kazandı (Etiket) |
|---|---|---|
| 90 | 18 | No |
| Kategori 80 | 20 | No |
| 70 | 19 | No |
| 60 | 18 | Evet |
Alt Küme 2
| Ağırlık (Özellik) | Yaş (Özellik) | Madalya kazandı (Etiket) |
|---|---|---|
| 70 | 25 | No |
| 80 | 28 | Evet |
| 85 | 26 | Evet |
| 90 | 25 | Evet |
Burada durursak, bir düğüm ve iki yaprak içeren basit bir modelimiz olur. Yaprak 1 madalyasız kazananlar içerir ve eğitim kümemizde %75 doğrudur. Yaprak 2 madalya kazananları içerir ve aynı zamanda eğitim kümesinde % 75 doğrudur.
Burada durmamıza gerek yok. Yaprakları daha fazla bölerek bu işleme devam edebiliriz.
1. alt kümede ilk yeni düğüm ağırlığa göre bölünebilir çünkü tek madalya kazananın ağırlığı, madalya kazanamayan kişilerden daha azdı. Kural "ağırlık < 65" olarak ayarlanabilir. 65 kilolu < Kişiler madalya kazandığı tahmin edilirken, ≥65 ağırlığı olan herkes bu ölçüte uymaz ve madalya kazanmayacağı tahmin edilebilir.
2. alt kümede ikinci yeni düğüm de ağırlığa göre bölünebilir, ancak bu kez ağırlığı 70'in üzerinde olan herkesin madalya kazanacağını, altındakilerin ise kazanmayacağını tahmin eder.
Bu, eğitim kümesinde %100 doğruluk elde edebilecek bir ağaç sağlar.
Karar ağaçlarının güçlü ve zayıf yönleri
Karar ağaçlarının yanlılıkları düşük olarak kabul edilir. Bu, genellikle bir şeyi doğru etiketlemek için önemli olan özellikleri belirleme konusunda iyi oldukları anlamına gelir.
Karar ağaçlarının en büyük zayıflığı fazla uygunluktır. Daha önce verilen örneği göz önünde bulundurun: model, kimin madalya kazanma olasılığını hesaplamak için tam bir yol sağlar ve bu, eğitim veri kümesinin %100'ünde doğru tahminde bulunur. Bu doğruluk düzeyi, normalde eğitim veri kümesinde çok sayıda hataya neden olan makine öğrenmesi modelleri için olağan dışıdır. İyi eğitim performansı kendi içinde kötü bir şey değildir, ancak ağaç eğitim kümesinde o kadar özel hale gelmiştir ki, muhtemelen test kümesinde iyi sonuç vermez. Bunun nedeni, ağacın eğitim kümesinde büyük olasılıkla gerçek olmayan ilişkileri öğrenmeyi başarmış olmasıdır, örneğin 60 kg ağırlığa sahip olmak, 25 yaşın altındaysanız madalya garanti eder.
Model mimarisi fazla uygunluğu etkiler
Karar ağacımızı nasıl yapılandıracağımız, zayıflıklarından kaçınmanın anahtarıdır. Ağaç ne kadar derin olursa, eğitim kümesini fazla sığdırma olasılığı o kadar yüksektir. Örneğin, yukarıdaki basit ağaçta ağacı yalnızca ilk düğümle sınırlandırırsak, eğitim kümesinde hatalara neden olur, ancak muhtemelen test kümesinde daha iyi olur. Bunun nedeni, yalnızca eğitim kümesi için geçerli olabilecek son derece özel kurallar yerine kimin madalya kazandığına ilişkin "24'ün üzerindeki atletler" gibi daha genel kurallara sahip olmasıdır.
Burada ağaçlara odaklanmış olsak da, diğer karmaşık modellerin genellikle nasıl yapılandırıldıklarına veya eğitim tarafından nasıl yönlendirildiklerine ilişkin kararlarla azaltabildiğimiz benzer zayıflıkları vardır.