Giriş
Makine öğrenmesinde modeller, etiketlenmiş eğitim verilerinden öğrenme desenleri ile bilinmeyen sonuçları tahmin etmek için eğitilir. Modelin öğrenme şekli, yalnızca verilerin kendisinden değil, aynı zamanda eğitim sürecini denetleyen ayarlardan da etkilenir. Bunlar verilerden öğrenılmaz ancak eğitim başlamadan önce el ile ayarlanır, örneğin:
- Lojistik regresyonda, normalleştirme oranı aşırı karmaşık modelleri cezalandırarak fazla uygunluğu önlemeye yardımcı olur.
- Sinir ağlarında öğrenme hızı, modelin ağırlıklarını ne kadar hızlı güncelleştirdiğini belirler ve hem hızı hem de doğruluğu etkiler.
Uyarı
Makine öğrenmesi terminolojisinde verilerden öğrenilen değerlere parametre adı verilir. Bunları eğitim işlemini yapılandıran değerlerden ayırmak için hiper parametreler terimini kullanırız.
Doğru hiper parametreleri seçmek çok önemlidir. Kötü seçimler, yeni verilerde yetersiz performans gösteren veya genelleştiremeyen modellere yol açabilir. Öte yandan iyi ayarlanmış hiper parametreler modelin doğruluğunu, sağlamlığını ve verimliliğini önemli ölçüde artırabilir.
Hiper parametre ayarlaması burada devreye girer; belirli verileriniz ve göreviniz için en iyi performansa sahip kurulumu bulmak için farklı hiper parametre değerleri bileşimlerini sistematik olarak test etme işlemidir.
Azure Databricks'te Bu işlemi otomatikleştirmek için Optuna kitaplığını kullanabilirsiniz. Optuna, hiper parametre alanını akıllı bir şekilde inceler, en etkili yapılandırmayı tanımlayana kadar modelleri tekrar tekrar eğitip değerlendirir. Bu, yalnızca iyi performans gösteren değil, aynı zamanda verileri görünmemek için daha iyi genelleştiren modeller oluşturmanıza yardımcı olur.
Azure Databricks'te hiper parametre iyileştirmesi için Optuna veya Ray Tune gibi kitaplıkları kullanabilirsiniz. Her ikisi de güçlü araçlar olsa da, bu modülde Optuna'ya odaklanıyoruz. Optuna, hiper parametre alanını akıllı bir şekilde inceler, en etkili yapılandırmayı tanımlayana kadar modelleri tekrar tekrar eğitip değerlendirir. Bu, yalnızca iyi performans gösteren değil, aynı zamanda verileri görünmemek için daha iyi genelleştiren modeller oluşturmanıza yardımcı olur.