AutoML nedir?

  • 3 dakika

AutoML, Azure Databricks'in farklı algoritma ve hiper parametre değerleri birleşimlerini kullanarak makine öğrenmesi modelinin eğitim ve değerlendirmesini otomatikleştirmenizi sağlayan bir özelliğidir. AutoML kullanarak yinelemeli model eğitim sürecindeki çabayı azaltabilir ve verileriniz için daha hızlı bir şekilde en uygun modeli oluşturabilirsiniz.

AutoML nasıl çalışır?

AutoML, her biri farklı bir algoritma ve hiper parametre bileşimi kullanarak bir modeli eğiten birden çok deneme çalıştırması oluşturarak çalışır. Her çalıştırmada model, belirttiğiniz verilere ve tahmine dayalı ölçüme göre eğitilir ve değerlendirilir. Azure Databricks, MLflow kullanarak çalıştırmaları ve ürettikleri modelleri takip ederek en iyi performansa sahip modeli belirlemenize ve üretime dağıtmanıza olanak tanır.

AutoML işlemini gösteren diyagram.

  1. Eğitim için veri kaynağı olarak Azure Databricks çalışma alanınızda bir tablo ve iyileştirmek istediğiniz belirli performans ölçümünü belirterek bir AutoML denemesi başlatırsınız.
  2. AutoML denemesi, bir modeli eğitmeden ve doğrulamadan önce verileri önceden işlemek için kod içeren bir not defteri üreten birden çok MLflow çalıştırması oluşturur. Eğitilen modeller, MLflow çalıştırmalarına veya DBFS deposundaki dosyalara yapıt olarak kaydedilir.
  3. Deneme çalıştırmaları performans sırasına göre listelenir ve ilk olarak en iyi performansa sahip modeller gösterilir. Her çalıştırma için oluşturulan not defterlerini inceleyebilir, kullanmak istediğiniz modeli seçebilir ve ardından kaydedip dağıtabilirsiniz.

İpucu

AutoML tarafından kullanılan belirli ön işleme dönüştürmeleri ve eğitim algoritmalarının ayrıntıları için Azure Databricks belgelerinde Azure Databricks AutoML'nin nasıl çalıştığına bakın.

AutoML için veri hazırlama

AutoML,özellik ve etiket değerlerini içeren bir eğitim verileri kaynağına ihtiyaç duyar. Bu verileri sağlamak için Azure Databricks çalışma alanınızdaki Hive meta veri deposunda bir tablo oluşturun.

AutoML için eğitim verileri tablosu oluşturmanın basit bir yolu, burada gösterildiği gibi Azure Databricks portalına bir veri dosyası yüklemektir.

Azure Databricks için Karşıya veri yükleme arabiriminin ekran görüntüsü.

AutoML, yaygın veri ön işleme görevlerini işlemek için kod oluşturur; kategorik değişkenleri kodlama, sayısal değişkenleri ölçeklendirme, null değerleri işleme ve dengesiz veri kümeleriyle ilgilenme gibi.