MLflow kullanarak model geliştirmeyi izleme
Bu makalede Azure Databricks'te model geliştirmeyi izleme örnekleri yer alır. MLflow ile ML ve derin öğrenme modellerini otomatik olarak veya MLflow API'siyle el ile günlüğe kaydedip izleyin.
Model izleme ve MLflow
Model geliştirme işlemi yinelemeli bir işlemdir ve bir modeli geliştirirken ve iyileştirirken işinizi izlemek zor olabilir. Azure Databricks’te, denediğiniz parametre ayarları veya birleşimleri ve bunların modelin performansını nasıl etkilediği dahil olmak üzere model geliştirme sürecini izlemenize yardımcı olması için MLflow izlemeyi kullanabilirsiniz.
MLflow izleme, ML ve derin öğrenme modeli geliştirmenizi günlüğe kaydetmek ve izlemek için denemeleri ve çalıştırmaları kullanır. Çalıştırma, model kodunun tek bir yürütmesidir. Bir MLflow çalıştırması sırasında, model parametrelerini ve sonuçlarını günlüğe kaydedebilirsiniz. Deneme, ilişkili çalıştırmaların bir koleksiyonudur. Bir denemede, modelinizin performansını ve performansının parametre ayarlarına, giriş verilerine vb. nasıl bağlı olduğunu anlamak için çalıştırmaları karşılaştırabilir ve filtreleyebilirsiniz.
Bu makaledeki not defterleri, model geliştirme sürecinizi izlemenizi sağlayan MLflow’u kullanmaya hızlı bir şekilde başlamanıza yardımcı olabilecek basit örnekler sağlar. Azure Databricks'te MLflow izleme özelliğini kullanma hakkında daha fazla ayrıntı için bkz . ML ve derin öğrenme eğitim çalıştırmalarını izleme.
Not
MLflow izleme, İşler API'sindeki spark_submit_task ile gönderilen işleri desteklemez. Bunun yerine, Spark kodunu çalıştırmak için MLflow Projelerini kullanabilirsiniz.
Model geliştirmeyi izlemek için otomatik günlüğe kaydetmeyi kullanma
MLflow, birçok ML ve derin öğrenme çerçevesinde yazılmış eğitim kodunu otomatik olarak günlüğe kaydedebilir. Bu, MLflow izlemeyi kullanmaya başlamanın en kolay yoludur.
Bu örnek not defterinde, scikit-learn ile otomatik günlüğe kaydetmeyi nasıl kullanacağınız gösterilir. Diğer Python kitaplıklarıyla otomatik günlüğe kaydetme hakkında daha fazla bilgi için bkz. Eğitim çalıştırmalarını MLflow’da otomatik olarak günlüğe kaydetme.
MLflow python not defterini otomatik olarak kaydetme
Model geliştirmeyi izlemek için günlüğe kaydetme API’sini kullanma
Bu not defterinde, MLflow günlüğe kaydetme API’sinin nasıl kullanılacağı gösterilir. Günlüğe kaydetme API’si kullanmak, günlüğe kaydedilen ölçümler üzerinde daha fazla denetim sağlar ve tablolar veya çizimler gibi ek yapıtları günlüğe kaydetmenizi sağlar.
Bu örnek not defterinde Python günlüğe kaydetme API’sinin nasıl kullanılacağı gösterilir. MLflow ayrıca, REST, R ve Java API’lerine sahiptir.
MLflow günlük API'si Python not defteri
Uçtan uca örnek
Bu öğretici not defteri, veri yükleme ve görselleştirme ile paralel bir hiper parametre iyileştirmesi ayarlama dahil olmak üzere Azure Databricks’te model eğitmeye ve sonuçları gözden geçirmek, modeli kaydetmek ve bir Spark UDF’de kayıtlı modeli kullanarak yeni verilerde çıkarım gerçekleştirmek üzere MLflow’u kullanmaya yönelik uçtan uca bir örnek sunar.
Gereksinimler
Databricks Runtime ML
Örnek not defteri
Çalışma alanınız Unity Kataloğu için etkinleştirildiyse not defterinin şu sürümünü kullanın:
Databricks'te MLflow tümleştirmesi ile scikit-learn kullanma (Unity Kataloğu)
Çalışma alanınız Unity Kataloğu için etkinleştirilmemişse not defterinin şu sürümünü kullanın: