Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
MLflow izleme, bir makine öğrenmesi veya derin öğrenme modeli eğitmeyle ilgili not defterlerini ve eğitim veri kümelerini, parametreleri, ölçümleri, etiketleri ve yapıtları kaydetmenizi sağlar. MLflow kullanmaya başlamak için örnek bir not defteri için bkz . Öğretici: Azure Databricks'te uçtan uca klasik ML modelleri.
Deneyler, çalıştırmalar ve modeller ile MLflow takibi
Model geliştirme süreci yinelemeli bir süreçtir ve bir modeli geliştirip iyileştirdikçe çalışmalarınızı takip etmek zor olabilir. Azure Databricks'te, denediğiniz parametre ayarları veya birleşimler ve modelin performansını nasıl etkiledikleri dahil olmak üzere model geliştirme sürecini izlemenize yardımcı olması için MLflow izleme özelliğini kullanabilirsiniz.
MLflow izleme, ML ve derin öğrenme modeli geliştirmelerini günlüğe kaydetmek ve izlemek için denemeleri, çalıştırma işlemlerini ve modelleri kullanır. Çalıştırma, model kodunun tek bir yürütülmesidir. MLflow çalıştırması sırasında model parametrelerini ve sonuçlarını günlüğe kaydedebilirsiniz. Deney, bağlantılı çalıştırmaların bir koleksiyonudur. Bir denemede, modelinizin performansını ve performansının parametre ayarlarına, giriş verilerine vb. nasıl bağlı olduğunu anlamak için çalıştırmaları karşılaştırabilir ve filtreleyebilirsiniz. Model, eğitilmiş bir makine öğrenmesi modelini temsil eden yapıt koleksiyonudur.
MLflow 3 ile, LoggedModels bir çalıştırmadan elde edilen model kavramını öne çıkararak, bu modeli farklı eğitim ve değerlendirme çalıştırmaları arasında model yaşam döngüsünü izlemek için belirgin ve ayrı bir varlık olarak tanımlıyor.
- MLflow denemeleriyle eğitim çalıştırmalarını düzenleme
- MLflow Günlüğe Kaydedilen Modelleri kullanarak modelleri takip et ve karşılaştır
- MLflow çalıştırmalarıyla eğitim sonuçlarını görüntüleme
Uyarı
27 Mart 2024'den itibaren MLflow, tüm mevcut ve yeni çalıştırmalar için toplam parametre, etiket ve ölçüm adımı sayısına ve tüm mevcut ve yeni denemelerin toplam çalıştırma sayısına kota sınırı uygular. Bkz. Kaynak sınırları. Deneme başına çalıştırma kotasına ulaşırsanız, Databricks, Python'da delete runs API'sini kullanarak artık ihtiyacınız olmayan çalıştırmaları silmenizi önerir. Diğer kota sınırlarına ulaştıysanız Databricks, günlük stratejinizi sınırın altında kalacak şekilde değiştirmenizi önerir. Bu sınırda bir artışa ihtiyacınız varsa, kullanım örneğinizin kısa bir açıklamasını, önerilen risk azaltma yaklaşımlarının neden çalışmadığını ve istediğiniz yeni sınırı içeren Databricks hesap ekibinize ulaşın.
MLflow izleme API'si
MLflow Takip API'si bir model çalıştırması sırasında parametreleri, ölçümleri, etiketleri ve yapıtları günlüğe kaydeder. İzleme API'si bir MLflow izleme sunucusuyla iletişim kurar. Databricks kullandığınızda, Databricks tarafından barındırılan bir izleme sunucusu verileri günlüğe kaydeder. Barındırılan MLflow izleme sunucusunda Python, Java ve R API'leri vardır.
MLflow, Databricks Runtime ML kümelerine önceden yüklenmiştir. Databricks Runtime kümesinde MLflow'u kullanmak için mlflow kitaplığını yüklemeniz gerekir. Kümeye kitaplık yükleme yönergeleri için bkz. Kümeye kitaplık yükleme. MLflow 3'ü ve en son izleme özelliklerini kullanmak için en son sürüme yükseltmeyi unutmayın (bkz. MLflow 3'ü yükleme).
MLflow çalıştırmalarının kaydedildiği yer
Tüm MLflow çalıştırmaları etkin denemede günlüğe kaydedilir ve aşağıdaki yollardan herhangi biri kullanılarak ayarlanabilir:
- mlflow.set_experiment() komutunu kullanın.
-
experiment_idmlflow.start_run() komutunda parametresini kullanın. - MLFLOW_EXPERIMENT_NAME veya MLFLOW_EXPERIMENT_ID MLflow ortam değişkenlerinden birini ayarlayın.
Etkin deneme ayarlı değilse, çalıştırmalar not defteri denemesine kaydedilir.
Denemenizin sonuçlarını, denemenizi çalıştırdığınız çalışma alanı dışında bir çalışma alanında uzaktan barındırılan bir MLflow İzleme sunucusuna günlüğe kaydetmek için, izleme URI'sini mlflow.set_tracking_uri() ile uzak çalışma alanına referans verecek şekilde ayarlayın ve denemenizin yolunu uzak çalışma alanında mlflow.set_experiment() kullanarak ayarlayın.
mlflow.set_tracking_uri(<uri-of-remote-workspace>)
mlflow.set_experiment("path to experiment in remote workspace")
Denemeleri yerel olarak çalıştırıyorsanız ve deneme sonuçlarını Databricks MLflow İzleme sunucusuna kaydetmek istiyorsanız, Databricks çalışma alanı örneğinizi (DATABRICKS_HOST) ve Databricks kişisel erişim belirtecinizi (DATABRICKS_TOKEN) sağlayın. Ardından, mlflow.set_tracking_uri() ile çalışma alanını referans göstermek için izleme URI'sini ayarlayıp mlflow.set_experiment() kullanarak denemenizin yolunu belirleyebilirsiniz. ve ortam değişkenleri için değerlerin nerede bulunacağı hakkında ayrıntılı bilgi için bkz. DATABRICKS_HOSTDATABRICKS_TOKEN gerçekleştirme.
Aşağıdaki kod örneğinde bu değerlerin ayarlanması gösterilmektedir:
os.environ["DATABRICKS_HOST"] = "https://dbc-1234567890123456.cloud.databricks.com" # set to your server URI
os.environ["DATABRICKS_TOKEN"] = "dapixxxxxxxxxxxxx"
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/your-experiment")
Deneme için günlük çalıştırmaları ve modelleri
MLflow, birçok makine öğrenmesi ve derin öğrenme çerçevesinde yazılmış eğitim kodunu otomatik olarak günlüğe kaydedebilir. Bu, MLflow izlemeyi kullanmaya başlamanın en kolay yoludur.
Hangi parametrelerin ve ölçümlerin günlüğe kaydedildiği üzerinde daha fazla denetim sahibi olmak veya CSV dosyaları veya çizimleri gibi ek yapıtları günlüğe kaydetmek için MLflow günlük API'sini kullanın.
Model geliştirmeyi izlemek için otomatik kaydetmeyi kullanma
Bu örnek not defteri, scikit-learnile otomatik kaydetmenin nasıl kullanılacağını gösterir. Diğer Python kitaplıklarıyla otomatik kaydetme hakkında bilgi içinMLflow otomatik kaydetme belgelerine
MLflow 3
MLflow 3 için MLflow python not defterini otomatik olarak kaydetme
MLflow 2.x
MLflow python not defterini otomatik olarak kaydetme
Model geliştirmeyi izlemek için günlük API'sini kullanma
Bu örnek not defteri,
MLflow 3
MLflow 3 için MLflow günlük API'si Python not defteri
MLflow 2.x
MLflow loglama API'si Python defteri
Çalışma alanı deneyine günlük çalıştırmaları kaydet
Varsayılan olarak, databricks not defterinde bir modeli eğittiğinizde çalıştırmalar not defteri denemesine kaydedilir. Not defteri denemesinde yalnızca bir not defteri içinde başlatılan MLflow çalıştırmaları günlüğe kaydedilebilir.
Herhangi bir not defterinden veya API'lerden başlatılan MLflow çalıştırmaları bir çalışma alanı denemesine kaydedilebilir. Çalışma alanı deneyine çalışma kaydetmek için, not defterinizde veya API çağrınızda aşağıdakine benzer bir kod kullanın:
experiment_name = "/Shared/name_of_experiment/"
mlflow.set_experiment(experiment_name)
Çalışma alanı denemesi oluşturma yönergeleri için bkz. çalışma alanı denemesi oluşturma
MLflow çalıştırmalarını programatik olarak analiz etme
Aşağıdaki iki DataFrame API'sini kullanarak MLflow çalıştırma verilerine program aracılığıyla erişebilirsiniz:
- MLflow Python istemcisi search_runs API bir pandas DataFrame döndürür.
- MLflow denemesi veri kaynağı bir Apache Spark DataFrame döndürür.
Bu örnekte, MLflow Python istemcisinin zaman içindeki değerlendirme ölçümlerindeki değişiklikleri görselleştiren, belirli bir kullanıcı tarafından başlatılan çalıştırma sayısını izleyen ve tüm kullanıcılar genelindeki toplam çalıştırma sayısını ölçen bir pano oluşturmak için nasıl kullanılacağı gösterilmektedir:
Model eğitim ölçümleri ve çıkışları neden farklılık gösterebilir?
ML'de kullanılan algoritmaların çoğu, algoritmanın kendi içinde örnekleme veya rastgele başlangıç koşulları gibi rastgele bir öğeye sahiptir. Modeli bu algoritmalardan birini kullanarak eğittiğiniz zaman, çalıştırmayı aynı koşullarla başlatsanız bile sonuçlar her çalıştırmada aynı olmayabilir. Birçok kitaplık, bu stokastik öğelerin ilk koşullarını düzeltmek için bir tohumlama mekanizması sunar. Ancak, tohumlar tarafından kontrol edilmeyen başka çeşitleme kaynakları da olabilir. Bazı algoritmalar verilerin sırasına duyarlıdır ve dağıtılmış ML algoritmaları da verilerin bölümlenmesinden etkilenebilir. Bu varyasyon genellikle model geliştirme sürecinde önemli değildir ve önemli değildir.
Sıralama ve bölümleme farklılıklarının neden olduğu varyasyonu denetlemek için PySpark işlevlerini yeniden bölümleme ve sortWithinPartitions kullanın.
MLflow izleme örnekleri
Aşağıdaki not defterleri, MLflow kullanarak model geliştirmenin nasıl izlenir göstermektedir.