Microsoft Fabric'te otomatik kaydetme

Microsoft Fabric'teki Synapse Veri Bilimi, eğitim sırasında makine öğrenmesi modelinin parametrelerini, ölçümlerini ve öğelerini otomatik olarak günlüğe kaydetmek için gereken kod miktarını önemli ölçüde azaltan otomatik kaydetmeyi içerir. Bu makalede, Microsoft Fabric'te Synapse Veri Bilimi için otomatik dağıtma açıklanmaktadır.

Otomatik kaydetme, MLflow İzleme özelliklerini genişletir ve Microsoft Fabric deneyimindeki Synapse Veri Bilimi ile derinlemesine tümleşiktir. Otomatik kaydetme doğruluk, kayıp, F1 puanı ve tanımladığınız özel ölçümler gibi çeşitli ölçümleri yakalayabilir. Geliştiriciler ve veri bilimciler otomatik kaydetme özelliğini kullanarak farklı modellerin ve denemelerin performansını el ile izlemeden kolayca izleyebilir ve karşılaştırabilir.

Desteklenen çerçeveler

Otomatik kaydetme TensorFlow, PyTorch, Scikit-learn ve XGBoost gibi çok çeşitli makine öğrenmesi çerçevelerini destekler. Otomatik olarak yakalanan çerçeveye özgü özellikler hakkında daha fazla bilgi edinmek için MLflow belgelerine bakın.

Yapılandırma

Otomatik kaydetme, eğitilirken bir makine öğrenmesi modelinin giriş parametrelerinin, çıkış ölçümlerinin ve çıkış öğelerinin değerlerini otomatik olarak yakalayarak çalışır. Bu bilgiler, MLflow API'lerini veya Microsoft Fabric çalışma alanınızdaki ilgili deneme ve model öğelerini kullanarak erişip görselleştirebileceğiniz Microsoft Fabric çalışma alanınıza kaydedilir.

Synapse Veri Bilimi not defterini başlattığınızda Microsoft Fabric, izlemeyi anında etkinleştirmek ve ilgili bağımlılıkları yüklemek için mlflow.autolog() öğesini çağırır. Not defterinizde modelleri eğiterken, MLflow bu model bilgilerini otomatik olarak izler.

komutunu çalıştırdığınızda import mlflowyapılandırma otomatik olarak arka planda gerçekleşir. mlflow.autolog() not defteri kancası için varsayılan yapılandırma:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Özelleştirme

Günlük davranışını özelleştirmek için mlflow.autolog() yapılandırmasını kullanabilirsiniz. Bu yapılandırma model günlüğünü etkinleştirmek, giriş örnekleri toplamak, uyarıları yapılandırmak veya belirttiğiniz ek içerik için günlüğe kaydetmeyi etkinleştirmek için parametreler sağlar.

Daha fazla ölçümü, parametreyi ve özelliği izleme

MLflow ile oluşturulan çalıştırmalar için ek ölçümleri, parametreleri, dosyaları ve meta verileri izlemek için MLflow otomatik kaydetme yapılandırmasını aşağıdaki gibi güncelleştirin:

1. mlflow.autolog() çağrısını ayarlamak exclusive=Falseiçin güncelleştirin.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Ek parametreleri ve ölçümleri günlüğe kaydetmek için MLflow izleme API'lerini kullanın. Aşağıdaki örnek kod, özel ölçümlerinizi ve parametrelerinizi ek özelliklerin yanı sıra günlüğe kaydetmenizi sağlar.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Microsoft Fabric otomatik kaydetmeyi devre dışı bırakma

Belirli bir not defteri oturumu için Microsoft Fabric otomatik kaydetmeyi devre dışı bırakabilirsiniz. Çalışma alanı ayarını kullanarak tüm not defterlerinde otomatik kaydetmeyi de devre dışı bırakabilirsiniz.

Not

Otomatik kaydetme devre dışı bırakılırsa, MLflow API'lerini kullanarak parametrelerinizi ve ölçümlerinizi el ile günlüğe kaydetmeniz gerekir.

Not defteri oturumu için otomatik kaydetmeyi devre dışı bırakma

Belirli bir not defteri oturumunda Microsoft Fabric otomatik kaydetmeyi devre dışı bırakmak için mlflow.autolog() öğesini çağırın ve ayarlayındisable=True.

import mlflow
mlflow.autolog(disable=True)

Tüm not defterleri ve oturumlar için otomatik kaydetmeyi devre dışı bırakma

Çalışma alanı yöneticileri, çalışma alanı ayarlarını kullanarak çalışma alanlarındaki tüm not defterleri ve oturumlar için Microsoft Fabric otomatik kaydetmeyi etkinleştirebilir veya devre dışı bırakabilir. Synapse Veri Bilimi otomatik kaydetmeyi etkinleştirmek veya devre dışı bırakmak için:

1. Synapse Veri Bilimi çalışma alanınızda Çalışma alanı ayarları'nı seçin.

   

2. Çalışma alanı ayarları ekranında, sol gezinti çubuğundaki Veri Madenciliği/Bilim'i genişletin ve Spark ayarları'nı seçin.

3. Spark ayarları ekranında Otomatik günlük sekmesini seçin.

4. Makine öğrenmesi denemelerini ve modellerini otomatik olarak izleme seçeneğini Açık veya Kapalı olarak ayarlayın.

5. Kaydet'i seçin.

   

İlgili içerik

• Apache Spark MLlib ile makine öğrenmesi modeli oluşturma
• Microsoft Fabric'te makine öğrenmesi denemeleri