Microsoft Fabric'te otomatik kaydetme

Microsoft Fabric'teki Synapse Veri Bilimi, eğitim sırasında makine öğrenmesi modelinin parametrelerini, ölçümlerini ve öğelerini otomatik olarak günlüğe kaydetmek için gereken kod miktarını önemli ölçüde azaltan otomatik kaydetmeyi içerir. Bu özellik, MLflow otomatik dağıtma özelliklerini genişletir ve Microsoft Fabric deneyimindeki Synapse Veri Bilimi ile derinlemesine tümleşiktir. Geliştiriciler ve veri bilimciler otomatik kaydetme özelliğini kullanarak el ile izlemeye gerek kalmadan farklı modellerin ve denemelerin performansını kolayca izleyebilir ve karşılaştırabilir.

Yapılandırmalar

Otomatik kaydetme, eğitilirken bir makine öğrenmesi modelinin giriş parametrelerinin, çıkış ölçümlerinin ve çıkış öğelerinin değerlerini otomatik olarak yakalayarak çalışır. Bu bilgiler daha sonra Microsoft Fabric çalışma alanınızda günlüğe kaydedilir ve burada MLflow API'leri veya Microsoft Fabric çalışma alanınızdaki ilgili deneme ve model öğeleri kullanılarak erişilebilir ve görselleştirilebilir.

mlflow.autolog() not defteri kancası için varsayılan yapılandırma:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

Synapse Veri Bilimi not defterini başlattığınızda Microsoft Fabric, izlemeyi anında etkinleştirmek ve ilgili bağımlılıkları yüklemek için mlflow.autolog() öğesini çağırır. Not defterinizdeki modelleri eğiterken, bu model bilgileri MLflow ile otomatik olarak izlenir. Bu yapılandırma, çalıştırdığınızda import mlflowarka planda otomatik olarak gerçekleştirilir.

Desteklenen çerçeveler

Otomatik kaydetme TensorFlow, PyTorch, Scikit-learn ve XGBoost gibi çok çeşitli makine öğrenmesi çerçevelerini destekler. Doğruluk, kayıp ve F1 puanı gibi çeşitli ölçümlerin yanı sıra kullanıcı tarafından tanımlanan özel ölçümleri yakalayabilir. Yakalanan çerçeveye özgü özellikler hakkında daha fazla bilgi edinmek için MLflow belgelerini ziyaret edebilirsiniz.

Günlük davranışını özelleştirme

Günlük davranışını özelleştirmek için mlflow.autolog() yapılandırmasını kullanabilirsiniz. Bu yapılandırma model günlüğünü etkinleştirmeye, giriş örnekleri toplamaya, uyarıları yapılandırmaya ve hatta kullanıcı tarafından belirtilen içerik için günlüğe kaydetmeyi etkinleştirmeye yönelik parametreler sağlar.

Ek içeriği izleme

MLflow ile oluşturulan çalıştırmalarla ek ölçümleri, parametreleri, dosyaları ve meta verileri izlemek için otomatik kaydetme yapılandırmasını güncelleştirebilirsiniz.

Bunu yapmak için:

1. mlflow.autolog() çağrısını güncelleştirin ve ayarlayınexclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Ek parametreleri ve ölçümleri günlüğe kaydetmek için MLflow izleme API'lerini kullanın. Bu, özel ölçümlerinizi ve parametrelerinizi yakalamanıza olanak tanırken, ek özellikleri yakalamak için otomatik kaydetme özelliğini kullanmanıza da olanak tanır.

   Örneğin:

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Microsoft Fabric otomatik kaydetmeyi devre dışı bırakma

Microsoft Fabric otomatik kaydetme, belirli bir not defteri oturumu için veya çalışma alanı ayarı kullanılarak tüm not defterleri arasında devre dışı bırakılabilir.

Not

Otomatik kaydetme devre dışı bırakılırsa, kullanıcıların MLflow API'lerini kullanarak kendi parametrelerini ve ölçümlerini el ile günlüğe kaydetmesi gerekir.

Not defteri oturumu için otomatik kaydetmeyi devre dışı bırakma

Not defteri oturumunda Microsoft Fabric otomatik kaydetmeyi devre dışı bırakmak için mlflow.autolog() öğesini çağırabilir ve ayarlayabilirsinizdisable=True.

Örneğin:

import mlflow
mlflow.autolog(disable=True)

Çalışma alanı için otomatik kaydetmeyi devre dışı bırakma

Çalışma alanı yöneticileri, çalışma alanlarındaki tüm oturumlar için Microsoft Fabric otomatik kaydetmeyi etkinleştirebilir veya devre dışı bırakabilir.

Bunu yapmak için:

1. Synapse Veri Bilimi çalışma alanınıza gidin ve Çalışma Alanı Ayarlar'ı seçin.

   

2. Veri Madenciliği/Bilim sekmesinde Spark işlem'i seçin. Burada Synapse Veri Bilimi otomatik kaydetmeyi etkinleştirme veya devre dışı bırakma ayarını bulacaksınız.

   

İlgili içerik

• Otomatik kaydetme ile Spark MLlib modelini eğitme: Spark MLlib ile eğitme
• Microsoft Fabric'te makine öğrenmesi denemeleri hakkında bilgi edinin: Denemeler