Microsoft Fabric'te otomatik kaydetme

Makale
05/23/2023

Microsoft Fabric'teki Synapse Veri Bilimi, eğitim sırasında bir makine öğrenmesi modelinin parametrelerini, ölçümlerini ve öğelerini otomatik olarak günlüğe kaydetmek için gereken kod miktarını önemli ölçüde azaltan otomatik kaydetmeyi içerir. Bu özellik, MLflow otomatik kaydetme özelliklerini genişletir ve Microsoft Fabric deneyiminde Synapse Veri Bilimi ile derinlemesine tümleşiktir. Geliştiriciler ve veri bilimciler otomatik kaydetmeyi kullanarak el ile izlemeye gerek kalmadan farklı modellerin ve denemelerin performansını kolayca izleyebilir ve karşılaştırabilir.

Önemli

Microsoft Fabric şu anda ÖNİzLEME aşamasındadır. Bu bilgiler, yayımlanmadan önce önemli ölçüde değiştirilebilen bir yayın öncesi ürünle ilgilidir. Microsoft, burada sağlanan bilgilerle ilgili olarak açık veya zımni hiçbir garanti vermez.

Yapılandırmalar

Otomatik kaydetme, eğitilirken bir makine öğrenmesi modelinin giriş parametrelerinin, çıkış ölçümlerinin ve çıkış öğelerinin değerlerini otomatik olarak yakalayarak çalışır. Bu bilgiler daha sonra Microsoft Fabric çalışma alanınıza kaydedilir ve burada MLflow API'leri veya Microsoft Fabric çalışma alanınızdaki ilgili deneme & modeli öğeleri kullanılarak erişilebilir ve görselleştirilebilir.

notebook mlflow.autolog() kancası için varsayılan yapılandırma:


mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

Synapse Veri Bilimi not defterini başlattığınızda Microsoft Fabric, izlemeyi anında etkinleştirmek ve ilgili bağımlılıkları yüklemek için mlflow.autolog() öğesini çağırır. Not defterinizdeki modelleri eğiterken, bu model bilgileri MLflow ile otomatik olarak izlenir. Bu yapılandırma, komutunu çalıştırdığınızda import mlflowarka planda otomatik olarak gerçekleştirilir.

Desteklenen çerçeveler

Otomatik kaydetme TensorFlow, PyTorch, Scikit-learn ve XGBoost gibi çok çeşitli makine öğrenmesi çerçevelerini destekler. Doğruluk, kayıp ve F1 puanının yanı sıra kullanıcı tarafından tanımlanan özel ölçümler de dahil olmak üzere çeşitli ölçümleri yakalayabilir. Yakalanan çerçeveye özgü özellikler hakkında daha fazla bilgi edinmek için MLflow belgelerini ziyaret edebilirsiniz.

Günlük davranışını özelleştirme

Günlüğe kaydetme davranışını özelleştirmek için mlflow.autolog() yapılandırmasını kullanabilirsiniz. Bu yapılandırma model günlüğünü etkinleştirmek, giriş örnekleri toplamak, uyarıları yapılandırmak ve hatta kullanıcı tarafından belirtilen içerik için günlüğe kaydetmeyi etkinleştirmek için parametreler sağlar.

Ek içeriği izleme

MLflow ile oluşturulan çalıştırmalarla ek ölçümleri, parametreleri, dosyaları ve meta verileri izlemek için otomatik kaydetme yapılandırmasını güncelleştirebilirsiniz.

Bunu yapmak için:

mlflow.autolog() çağrısını güncelleştirin ve ayarlayınexclusive=False.

    mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=False, # Update this property to enable custom logging
    disable_for_unsupported_versions=True,
    silent=True
)

Ek parametreleri ve ölçümleri günlüğe kaydetmek için MLflow izleme API'lerini kullanın. Bu, özel ölçümlerinizi ve parametrelerinizi yakalamanıza olanak tanırken, ek özellikleri yakalamak için otomatik kaydetme özelliğini kullanmanıza da olanak tanır.

Örneğin:
```
import mlflow
mlflow.autolog(exclusive=False)

with mlflow.start_run():
  mlflow.log_param("parameter name", "example value")
  # <add model training code here>
  mlflow.log_metric("metric name", 20)
```

Microsoft Fabric otomatik kaydetmeyi devre dışı bırakma

Microsoft Fabric otomatik kaydetme, çalışma alanı ayarı kullanılarak belirli bir not defteri oturumunda veya tüm not defterlerinde devre dışı bırakılabilir.

Not

Otomatik kaydetme devre dışı bırakılırsa, kullanıcıların MLflow API'lerini kullanarak kendi parametrelerini ve ölçümlerini el ile günlüğe kaydetmesi gerekir.

Not defteri oturumu için otomatik kaydetmeyi devre dışı bırakma

Not defteri oturumunda Microsoft Fabric otomatik kaydetmeyi devre dışı bırakmak için mlflow.autolog() öğesini çağırabilir ve ayarlayabilirsiniz disable=True.

Örneğin:

import mlflow
mlflow.autolog(disable=True)

Çalışma alanı için otomatik kaydetmeyi devre dışı bırakma

Çalışma alanı yöneticileri, çalışma alanlarındaki tüm oturumlar için Microsoft Fabric otomatik kaydetmeyi etkinleştirebilir veya devre dışı bırakabilir.