Śledzenie opracowywania modeli przy użyciu biblioteki MLflow
Ten artykuł zawiera przykłady śledzenia opracowywania modeli w usłudze Azure Databricks. Rejestruj i śledź modele uczenia maszynowego i uczenia głębokiego automatycznie za pomocą biblioteki MLflow lub ręcznie za pomocą interfejsu API MLflow.
Śledzenie modelu i MLflow
Proces opracowywania modeli jest iteracyjny i śledzenie pracy podczas opracowywania i optymalizowania modelu może być wyzwaniem. W usłudze Azure Databricks można używać śledzenia MLflow, aby śledzić proces opracowywania modelu, w tym ustawień parametrów lub wypróbowanych kombinacji i tego, jak wpływają one na wydajność modelu.
Śledzenie MLflow używa eksperymentów i przebiegów do rejestrowania i śledzenia programowania modeli uczenia maszynowego i uczenia głębokiego. Przebieg jest pojedynczym wykonaniem kodu modelu. Podczas przebiegu MLflow można rejestrować parametry modelu i jego wyniki. Eksperyment to zbiór powiązanych przebiegów. W eksperymencie można porównać i filtrować przebiegi, aby zrozumieć, jak działa model i jak jego wydajność zależy od ustawień parametrów, danych wejściowych itd.
Notesy w tym artykule zawierają proste przykłady, które mogą pomóc w szybkim rozpoczęciu pracy z rozwiązaniem MLflow w celu śledzenia opracowywania modeli. Aby uzyskać więcej informacji na temat korzystania ze śledzenia MLflow w usłudze Azure Databricks, zobacz Śledzenie przebiegów trenowania uczenia maszynowego i uczenia głębokiego.
Uwaga
Śledzenie MLflow nie obsługuje zadań przesłanych przy użyciu spark_submit_task w interfejsie API zadań. Zamiast tego możesz użyć projektów MLflow do uruchomienia kodu platformy Spark.
Śledzenie opracowywania modeli za pomocą autorejestrowania
Platforma MLflow może automatycznie rejestrować kod trenowania napisany w wielu strukturach uczenia maszynowego i uczenia głębokiego. Jest to najprostszy sposób, aby rozpocząć korzystanie ze śledzenia MLflow.
W tym przykładowym notesie pokazano, jak używać autorejestrowania z biblioteką scikit-learn. Aby uzyskać informacje o autorejestrowaniu z innymi bibliotekami języka Python, zobacz Automatyczne rejestrowanie przebiegów trenowania w rozwiązaniu MLflow.
Automatyczne rejestrowanie WLflow — notes języka Python
Śledzenie opracowywania modeli za pomocą rejestrowania przy użyciu interfejsu API
W tym notesie przedstawiono używanie interfejsu API rejestrowania w rozwiązaniu MLflow. Korzystanie z interfejsu API rejestrowania daje większą kontrolę nad rejestrowanymi metrykami i umożliwia rejestrowanie dodatkowych artefaktów, takich jak tabele lub wykresy.
W tym przykładowym notesie pokazano, jak używać interfejsu API rejestrowania w języku Python. Dla rozwiązania MLflow dostępne są też interfejsy API REST, R i Java.
Notes języka Python interfejsu API rejestrowania platformy MLflow
Przykład kompleksowego
W tym notesie-samouczku przedstawiono kompleksowy przykład trenowania modelu w usłudze Azure Databricks obejmujący ładowanie danych, wizualizację danych, konfigurowanie hiperparametrycznej optymalizacji równoległej i używanie rozwiązania MLflow do przeglądania wyników, rejestrowania modelu oraz wykonywania wnioskowania na podstawie nowych danych przy użyciu zarejestrowanego modelu w funkcji zdefiniowanej przez użytkownika platformy Spark.
Wymagania
Databricks Runtime ML