Uczenie głębokie

Ten artykuł zawiera krótkie wprowadzenie do korzystania z platformy PyTorch, Tensorflow i rozproszonego szkolenia na potrzeby opracowywania i dostrajania modeli uczenia głębokiego w usłudze Azure Databricks. Zawiera również linki do stron z przykładowymi notesami ilustrującymi sposób korzystania z tych narzędzi.

• Aby uzyskać ogólne wskazówki dotyczące optymalizowania przepływów pracy uczenia głębokiego w usłudze Azure Databricks, zobacz Najlepsze rozwiązania dotyczące uczenia głębokiego w usłudze Azure Databricks.
• Aby uzyskać informacje na temat pracy z dużymi modelami językowymi i generowania sztucznej inteligencji w usłudze Azure Databricks, zobacz:
  • Duże modele językowe (LLMs) w usłudze Databricks.
  • Generowanie sztucznej inteligencji i dużych modeli językowych (LLM) w usłudze Azure Databricks.

PyTorch

Usługa PyTorch jest zawarta w środowisku Databricks Runtime ML i udostępnia przyspieszone obliczenia tensorowe procesora GPU oraz funkcje wysokiego poziomu do tworzenia sieci uczenia głębokiego. Trenowanie pojedynczego węzła lub trenowanie rozproszone można wykonać za pomocą narzędzia PyTorch w usłudze Databricks. Zobacz PyTorch.

TensorFlow

Środowisko Databricks Runtime ML obejmuje biblioteki TensorFlow i TensorBoard, dzięki czemu można używać tych bibliotek bez instalowania żadnych pakietów. TensorFlow obsługuje uczenie głębokie i ogólne obliczenia liczbowe na procesorach CPU, procesorach GPU i klastrach procesorów GPU. TensorBoard udostępnia narzędzia do wizualizacji ułatwiające debugowanie i optymalizowanie przepływów pracy uczenia maszynowego i uczenia głębokiego. Zobacz TensorFlow , aby zapoznać się z przykładami z pojedynczym węzłem i rozproszonym trenowania.

Szkolenie rozproszone

Ponieważ modele uczenia głębokiego intensywnie korzystają z danych i obliczeń, trenowanie rozproszone może być ważne. Przykłady rozproszonego uczenia głębokiego przy użyciu integracji z platformami Horovod, spark-tensorflow-distributor, TorchDistributor i DeepSpeed można znaleźć w temacie Trenowanie rozproszone.

Śledzenie opracowywania modeli uczenia głębokiego

Śledzenie pozostaje kamieniem węgielnym ekosystemu MLflow i jest szczególnie istotne dla iteracyjnego charakteru uczenia głębokiego. Usługa Databricks używa platformy MLflow do śledzenia przebiegów trenowania uczenia głębokiego i tworzenia modeli. Zobacz Track model development using MLflow (Śledzenie opracowywania modeli przy użyciu biblioteki MLflow).