Uczenie maszynowe na platformie Azure Databricks

Twórz, wdrażaj i zarządzaj aplikacjami uczenia maszynowego w Azure Databricks. Zintegrowana platforma łączy cały cykl życia uczenia maszynowego z przygotowywania danych do monitorowania produkcyjnego.

Szukasz generatywnej AI i agentów AI? Zobacz Tworzenie agentów AI w Azure Databricks.

Wprowadzenie

Wypróbuj krótki przewodnik, stwórz model metodą vibe codingu i użyj notatników.

Przewodnik	Description
Wprowadzenie: tworzenie pierwszego modelu uczenia maszynowego w usłudze Databricks	Tworzenie i wdrażanie prostego modelu klasyfikacji za pomocą biblioteki scikit-learn.
Używanie kodu Genie na potrzeby nauki o danych	Używanie agenta sztucznej inteligencji do eksplorowania danych, tworzenia modeli i iterowania.
Notatniki Databricks	Środowisko programistyczne do pracy zespołowej z obsługą Pythona, R, Scali i SQL.
Pojęcia: Nauka o danych i uczenie maszynowe na Azure Databricks	Poznaj podstawowe pojęcia dotyczące nauki o danych i uczenia maszynowego na Azure Databricks.

Trenowanie klasycznych modeli uczenia maszynowego

Twórz cechy, buduj modele uczenia maszynowego i śledź eksperymenty.

Feature	Description
Repozytorium funkcji	Twórz cechy, zarządzaj cechami w Unity Catalog i udostępniaj cechy w środowisku produkcyjnym.
Przykłady trenowania modelu	Poznaj kompleksowe przykłady trenowania klasycznych modeli uczenia maszynowego za pomocą popularnych bibliotek.
Databricks Runtime dla uczenia maszynowego	Wstępnie skonfigurowane klastry z bibliotekami scikit-learn, XGBoost, MLflow i innymi bibliotekami uczenia maszynowego oraz obsługą platform uczenia głębokiego.
Śledzenie MLflow	Śledzenie eksperymentów, porównywanie wydajności modelu i zarządzanie pełnym cyklem projektowania modelu.

Trenowanie modeli uczenia głębokiego

Użyj zarządzanych struktur obliczeniowych i wbudowanych do tworzenia modeli uczenia głębokiego.

Feature	Description
Środowisko uruchomieniowe sztucznej inteligencji	Korzystaj z bezserwerowych zasobów obliczeniowych GPU do niestandardowego trenowania modeli uczenia głębokiego i zadań wnioskowania.
Przykłady trenowania rozproszonego	Zapoznaj się z przykładami rozproszonego uczenia głębokiego przy użyciu technologii Ray, TorchDistributor i DeepSpeed.
Najlepsze praktyki DL	Dowiedz się więcej na temat wyboru struktury, ładowania danych, skalowania rozproszonego i zarządzania cyklem życia modelu uczenia głębokiego.
Ray na platformie Databricks	Skalowanie obciążeń uczenia maszynowego przy użyciu przetwarzania rozproszonego na potrzeby trenowania i wnioskowania modelu na dużą skalę.

Wdrażanie i obsługa modeli

Wdrażaj modele w środowisku produkcyjnym przy użyciu skalowalnych punktów końcowych do wnioskowania w czasie rzeczywistym, strumieniowego lub wsadowego.

Feature	Description
Obsługa modelu	Wdróż niestandardowe modele i moduły LLM jako punkty końcowe REST z automatycznym skalowaniem i obsługą procesora GPU.
Brama sztucznej inteligencji	Nadzorowanie i monitorowanie dostępu do modeli obsługiwanych na Azure Databricks dzięki śledzeniu użycia, rejestrowaniu ładunków i mechanizmom kontroli zabezpieczeń.
Wnioskowanie wsadowe	Wdrażaj modele do wsadowego i strumieniowego wnioskowania oraz prognozowania na dużych zbiorach danych.
Interfejsy API modelu bazowego	Uzyskiwanie dostępu do najnowocześniejszych modeli GenAI hostowanych przez usługę Databricks i wykonywanie zapytań o nie.

Monitorowanie i zarządzanie systemami uczenia maszynowego

Zapewnij jakość modelu, integralność danych i zgodność z kompleksowymi narzędziami do monitorowania i zapewniania ładu.

Feature	Description
Katalog Unity	Zarządzanie danymi, funkcjami, modelami i funkcjami za pomocą ujednoliconej kontroli dostępu, śledzenia pochodzenia i odnajdywania.
MLflow dla modeli	Zarządzanie pełnym cyklem życia uczenia maszynowego, od eksperymentów i modeli do oceny i wdrażania.
Wykrywanie anomalii	Monitoruj świeżość i kompletność danych na poziomie wykazu.
Profilowanie danych	Monitoruj jakość danych, wydajność modelu oraz dryf przewidywań przy użyciu zautomatyzowanych alertów i analizy przyczyn źródłowych.

Produkcja przepływów pracy uczenia maszynowego

Skalowanie operacji uczenia maszynowego przy użyciu zautomatyzowanych przepływów pracy, integracji/ciągłego wdrażania i potoków gotowych do produkcji.

Feature	Description
Modele w katalogu Unity	Rejestr modeli w Unity Catalog umożliwia scentralizowane zarządzanie modelem i cyklem życia modelu, w tym wdrożeniami.
Zadania lakeflow	Tworzenie zautomatyzowanych przepływów pracy dla potoków uczenia maszynowego.
Pakiety automatyzacji deklaratywnej	Zarządzaj infrastrukturą Azure Databricks jako kodem na potrzeby CI/CD, w tym trenowania i wdrażania modeli uczenia maszynowego.
Przepływy pracy metodyki MLOps	Dowiedz się więcej na temat kompleksowej metodyki MLOps z zautomatyzowanymi potokami trenowania, testowania i wdrażania.