Pojęcia: Nauka o danych i uczenie maszynowe na Azure Databricks

Data science i uczenie maszynowe (DS i ML) pozwalają wydobywać istotne informacje z danych i tworzyć modele predykcyjne. Systemy DS i ML obejmują zarówno interaktywne eksplorowanie, jak i modelowanie oraz zautomatyzowane systemy produkcyjne. Klasyczne uczenie maszynowe obejmuje techniki, takie jak klasyfikacja, regresja, wykrywanie anomalii, prognozowanie i rekomendacje.

Nowoczesne metody uczenia głębokiego i generowania sztucznej inteligencji (GenAI) są technicznie typami uczenia maszynowego. W tej sekcji opisano uczenie głębokie. Informacje o GenAI znajdziesz tutaj: Pojęcia: generatywna sztuczna inteligencja w usłudze Azure Databricks.

Cykl życia uczenia maszynowego

Cykl życia uczenia maszynowego obejmuje kompleksową podróż od nieprzetworzonych danych do modelu produkcyjnego i z powrotem przez monitorowanie i ponowne trenowanie. Kluczowe etapy obejmują:

1. Określanie zakresu przypadku użycia przez zdefiniowanie celu przewidywania, metryk sukcesu i wymagań produkcyjnych.
2. Uruchom eksploracyjne analizy danych (EDA), aby zrozumieć dystrybucje danych, sygnały predykcyjne i problemy z jakością danych przed modelowaniem.
3. Przygotuj dane i cechy, zarządzane w repozytorium cech.
4. Trenowanie modeli i śledzenie eksperymentów, rejestrowanie metadanych eksperymentu na potrzeby analizy i wdrażania.
5. Ocena jakości modelu względem danych przechowywanych i kryteriów uczestników projektu.
6. Zarejestruj, przygotuj i przetestuj modele przed wdrożeniem na środowisko produkcyjne.
7. Wdrażanie w środowisku produkcyjnym w punktach końcowych czasu rzeczywistego lub zadaniach wnioskowania wsadowego.
8. Monitorowanie i ponowne trenowanie w celu dostosowania modeli do zmiany danych lub zachowania użytkownika.

Zobacz Cykl życia uczenia maszynowego , aby zapoznać się z przewodnikiem po każdym etapie.

Programowanie i operacje wspomagane przez sztuczną inteligencję

Azure Databricks ma funkcję Genie Code, asystenta AI zintegrowanego z notesami i obszarem roboczym. Służy do programowania, debugowania i bieżących operacji, korzystając ze specjalistycznej wiedzy na temat kontekstu przedsiębiorstwa. Zobacz Use Genie Code for data science (Używanie kodu Genie na potrzeby nauki o danych).

Kod Genie można używać na każdym kroku przepływu pracy:

• Zacznij od Genie chat, aby znaleźć odpowiednie modele, dane i funkcje w obszarze roboczym oraz w Unity Catalog.
• Użyj Genie Code, aby tworzyć prototypy potoków do inżynierii cech, trenowania i dostrajania modeli, oceny oraz wdrażania.
• Analizowanie modeli obsługujących punkty końcowe za pomocą kodu Genie w celu diagnozowania i badania problemów w środowisku produkcyjnym.

Możesz również używać narzędzi programistycznych innych firm do tworzenia i utrzymywania potoków uczenia maszynowego na platformie Azure Databricks. Zobacz Umiejętności agenta dla asystentów kodowania sztucznej inteligencji.

Co to jest platforma ML?

Platforma uczenia maszynowego to połączona infrastruktura, narzędzia i warstwa ładu, która obsługuje pełny cykl życia uczenia maszynowego, od nieprzetworzonych danych po modele produkcyjne. Dobrze zaprojektowana platforma uczenia maszynowego łączy inżynierię danych, interaktywną naukę o danych i produkcyjną uczenie maszynowe w jednym zarządzanym systemie.

Kluczowe składniki obejmują:

• Zasoby danych, takie jak pliki, tabele, potoki przetwarzania i magazyny funkcji
• Narzędzia do eksperymentowania, takie jak notesy i wizualizacje, z prostą współpracą i pomocą sztucznej inteligencji
• Infrastruktura szkoleniowa z dostosowanymi środowiskami i elastycznymi zasobami obliczeniowymi
• Infrastruktura wdrażania i monitorowania na potrzeby przetwarzania wsadowego oraz obsługi w czasie rzeczywistym, obejmująca produkcyjne pulpity monitorujące i alerty
• Narzędzia MLOps i nadzoru do orkiestracji, CI/CD, śledzenia pochodzenia, zarządzania dostępem i prowadzenia dzienników audytowych

Najważniejsze możliwości zapewniania ładu obejmują:

• Ujednolicony nadzór nad danymi i zasobami uczenia maszynowego. Dowiedz się więcej na Co to jest Unity Catalog?.
• Ujednolicony nadzór nad punktami końcowymi modelu. Dowiedz się więcej w usłudze AI Gateway na potrzeby obsługi punktów końcowych.
• Ujednolicone podejście do zabezpieczeń. Dowiedz się więcej w usłudze Databricks AI Security.
• Ujednolicone administrowanie danymi i narzędziami uczenia maszynowego. Dowiedz się więcej na stronie Administracja.

Zobacz również Azure Databricks możliwości nauki o danych i uczenia maszynowego oraz architekturę Azure Databricks.

Uczenie maszynowe a uczenie głębokie a GenAI

Granice między uczeniem maszynowym,uczeniem głębokim (DL) i generowaniem sztucznej inteligencji (GenAI) mogą być rozmyte. Ten przewodnik koncentruje się na uczeniu maszynowym i głębokim, ale następujące funkcje platformy obsługują wszystkie trzy paradygmaty:

• Model Serving obsługuje klasyczne modele ML, modele głębokiego uczenia i niestandardowe modele GenAI do inferencji w czasie rzeczywistym i wsadowej.
• ai_query obsługuje zapytania SQL i obciążenia wnioskowania wsadowego dla wszystkich trzech paradygmatów.

• AI Runtime oraz akcelerowane przez GPU Databricks Runtime for Machine Learning obsługują trenowanie i dostrajanie we wszystkich trzech paradygmatach.

• Śledzenie eksperymentów MLflow śledzi przebiegi i eksperymenty dla wszystkich trzech paradygmatów.
• Usługa Databricks AI Search obsługuje dane bez struktury dla wszystkich trzech paradygmatów.

Dodatkowe zasoby

• Cykl życia uczenia maszynowego — etapy cyklu życia uczenia maszynowego i najlepsze rozwiązania
• Azure Databricks możliwości nauki o danych i uczenia maszynowego — Azure Databricks możliwości uczenia maszynowego według etapu przepływu pracy
• Sztuczna inteligencja w usłudze Databricks — przypadki użycia, klienci i inne zasoby