Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks

Buduj, wdrażaj i zarządzaj aplikacjami sztucznej inteligencji oraz uczenia maszynowego za pomocą Mosaic AI, która jest zintegrowaną platformą, łączącą cały cykl życia sztucznej inteligencji, od przygotowania danych do monitorowania produkcji.

Aby zapoznać się z zestawem samouczków, które ułatwiają rozpoczęcie pracy, zobacz Samouczki dotyczące sztucznej inteligencji i uczenia maszynowego.

Tworzenie aplikacji generacyjnych sztucznej inteligencji

Twórz i wdrażaj aplikacje sztucznej inteligencji klasy korporacyjnej, takie jak dostosowane modele językowe dużej skali, agenci sztucznej inteligencji i generowanie wspomagane wyszukiwaniem.

Funkcja	Opis
Plac zabaw dla sztucznej inteligencji	Prototypowanie i testowanie modeli generatywnej sztucznej inteligencji bez potrzeby kodowania i dostrajania parametrów.
Agent Bricks	Proste, bez kodu podejście do tworzenia i optymalizowania systemów agentów sztucznej inteligencji specyficznych dla domeny wysokiej jakości dla typowych przypadków użycia sztucznej inteligencji.
Modele podstawowe	Służyć najnowocześniejsze LLMs, w tym Meta Llama, Anthropic Claude i OpenAI GPT za pomocą bezpiecznych, skalowalnych interfejsów API.
Struktura agenta mozaiki sztucznej inteligencji	Twórz i wdrażaj agentów jakości produkcyjnej, w tym aplikacji RAG i systemów z wieloma agentami przy użyciu języka Python.
MLflow for GenAI	Mierzenie, ulepszanie i monitorowanie jakości w całym cyklu życia aplikacji GenAI przy użyciu metryk opartych na sztucznej inteligencji i kompleksowej możliwości obserwacji śledzenia.
Wyszukiwanie wektorów	Przechowuj i przeszukuj wektory osadzeń z automatyczną synchronizacją z bazą wiedzy w aplikacjach RAG.
Dostrajanie modelu podstawowego	Dostosowywanie modeli podstawowych przy użyciu własnych danych w celu zoptymalizowania wydajności określonych aplikacji.

Trenowanie klasycznych modeli uczenia maszynowego

Tworzenie modeli uczenia maszynowego za pomocą zautomatyzowanych narzędzi i środowisk programistycznych do współpracy.

Funkcja	Opis
AutoML	Automatycznie twórz modele wysokiej jakości z minimalnym kodem przy użyciu zautomatyzowanej inżynierii cech i dostrajania hiperparametrów.
Databricks Runtime dla uczenia maszynowego	Wstępnie skonfigurowane klastry z obsługą TensorFlow, PyTorch, Keras oraz GPU w celu rozwoju uczenia głębokiego.
Śledzenie MLflow	Śledzenie eksperymentów, porównywanie wydajności modelu i zarządzanie pełnym cyklem projektowania modelu.
Inżynieria cech	Tworzenie i udostępnianie funkcji oraz zarządzanie nimi za pomocą zautomatyzowanych potoków danych i odnajdywania funkcji.
Notatniki Databricks	Środowisko współpracy programistycznej z obsługą Python, R, Scala i SQL dla przepływów pracy związanych z uczeniem maszynowym.

Trenowanie modeli uczenia głębokiego

Używanie wbudowanych struktur do opracowywania modeli uczenia głębokiego.

Funkcja	Opis
Trenowanie rozproszone	Przykłady rozproszonego uczenia głębokiego przy użyciu technologii Ray, TorchDistributor i DeepSpeed.
Najlepsze rozwiązania dotyczące uczenia głębokiego w usłudze Databricks	Najlepsze rozwiązania dotyczące uczenia głębokiego w usłudze Databricks.
PyTorch	Trenowanie jednowęźle i rozproszone przy użyciu narzędzia PyTorch.
TensorFlow	Trenowanie na pojedynczym węźle oraz trenowanie rozproszone z użyciem bibliotek TensorFlow i TensorBoard.
Rozwiązania referencyjne	Rozwiązania referencyjne dotyczące uczenia głębokiego.

Wdrażanie i obsługa modeli

Wdrażanie modeli w środowisku produkcyjnym przy użyciu skalowalnych punktów końcowych, wnioskowania w czasie rzeczywistym i monitorowania klasy korporacyjnej.

Funkcja	Opis
Obsługa modelu	Wdróż niestandardowe modele i moduły LLM jako skalowalne punkty końcowe REST z automatycznym skalowaniem i obsługą procesora GPU.
Brama sztucznej inteligencji	Nadzorowanie i monitorowanie dostępu do generowania modeli sztucznej inteligencji za pomocą śledzenia użycia, rejestrowania ładunków i mechanizmów kontroli zabezpieczeń.
Modele zewnętrzne	Integracja modeli zewnętrznych hostowanych poza usługą Databricks z ujednoliconym zarządzaniem i monitorowaniem.
Interfejsy API modelu bazowego	Uzyskiwanie dostępu do najnowocześniejszych otwartych modeli hostowanych przez usługę Databricks i wykonywanie zapytań o nie.

Monitorowanie i zarządzanie systemami uczenia maszynowego

Zapewnij jakość modelu, integralność danych i zgodność z kompleksowymi narzędziami do monitorowania i zapewniania ładu.

Funkcja	Opis
Unity Catalog	Zarządzanie danymi, funkcjami, modelami i funkcjami za pomocą ujednoliconej kontroli dostępu, śledzenia pochodzenia i odnajdywania.
Monitorowanie usługi Lakehouse	Monitoruj jakość danych, wydajność modelu oraz dryf przewidywań przy użyciu zautomatyzowanych alertów i analizy przyczyn źródłowych.
MLflow dla modeli	Śledzenie, ocenianie i monitorowanie aplikacji generacyjnych sztucznej inteligencji w całym cyklu projektowania.

Produkcja przepływów pracy uczenia maszynowego

Skalowanie operacji uczenia maszynowego przy użyciu zautomatyzowanych przepływów pracy, integracji/ciągłego wdrażania i potoków gotowych do produkcji.

Zadanie	Opis
Rejestr modeli	Zarządzanie wersjami, zatwierdzeniami i wdrożeniami modelu za pomocą scentralizowanego zarządzania cyklem życia modelu.
Zadania lakeflow	Buduj zautomatyzowane przepływy pracy oraz potoki ETL gotowe do produkcji, przeznaczone do przetwarzania danych na potrzeby uczenia maszynowego.
Ray w usłudze Databricks	Skalowanie obciążeń uczenia maszynowego przy użyciu przetwarzania rozproszonego na potrzeby trenowania i wnioskowania modelu na dużą skalę.
Przepływy pracy w MLOps	Zaimplementuj od końca do końca MLOps przy użyciu zautomatyzowanych potoków trenowania, testowania i wdrażania.
Integracja z usługą Git	Kontrola wersji kodu i notesów uczenia maszynowego z bezproblemową integracją z usługą Git i współpraca w ramach rozwoju.