Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks

Buduj, wdrażaj i zarządzaj aplikacjami sztucznej inteligencji oraz uczenia maszynowego za pomocą Mosaic AI, która jest zintegrowaną platformą, łączącą cały cykl życia sztucznej inteligencji, od przygotowania danych do monitorowania produkcji.

Aby zapoznać się z zestawem samouczków, które ułatwiają rozpoczęcie pracy, zobacz Samouczki dotyczące sztucznej inteligencji i uczenia maszynowego.

Tworzenie aplikacji generacyjnych sztucznej inteligencji

Twórz i wdrażaj aplikacje sztucznej inteligencji klasy korporacyjnej, takie jak dostosowane modele językowe dużej skali, agenci sztucznej inteligencji i generowanie wspomagane wyszukiwaniem.

Funkcja	Opis
Plac zabaw dla sztucznej inteligencji	Prototypowanie i testowanie modeli generatywnej sztucznej inteligencji bez potrzeby kodowania i dostrajania parametrów.
Agent Bricks	Proste, bez kodu podejście do tworzenia i optymalizowania systemów agentów sztucznej inteligencji specyficznych dla domeny wysokiej jakości dla typowych przypadków użycia sztucznej inteligencji.
Modele podstawowe	Służyć najnowocześniejsze LLMs, w tym Meta Llama, Anthropic Claude i OpenAI GPT za pomocą bezpiecznych, skalowalnych interfejsów API.
Framework agentów Mosaic AI	Twórz i wdrażaj agentów jakości produkcyjnej, w tym aplikacji RAG i systemów z wieloma agentami przy użyciu języka Python.
MLflow for GenAI	Mierzenie, ulepszanie i monitorowanie jakości w całym cyklu życia aplikacji GenAI przy użyciu metryk opartych na sztucznej inteligencji i kompleksowej możliwości obserwacji śledzenia.
Wyszukiwanie wektorów	Przechowuj i przeszukuj wektory osadzeń z automatyczną synchronizacją z bazą wiedzy w aplikacjach RAG.
Dostrajanie modelu podstawowego	Dostosowywanie modeli podstawowych przy użyciu własnych danych w celu zoptymalizowania wydajności określonych aplikacji.

Trenowanie klasycznych modeli uczenia maszynowego

Tworzenie modeli uczenia maszynowego za pomocą zautomatyzowanych narzędzi i środowisk programistycznych do współpracy.

Funkcja	Opis
AutoML	Automatycznie twórz modele wysokiej jakości z minimalnym kodem przy użyciu zautomatyzowanej inżynierii cech i dostrajania hiperparametrów.
Databricks Runtime dla uczenia maszynowego	Wstępnie skonfigurowane klastry z obsługą TensorFlow, PyTorch, Keras oraz GPU w celu rozwoju uczenia głębokiego.
Śledzenie MLflow	Śledzenie eksperymentów, porównywanie wydajności modelu i zarządzanie pełnym cyklem projektowania modelu.
Inżynieria cech danych	Tworzenie i udostępnianie funkcji oraz zarządzanie nimi za pomocą zautomatyzowanych potoków danych i odnajdywania funkcji.
Notesy usługi Databricks	Środowisko współpracy programistycznej z obsługą Python, R, Scala i SQL dla przepływów pracy związanych z uczeniem maszynowym.

Trenowanie modeli uczenia głębokiego

Używanie wbudowanych struktur do opracowywania modeli uczenia głębokiego.

Funkcja	Opis
Szkolenie rozproszone	Przykłady rozproszonego uczenia głębokiego przy użyciu technologii Ray, TorchDistributor i DeepSpeed.
Najlepsze rozwiązania dotyczące uczenia głębokiego w usłudze Databricks	Najlepsze rozwiązania dotyczące uczenia głębokiego w usłudze Databricks.
PyTorch	Trenowanie jednowęźle i rozproszone przy użyciu narzędzia PyTorch.
TensorFlow	Trenowanie na pojedynczym węźle oraz trenowanie rozproszone z użyciem bibliotek TensorFlow i TensorBoard.
Rozwiązania referencyjne	Rozwiązania referencyjne dotyczące uczenia głębokiego.

Wdrażanie i obsługa modeli

Wdrażanie modeli w środowisku produkcyjnym przy użyciu skalowalnych punktów końcowych, wnioskowania w czasie rzeczywistym i monitorowania klasy korporacyjnej.

Funkcja	Opis
Obsługa modelu	Wdróż niestandardowe modele i moduły LLM jako skalowalne punkty końcowe REST z automatycznym skalowaniem i obsługą procesora GPU.
Brama sztucznej inteligencji	Nadzorowanie i monitorowanie dostępu do generowania modeli sztucznej inteligencji za pomocą śledzenia użycia, rejestrowania ładunków i mechanizmów kontroli zabezpieczeń.
Modele zewnętrzne	Integracja modeli zewnętrznych hostowanych poza usługą Databricks z ujednoliconym zarządzaniem i monitorowaniem.
Interfejsy API modelu bazowego	Uzyskiwanie dostępu do najnowocześniejszych otwartych modeli hostowanych przez usługę Databricks i wykonywanie zapytań o nie.

Monitorowanie i zarządzanie systemami uczenia maszynowego

Zapewnij jakość modelu, integralność danych i zgodność z kompleksowymi narzędziami do monitorowania i zapewniania ładu.

Funkcja	Opis
Unity Catalog	Zarządzanie danymi, funkcjami, modelami i funkcjami za pomocą ujednoliconej kontroli dostępu, śledzenia pochodzenia i odnajdywania.
Monitorowanie usługi Lakehouse	Monitoruj jakość danych, wydajność modelu oraz dryf przewidywań przy użyciu zautomatyzowanych alertów i analizy przyczyn źródłowych.
MLflow dla modeli	Śledzenie, ocenianie i monitorowanie aplikacji generacyjnych sztucznej inteligencji w całym cyklu projektowania.

Produkcja przepływów pracy uczenia maszynowego

Skalowanie operacji uczenia maszynowego przy użyciu zautomatyzowanych przepływów pracy, integracji/ciągłego wdrażania i potoków gotowych do produkcji.

Zadanie	Opis
Rejestr modeli	Zarządzanie wersjami, zatwierdzeniami i wdrożeniami modelu za pomocą scentralizowanego zarządzania cyklem życia modelu.
Zadania lakeflow	Buduj zautomatyzowane przepływy pracy oraz potoki ETL gotowe do produkcji, przeznaczone do przetwarzania danych na potrzeby uczenia maszynowego.
Ray na platformie Databricks	Skalowanie obciążeń uczenia maszynowego przy użyciu przetwarzania rozproszonego na potrzeby trenowania i wnioskowania modelu na dużą skalę.
Przepływy pracy metodyki MLOps	Zaimplementuj od końca do końca MLOps przy użyciu zautomatyzowanych potoków trenowania, testowania i wdrażania.
Integracja z usługą Git	Kontrola wersji kodu i notesów uczenia maszynowego z bezproblemową integracją z usługą Git i współpraca w ramach rozwoju.