Udostępnij za pośrednictwem


Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks

Buduj, wdrażaj i zarządzaj aplikacjami sztucznej inteligencji oraz uczenia maszynowego za pomocą Mosaic AI, która jest zintegrowaną platformą, łączącą cały cykl życia sztucznej inteligencji, od przygotowania danych do monitorowania produkcji.

Aby zapoznać się z zestawem samouczków, które ułatwiają rozpoczęcie pracy, zobacz Samouczki dotyczące sztucznej inteligencji i uczenia maszynowego.

Tworzenie aplikacji generacyjnych sztucznej inteligencji

Twórz i wdrażaj aplikacje sztucznej inteligencji klasy korporacyjnej, takie jak dostosowane modele językowe dużej skali, agenci sztucznej inteligencji i generowanie wspomagane wyszukiwaniem.

Funkcja Opis
Plac zabaw dla sztucznej inteligencji Prototypowanie i testowanie modeli generatywnej sztucznej inteligencji bez potrzeby kodowania i dostrajania parametrów.
Agent Bricks Proste, bez kodu podejście do tworzenia i optymalizowania systemów agentów sztucznej inteligencji specyficznych dla domeny wysokiej jakości dla typowych przypadków użycia sztucznej inteligencji.
Modele podstawowe Służyć najnowocześniejsze LLMs, w tym Meta Llama, Anthropic Claude i OpenAI GPT za pomocą bezpiecznych, skalowalnych interfejsów API.
Struktura agenta mozaiki sztucznej inteligencji Twórz i wdrażaj agentów jakości produkcyjnej, w tym aplikacji RAG i systemów z wieloma agentami przy użyciu języka Python.
MLflow for GenAI Mierzenie, ulepszanie i monitorowanie jakości w całym cyklu życia aplikacji GenAI przy użyciu metryk opartych na sztucznej inteligencji i kompleksowej możliwości obserwacji śledzenia.
Wyszukiwanie wektorów Przechowuj i przeszukuj wektory osadzeń z automatyczną synchronizacją z bazą wiedzy w aplikacjach RAG.
Dostrajanie modelu podstawowego Dostosowywanie modeli podstawowych przy użyciu własnych danych w celu zoptymalizowania wydajności określonych aplikacji.

Trenowanie klasycznych modeli uczenia maszynowego

Tworzenie modeli uczenia maszynowego za pomocą zautomatyzowanych narzędzi i środowisk programistycznych do współpracy.

Funkcja Opis
AutoML Automatycznie twórz modele wysokiej jakości z minimalnym kodem przy użyciu zautomatyzowanej inżynierii cech i dostrajania hiperparametrów.
Databricks Runtime dla uczenia maszynowego Wstępnie skonfigurowane klastry z obsługą TensorFlow, PyTorch, Keras oraz GPU w celu rozwoju uczenia głębokiego.
Śledzenie MLflow Śledzenie eksperymentów, porównywanie wydajności modelu i zarządzanie pełnym cyklem projektowania modelu.
Inżynieria cech Tworzenie i udostępnianie funkcji oraz zarządzanie nimi za pomocą zautomatyzowanych potoków danych i odnajdywania funkcji.
Notatniki Databricks Środowisko współpracy programistycznej z obsługą Python, R, Scala i SQL dla przepływów pracy związanych z uczeniem maszynowym.

Trenowanie modeli uczenia głębokiego

Używanie wbudowanych struktur do opracowywania modeli uczenia głębokiego.

Funkcja Opis
Trenowanie rozproszone Przykłady rozproszonego uczenia głębokiego przy użyciu technologii Ray, TorchDistributor i DeepSpeed.
Najlepsze rozwiązania dotyczące uczenia głębokiego w usłudze Databricks Najlepsze rozwiązania dotyczące uczenia głębokiego w usłudze Databricks.
PyTorch Trenowanie jednowęźle i rozproszone przy użyciu narzędzia PyTorch.
TensorFlow Trenowanie na pojedynczym węźle oraz trenowanie rozproszone z użyciem bibliotek TensorFlow i TensorBoard.
Rozwiązania referencyjne Rozwiązania referencyjne dotyczące uczenia głębokiego.

Wdrażanie i obsługa modeli

Wdrażanie modeli w środowisku produkcyjnym przy użyciu skalowalnych punktów końcowych, wnioskowania w czasie rzeczywistym i monitorowania klasy korporacyjnej.

Funkcja Opis
Obsługa modelu Wdróż niestandardowe modele i moduły LLM jako skalowalne punkty końcowe REST z automatycznym skalowaniem i obsługą procesora GPU.
Brama sztucznej inteligencji Nadzorowanie i monitorowanie dostępu do generowania modeli sztucznej inteligencji za pomocą śledzenia użycia, rejestrowania ładunków i mechanizmów kontroli zabezpieczeń.
Modele zewnętrzne Integracja modeli zewnętrznych hostowanych poza usługą Databricks z ujednoliconym zarządzaniem i monitorowaniem.
Interfejsy API modelu bazowego Uzyskiwanie dostępu do najnowocześniejszych otwartych modeli hostowanych przez usługę Databricks i wykonywanie zapytań o nie.

Monitorowanie i zarządzanie systemami uczenia maszynowego

Zapewnij jakość modelu, integralność danych i zgodność z kompleksowymi narzędziami do monitorowania i zapewniania ładu.

Funkcja Opis
Unity Catalog Zarządzanie danymi, funkcjami, modelami i funkcjami za pomocą ujednoliconej kontroli dostępu, śledzenia pochodzenia i odnajdywania.
Monitorowanie usługi Lakehouse Monitoruj jakość danych, wydajność modelu oraz dryf przewidywań przy użyciu zautomatyzowanych alertów i analizy przyczyn źródłowych.
MLflow dla modeli Śledzenie, ocenianie i monitorowanie aplikacji generacyjnych sztucznej inteligencji w całym cyklu projektowania.

Produkcja przepływów pracy uczenia maszynowego

Skalowanie operacji uczenia maszynowego przy użyciu zautomatyzowanych przepływów pracy, integracji/ciągłego wdrażania i potoków gotowych do produkcji.

Zadanie Opis
Rejestr modeli Zarządzanie wersjami, zatwierdzeniami i wdrożeniami modelu za pomocą scentralizowanego zarządzania cyklem życia modelu.
Zadania lakeflow Buduj zautomatyzowane przepływy pracy oraz potoki ETL gotowe do produkcji, przeznaczone do przetwarzania danych na potrzeby uczenia maszynowego.
Ray w usłudze Databricks Skalowanie obciążeń uczenia maszynowego przy użyciu przetwarzania rozproszonego na potrzeby trenowania i wnioskowania modelu na dużą skalę.
Przepływy pracy w MLOps Zaimplementuj od końca do końca MLOps przy użyciu zautomatyzowanych potoków trenowania, testowania i wdrażania.
Integracja z usługą Git Kontrola wersji kodu i notesów uczenia maszynowego z bezproblemową integracją z usługą Git i współpraca w ramach rozwoju.