Udostępnij przez

Interfejsy API modelu bazowego Databricks

Ten artykuł zawiera omówienie interfejsów API modelu bazowego na platformie Azure Databricks. Zawiera wymagania dotyczące użycia, obsługiwanych modeli i ograniczeń.

Co to są interfejsy API modelu Databricks Foundation?

Mosaic AI Model Serving teraz obsługuje interfejsy API modeli bazowych, które umożliwiają uzyskiwanie dostępu do najnowocześniejszych otwartych modeli i ich odpytywania z poziomu punktu końcowego obsługującego. Te modele są hostowane przez usługę Databricks i można szybko i łatwo tworzyć aplikacje korzystające z nich bez konieczności utrzymywania własnego wdrożenia modelu. API modelu fundacyjnego to usługa wyznaczona przez Databricks, co oznacza, że używa Databricks Geos do zarządzania lokalizacją danych podczas przetwarzania treści klienta.

Interfejsy API modelu bazowego są dostępne w następujących trybach:

  • Płatność za token: jest to najprostszy sposób na rozpoczęcie uzyskiwania dostępu do modeli bazowych w usłudze Databricks i zalecany jako początek pracy z interfejsami API modeli bazowych. Ten tryb nie jest przeznaczony dla aplikacji o wysokiej przepływności, ale może być używany w przypadku obciążeń produkcyjnych.
  • Aprowizowana przepływność: ten tryb jest zalecany dla wszystkich obciążeń produkcyjnych, zwłaszcza tych, które wymagają wysokiej przepływności, gwarancji wydajności, dostrojonych modeli lub mają dodatkowe wymagania dotyczące zabezpieczeń. Punkty końcowe z przydzieloną przepustowością są dostępne z certyfikatami zgodności, takimi jak HIPAA.
  • Modele zoptymalizowane dla AI Functions: ten tryb jest zalecany do wsadowych zadań wnioskowania. Możesz uruchomić wnioskowanie wsadowe przy użyciu dowolnego modelu generatywnej AI lub uczenia maszynowego przy pomocy funkcji AI.

Aby uzyskać wskazówki dotyczące używania tych trybów i obsługiwanych modeli, zobacz Use Foundation Model APIs (Korzystanie z interfejsów API modelu podstawowego).

Korzystając z interfejsów API modelu Foundation, można wykonać następujące czynności:

  • Wykonaj zapytanie względem uogólnionego modułu LLM, aby zweryfikować ważność projektu przed zainwestowaniem większej ilości zasobów.
  • Przeprowadź zapytanie dotyczące uogólnionego modelu LLM, aby utworzyć szybki prototyp koncepcyjny aplikacji opartej na modelu LLM, zanim zainwestujesz w trenowanie i wdrażanie modelu niestandardowego.
  • Użyj modelu podstawowego wraz z indeksem wektorowym, aby utworzyć czatbota przy użyciu rozszerzonej generacji pobierania (RAG).
  • Zastąp zastrzeżone modele otwartymi alternatywami, aby zoptymalizować koszt i wydajność.
  • Wydajnie porównaj modele LLM, aby zidentyfikować najlepszego kandydata dla swojego przypadku użycia lub zamienić model produkcyjny na bardziej efektywny.
  • Utwórz aplikację LLM na potrzeby programowania lub produkcji na podstawie skalowalnego, opartego na umowie SLA rozwiązania obsługującego usługę LLM, które może obsługiwać wzrost ruchu produkcyjnego.

Wymagania

Korzystaj z interfejsów API modelu bazowego

Masz wiele opcji korzystania z API Modelu Bazowego.

Interfejsy API są zgodne z interfejsem OpenAI, więc do wykonywania zapytań można użyć klienta OpenAI. Możesz również użyć interfejsu użytkownika, interfejsu API modeli podstawowych zestawu SDK języka Python, zestawu SDK wdrożeń platformy MLflow lub interfejsu API REST do wykonywania zapytań dotyczących obsługiwanych modeli. Databricks zaleca korzystanie z zestawu SDK klienta OpenAI lub interfejsu API na potrzeby interakcji rozszerzonych oraz interfejsu użytkownika do wypróbowania tej funkcji.

Zobacz Używanie modeli podstawowych do oceniania przykładów.

API modelu podstawowego w płatności za token

Wstępnie skonfigurowane punkty końcowe obsługujące modele płatności za token są dostępne w obszarze roboczym usługi Azure Databricks. Ten model płatności za tokeny jest zalecany do rozpoczęcia pracy. Aby uzyskać do nich dostęp w przestrzeni roboczej, przejdź do zakładki Obsługa na pasku bocznym po lewej stronie. API Modelu Fundacyjnego znajdują się na górze listy punktów końcowych.

lista obsługiwanych punktów końcowych

Interfejsy API dla modelu bazowego zarezerwowanej przepustowości

Skonfigurowana przepustowość zapewnia punktom końcowym zoptymalizowane wnioskowanie dla obciążeń modeli podstawowych, które wymagają gwarancji wydajności. Databricks zaleca przydzieloną przepustowość dla obciążeń produkcyjnych.

Obsługa zapewnionej przepływności obejmuje:

  • Podstawowe modele we wszystkich rozmiarach. Dostęp do modeli bazowych można uzyskać za pomocą witryny Databricks Marketplace lub można je pobrać z Hugging Face albo innego źródła zewnętrznego i zarejestrować w katalogu Unity. Drugie podejście działa z dowolnym dostosowanym wariantem obsługiwanych modeli.
  • dostrojone warianty modeli podstawowych, takie jak modele dostosowane do zastrzeżonych danych.
  • W pełni niestandardowe wagi i tokenizatory, takie jak te trenowane od podstaw lub kontynuujące etap wstępnego treningu albo inne odmiany oparte na architekturze modelu podstawowego (na przykład CodeLlama).

Funkcje sztucznej inteligencji do wnioskowania wsadowego

Zobacz Zastosowanie AI do danych z wykorzystaniem funkcji AI w Azure Databricks.

Zobacz Wdrażanie potoków wnioskowania wsadowego, aby dowiedzieć się, jak tworzyć potoki wnioskowania wsadowego przy użyciu funkcji sztucznej inteligencji.

Ograniczenia

Zobacz limity interfejsów API modelu Foundation.

Dodatkowe zasoby

  • Last updated on