Model Foundation obsługujący punkty końcowe (dziedzictwo)

Note

Ta strona opisuje proces Model Serving oparty na starszych punktach końcowych. Aby znaleźć i zapytać modele przez Unity Gateway, zobacz dostępne modele i usługi modelu zapytań.

Modele podstawowe programu Access hostowane poza programem Databricks

Modele podstawowe utworzone przez dostawców LLM, takie jak OpenAI i Anthropic, są również dostępne w usłudze Databricks przy użyciu modeli zewnętrznych. Te modele są hostowane poza usługą Databricks i można utworzyć punkt końcowy do wykonywania zapytań. Te punkty końcowe mogą być centralnie zarządzane przez usługę Azure Databricks, co usprawnia korzystanie z różnych dostawców LLM i zarządzanie nimi w organizacji.

W poniższej tabeli przedstawiono niewyczerpną listę obsługiwanych modeli i odpowiadających im typów punktów końcowych . Możesz wykorzystać wymienione powiązania modeli, aby pomóc sobie skonfigurować punkt końcowy dla nowo wydanych typów modeli, gdy tylko staną się dostępne u danego dostawcy. Klienci są odpowiedzialni za zapewnienie zgodności z odpowiednimi licencjami modelu.

Note

Dzięki szybkiemu rozwojowi llMs nie ma gwarancji, że ta lista jest aktualna przez cały czas. Nowe wersje modelu od tego samego dostawcy są zwykle obsługiwane, nawet jeśli nie znajdują się na liście.

Dostawca modeli	llm/v1/completions	llm/v1/chat	llm/v1/embeddings
OpenAI**	gpt-3.5-turbo-instrukcyjny babbage-002 davinci-002	o1 o1-mini o1-mini-2024-09-12 gpt-3,5-turbo gpt-4 gpt-4-turbo gpt-4-turbo-2024-04 gpt-4o gpt-4o-2024-05-13 gpt-4o-mini	text-embedding-ada-002 osadzanie tekstu —3 — duże text-embedding-3-small
Azure OpenAI**	text-davinci-003 gpt-35-turbo-instrukcja	o1 o1-mini gpt-35-turbo gpt-35-turbo-16k gpt-4 gpt-4-turbo gpt-4-32k gpt-4o gpt-4o-mini	text-embedding-ada-002 osadzanie tekstu —3 — duże text-embedding-3-small
Anthropic	claude-1 claude-1.3-100k claude-2 claude-2.1 claude-2.0 claude-instant-1.2	claude-3-5-sonet-najnowszy claude-3-5-haiku-najnowsza wersja claude-3-5-opus-najnowszy claude-3-5-sonnet-20241022 claude-3-5-haiku-20241022 claude-3-5-sonnet-20240620 claude-3-haiku-20240307 claude-3-opus-20240229 claude-3-sonnet-20240229
Cohere**	command lampka kontrolna	command-r7b-12-2024 command-r-plus-08-2024 command-r-08-2024 Command-R-plus command-r command komenda-lekki-nocny lampka kontrolna komenda nocna	embed-english-v2.0 embed-multilingual-v2.0 embed-english-light-v2.0 embed-english-v3.0 (osadź-angielski-wersja-3.0) embed-english-light-v3.0 embed-multilingual-v3.0 embed-multilingual-light-v3.0
Modelowa obsługa	Punkt końcowy obsługujący usługę Databricks	Punkt końcowy obsługujący usługę Databricks	Punkt końcowy obsługujący usługę Databricks
Amazon Bedrock	Antropiczne claude-instant-v1 claude-v2 Cohere: polecenie-tekst-v14 command-light-text-v14 Laboratoria AI21: j2-grande-instruowanie j2-jumbo-instrukcja j2-mid j2-mid-v1 j2-ultra j2-ultra-v1	Antropiczne claude-3-5-sonnet-20241022-v2:0 claude-3-5-haiku-20241022-v1:0 claude-3-opus-20240229-v1:0 claude-3-sonnet-20240229-v1:0 claude-3-5-sonnet-20240620-v1:0 Cohere: command-r-plus-v1:0 command-r-v1:0 Amazonka: nova-lite-v1:0 nova-micro-v1:0 nova-pro-v1:0	Amazonka: titan-embed-text-v2:0 titan-embed-text-v1 titan-embed-g1-text-02 Cohere: embed-english-v3 embed-multilingual-v3
Laboratoria AI21†	j2-mid j2-light j2-ultra
Google Cloud Vertex AI	Text-bison	czat-żubr gemini-pro gemini-1.0-pro gemini-1.5-pro gemini-1.5-flash gemini-2.0-flash	text-embedding-004 text-embedding-005 textembedding-gecko

Dostawca modelu ** obsługuje dostosowane opcje autouzupełniania i modele czatu. Aby utworzyć zapytanie dotyczące dostosowanego modelu, wypełnij pole name konfiguracji external model nazwą dostosowanego modelu.

† Dostawca modelu obsługuje niestandardowe modele uzupełniania.

Tworzenie podstawowego modelu obsługującego punkty końcowe

Aby wykonywać zapytania i używać modeli podstawowych w aplikacjach sztucznej inteligencji, musisz najpierw utworzyć punkt końcowy obsługujący model. Obsługa modelu używa ujednoliconego interfejsu API i interfejsu użytkownika do tworzenia i aktualizowania modelu podstawowego obsługującego punkty końcowe.

• Aby utworzyć punkt końcowy obsługujący dostosowane warianty modeli podstawowych, udostępnianych przy użyciu interfejsów API modeli podstawowych z aprowizowaną przepustowością, zobacz Tworzenie punktu końcowego aprowizowanej przepustowości przy użyciu interfejsu API REST.
• Aby utworzyć punkty końcowe obsługujące modele podstawowe dostępne przy użyciu oferty Modele zewnętrzne, zobacz Tworzenie zewnętrznego modelu obsługującego punkt końcowy.

Model podstawy zapytań obsługujący punkty końcowe

Po utworzeniu punktu końcowego usługowego można zadawać zapytania do modelu podstawowego. Obsługa modeli używa ujednoliconego interfejsu API zgodnego z interfejsem OpenAI i zestawu SDK do wykonywania zapytań dotyczących modeli podstawowych. To ujednolicone środowisko upraszcza eksperymentowanie z modelami podstawowymi i dostosowywanie ich pod kątem produkcji w obsługiwanych chmurach i dostawcach.

Zobacz Korzystanie z modeli podstawowych.