Základní model slouží koncovým bodům (legacy)

Note

Tato stránka popisuje pracovní postup Model Serving založený na starších koncových zařízeních. Pro nalezení a dotazování modelů přes Unity Gateway se podívejte na dostupné modely a služby modelů dotazů.

základních modelů Accessu hostovaných mimo Databricks

Základní modely vytvořené poskytovateli LLM, jako jsou OpenAI a Anthropic, jsou také přístupné v Databricks pomocí externích modelů. Tyto modely jsou hostované mimo Databricks a můžete vytvořit koncový bod pro jejich dotazování. Tyto koncové body se dají centrálně řídit z Azure Databricks, což zjednodušuje používání a správu různých poskytovatelů LLM ve vaší organizaci.

Následující tabulka uvádí seznam podporovaných modelů a odpovídajících typů koncových bodů . Můžete použít uvedené modelové asociace k nakonfigurování koncového bodu pro nově vydané typy modelů, jakmile budou dostupné u daného poskytovatele. Zákazníci jsou odpovědní za dodržování příslušných modelových licencí.

Note

Díky rychlému vývoji LLM není zaručeno, že je tento seznam neustále aktuální. Nové verze modelu od stejného poskytovatele se obvykle podporují i v případě, že nejsou v seznamu.

Poskytovatel modelů	llm/v1/doplnění	llm/v1/chat	llm/v1/embeddings
OpenAI**	gpt-3.5-turbo-instruct babbage-002 Davinci-002	o1 o1-mini o1-mini-2024-09-12 gpt-3.5-turbo gpt-4 gpt-4-turbo gpt-4-turbo-2024-04 gpt-4o gpt-4o-2024-05-13 gpt-4o-mini	text-embedding-ada-002 text-vložení-3-velké textové vnoření-3-malý
Azure OpenAI**	text-davinci-003 gpt-35-turbo-instruct	o1 o1-mini gpt-35-turbo gpt-35-turbo-16k gpt-4 gpt-4-turbo gpt-4-32k gpt-4o gpt-4o-mini	text-embedding-ada-002 text-vložení-3-velké textové vnoření-3-malý
Anthropic	claude-1 claude-1.3-100k claude-2 claude-2.1 claude-2.0 claude-instant-1.2	claude-3-5-sonnet-latest claude-3-5-haiku-nejnovější claude-3-5-opus-nejnovější claude-3-5-sonnet-20241022 claude-3-5-haiku-20241022 claude-3-5-sonnet-20240620 claude-3-haiku-20240307 claude-3-opus-20240229 claude-3-sonnet-20240229
Cohere	command světlo příkazu	command-r7b-12-2024 command-r-plus-08-2024 příkaz-r-08-2024 Command-R-plus příkaz-R command příkaz nočního světla světlo příkazu příkaz -noční	vložit-anglicky-v2.0 embed-multilingual-v2.0 embed-anglický-light-v2.0 embed-english-v3.0 embed-english-light-v3.0 embed-multilingual-v3.0 embed-multilingual-light-v3.0
Poskytnutí Modelu	Koncový bod služby Databricks	Koncový bod služby Databricks	Koncový bod služby Databricks
Amazon Bedrock	Anthropic: claude-instant-v1 claude-v2 Spojit se! command-text-v14 command-light-text-v14 Testovací prostředí AI21: j2-grande-instruct j2-jumbo-instruct j2–mid j2-mid-v1 j2-ultra j2-ultra-v1	Anthropic: claude-3-5-sonnet-20241022-v2:0 claude-3-5-haiku-20241022-v1:0 claude-3-opus-20240229-v1:0 claude-3-sonnet-20240229-v1:0 claude-3-5-sonnet-20240620-v1:0 Spojit se! command-r-plus-v1:0 command-r-v1:0 Amazonka: nova-lite-v1:0 nova-micro-v1:0 nova-pro-v1:0	Amazonka: titan-embed-text-v2:0 titan-embed-text-v1 titan-embed-g1-text-02 Spojit se! embed-english-v3 embed-multilingual-v3
Testovací prostředí AI21†	j2–mid j2-light j2-ultra
Google Cloud Vertex AI	text-bizon	chat-bison gemini-pro gemini-1.0-pro gemini-1.5-pro gemini-1.5-flash gemini-2.0-flash	text-embedding-004 text-embedding-005 textové vkládání-gecko

poskytovatel modelů ** podporuje jemně vyladěné modely dokončování a chatu. Pokud chcete dotazovat jemně vyladěný model, vyplňte pole name konfigurace external model názvem jemně vyladěného modelu.

† Zprostředkovatel modelů podporuje vlastní modely dokončování.

Vytvořte koncové body pro obsluhu základního modelu

Pokud chcete dotazovat a používat základní modely v aplikacích AI, musíte nejprve vytvořit koncový bod obsluhy modelu. Obsluha modelů používá jednotné rozhraní API a uživatelské rozhraní k vytváření a aktualizaci základních modelů obsluhujících koncové body.

• Pokud chcete vytvořit koncový bod, který obsluhuje jemně vyladěné varianty základních modelů zpřístupněných pomocí zřízené propustnosti rozhraní API základního modelu, přečtěte si téma Vytvoření zřízeného koncového bodu propustnosti pomocí rozhraní REST API.
• Pro vytvoření obslužných koncových bodů, které přistupují k základním modelům zpřístupněným prostřednictvím nabídky Externí modely, se podívejte na Vytvoření externího modelu obsluhujícího koncový bod.

Dotazování na koncové body obsluhující základní model

Po vytvoření koncového bodu obsluhy se můžete dotazovat na výchozí model. Obsluha modelů používá pro dotazování základních modelů sjednocené rozhraní API kompatibilní s OpenAI a sadou SDK. Toto jednotné prostředí zjednodušuje experimentování se základními modely pro produkční prostředí napříč podporovanými cloudy a poskytovateli.

Viz Použití základních modelů.