Foundation-Modell für Endpunkte (Legacy)

Note

Diese Seite beschreibt den alten, endpoint-basierten Model Serving Workflow. Um Modelle über Unity Gateway zu finden und abzufragen, siehe verfügbare Modelle und Abfragemodelldienste.

Access Foundation-Modelle, die außerhalb von Databricks gehostet werden

Basismodelle, die von Large Language Model (LLM)-Anbietern wie OpenAI und Anthropic erstellt wurden, sind unter Verwendung von externen Modellen auch in Databricks zugänglich. Diese Modelle werden außerhalb von Databricks gehostet, und Sie können einen Endpunkt erstellen, um sie abzufragen. Diese Endpunkte können zentral von Azure Databricks gesteuert werden, wodurch die Verwendung und Verwaltung verschiedener LLM-Anbieter innerhalb Ihrer Organisation optimiert wird.

Die folgende Tabelle enthält eine nicht vollständige Liste der unterstützten Modelle und die entsprechenden Endpunkttypen. Sie können die aufgeführten Modellassoziationen nutzen, um einen Endpunkt für neu veröffentlichte Modelltypen zu konfigurieren, sobald sie bei einem bestimmten Anbieter verfügbar sind. Kunden sind dafür verantwortlich, die Einhaltung anwendbarer Modelllizenzen sicherzustellen.

Note

Mit der schnellen Entwicklung von LLMs gibt es keine Garantie dafür, dass diese Liste jederzeit auf dem neuesten Stand ist. Neue Modellversionen desselben Anbieters werden in der Regel unterstützt, auch wenn sie nicht in der Liste enthalten sind.

Modellanbieter	llm/v1/completions	llm/v1/chat	llm/v1/embeddings
OpenAI**	gpt-3.5-turbo-instruct Babbage-002 davinci-002	o1 o1-mini o1-mini-2024-09-12 gpt-3.5-turbo gpt-4 gpt-4-turbo gpt-4-turbo-2024-04 gpt-4o gpt-4o-2024-05-13 gpt-4o-mini	text-embedding-ada-002 text-embedding-3-large Texteinbettung-3-klein
Azure OpenAI**	text-davinci-003 gpt-35-turbo-instruct	o1 o1-mini gpt-35-turbo gpt-35-turbo-16k gpt-4 gpt-4-turbo gpt-4-32k gpt-4o gpt-4o-mini	text-embedding-ada-002 text-embedding-3-large Texteinbettung-3-klein
Anthropic	claude-1 claude-1.3-100k claude-2 claude-2.1 claude-2.0 claude-instant-1.2	claude-3-5-sonnet-latest claude-3-5-haiku-latest claude-3-5-opus-latest claude-3-5-sonnet-20241022 claude-3-5-haiku-20241022 claude-3-5-sonnet-20240620 claude-3-haiku-20240307 claude-3-opus-20240229 claude-3-sonnet-20240229
Kohärenz**	Befehl Kommandolicht	command-r7b-12-2024 command-r-plus-08-2024 command-r-08-2024 command-r-plus command-r Befehl command-light-nightly Kommandolicht command-nightly	embed-english-v2.0 embed-multilingual-v2.0 embed-english-light-v2.0 embed-english-v3.0 embed-english-light-v3.0 embed-multilingual-v3.0 embed-multilingual-light-v3.0
Bereitstellung von Modellen	Databricks-Bereitstellungsendpunkt	Databricks-Bereitstellungsendpunkt	Databricks-Bereitstellungsendpunkt
Amazonas-Grundgestein	Anthropisch: claude-instant-v1 claude-v2 Zusammenhalten command-text-v14 command-light-text-v14 AI21 Labs: j2-grande-instruct j2-jumbo-instruct j2-mid j2-mid-v1 j2-ultra j2-ultra-v1	Anthropisch: claude-3-5-sonnet-20241022-v2:0 claude-3-5-haiku-20241022-v1:0 claude-3-opus-20240229-v1:0 claude-3-sonnet-20240229-v1:0 claude-3-5-sonnet-20240620-v1:0 Zusammenhalten command-r-plus-v1:0 command-r-v1:0 Amazonas: nova-lite-v1:0 nova-micro-v1:0 nova-pro-v1:0	Amazonas: titan-embed-text-v2:0 titan-embed-text-v1 titan-embed-g1-text-02 Zusammenhalten embed-english-v3 embed-multilingual-v3
AI21 Labs†:	j2-mid j2-light j2-ultra
Google Cloud Vertex AI	text-bison	Chat-Bison Gemini-Pro Gemini-1.0-pro Gemini-1.5-Pro gemini-1.5-flash Gemini-2.0-Flash	Texteinbettung-004 Texteinbettung-005 textembedding-gecko

** Der Modellanbieter unterstützt optimierte Vervollständigungs- und Chatmodelle. Um ein fein abgestimmtes Modell abzufragen, füllen Sie das name Feld der konfiguration external model mit dem Namen Ihres fein abgestimmten Modells auf.

† Der Modellanbieter unterstützt benutzerdefinierte Vervollständigungsmodelle.

Erstellen eines Foundationmodells, das Endpunkte bedient

Um Foundation-Modelle in Ihren KI-Anwendungen abzufragen und zu verwenden, müssen Sie zuerst einen Modell-Serving-Endpunkt erstellen. Model Serving verwendet eine einheitliche API und Benutzeroberfläche zum Erstellen und Aktualisieren des Foundation-Modells, das Endpunkte bedient.

• Informationen zum Erstellen eines Endpunkts, der optimierte Varianten von Basismodellen bereitstellt, die mithilfe von Foundation Model-APIs mit bereitgestelltem Durchsatz verfügbar gemacht werden, finden Sie unter Erstellen eines Endpunkts mit bereitgestelltem Durchsatz mithilfe der REST-API.
• Informationen zum Erstellen von Dienstendpunkten, die auf Basismodelle zugreifen, die mit dem Angebot für externe Modelle bereitgestellt wurden, finden Sie unter Erstellen eines Bereitstellungsendpunkts für ein externes Modell.

Abfragen der Endpunkte für die Basismodellbereitstellung

Nachdem Sie Ihren Bereitstellungsendpunkt erstellt haben, können Sie Ihr Grundmodell abfragen. Model Serving verwendet eine einheitliche openAI-kompatible API und ein SDK zum Abfragen von Foundationmodellen. Diese einheitliche Benutzeroberfläche vereinfacht das Experimentieren und Anpassen von Foundation-Modellen für die Produktion in unterstützten Clouds und Anbietern.

Siehe Verwenden von Foundation-Modellen.