Teilen über

Unterstützte Basismodelle für die Mosaic AI-Modellbereitstellung

In diesem Artikel werden die Grundlagenmodelle beschrieben, die Sie mit Mosaic AI Model Servingbereitstellen können.

Foundation-Modelle sind große, vortrainierte neurale Netzwerke, die sowohl auf großen als auch auf breiten Datenbereichen trainiert werden. Diese Modelle sind darauf ausgelegt, allgemeine Muster in Sprache, Bildern oder anderen Datentypen zu erlernen und können mit zusätzlichen Schulungen für bestimmte Aufgaben optimiert werden. Ihre Verwendung bestimmter Foundation-Modelle unterliegt der Lizenz des Modellentwicklers und der zulässigen Verwendungsrichtlinie. Siehe anwendbare Modellentwicklerlizenzen und -bedingungen.

Model Serving bietet flexible Optionen zum Hosten und Abfragen von Foundation-Modellen basierend auf Ihren Anforderungen:

  • Pay-per-Token: Ideal für das Experimentieren und schnelle Erforschung. Mit dieser Option können Sie vorkonfigurierte Endpunkte in Ihrem Databricks-Arbeitsbereich abfragen, ohne vorab Infrastrukturverpflichtungen einzugehen.
  • KI-Funktionen (Batch-Ableitung): Eine Teilmenge von in Databricks gehosteten Modellen ist für KI-Funktionen optimiert. Mit diesen Funktionen und den unterstützten Modellen können Sie KI auf Ihre Daten anwenden und Batch-Produktionsworkloads im großen Maßstab ausführen.
  • Bereitgestellter Durchsatz: Empfohlen für Produktionsanwendungsfälle, die Leistungsgarantien erfordern. Diese Option ermöglicht die Bereitstellung fein abgestimmter Foundation-Modelle mit optimierten Dienstendpunkten.
  • Externe Modelle: Diese Option ermöglicht den Zugriff auf Foundation-Modelle, die außerhalb von Databricks gehostet werden, z. B. die von OpenAI oder Anthropic bereitgestellten. Diese Modelle können zentral in Databricks verwaltet werden, um eine optimierte Governance zu erreichen.

Auf Databricks gehostete Foundation-Modelle

Databricks hostet modernste open Foundation-Modelle wie Meta Llama. Diese Modelle werden mithilfe von Foundation Model-APIs zur Verfügung gestellt.

In der folgenden Tabelle wird zusammengefasst, welche datenbricks-gehosteten Modell- und Modellfamilien in jeder Region basierend auf dem Feature "Modellbereitstellung" unterstützt werden.

Wichtig

  • Anthropic Claude Opus 4.5 werden auf globalen Endpunkten gehostet und erfordern eine standortübergreifende Weiterleitung für jede Region.

  • Anthropic Claude 3.7 Sonnet wird am 10. März 2026 eingestellt. Siehe "Eingestellte Modelle" für das empfohlene Ersatzmodell und Anleitungen für die Migration während der Außerbetriebnahme.

  • Meta Llama 4 Maverick ist für Foundation Model APIs verfügbar, die Workloads mit Durchsatz bereitstellen in Öffentliche Vorschau.

  • Ab dem 11. Dezember 2024 ersetzt Meta-Llama-3.3-70B-Instruct die Unterstützung für Meta-Llama-3.1-70B-Instruct in den pay-per-token Endpunkten der Foundation Model APIs.

  • Meta-Llama-3.1-405B-Instruct ist das größte offen verfügbare hochmoderne Sprachmodell, das von Meta erstellt und trainiert wurde und von Azure Machine Learning mithilfe des AzureML-Modellkatalogs verteilt wird.

    • Ab dem 15. Februar 2026 wird Meta-Llama-3.1-405B-Instruct für Pay-per-Token-Workloads außer Betrieb genommen.
    • Ab dem 15. Mai 2026 wird Meta-Llama-3.1-405B-Instruct für vorkonfigurierte Durchsatzbelastungen eingestellt.
    • Siehe "Eingestellte Modelle" für das empfohlene Ersatzmodell und Anleitungen für die Migration während der Außerbetriebnahme.

  • Ab dem 15. Februar 2026 werden die modelle, die den folgenden Modellfamilien zugeordnet sind, eingestellt und sind nicht mehr für die Verwendung in einem der Featurebereiche "Model Serving" verfügbar. Empfohlene Ersatzmodelle und Anleitungen zum Migrieren während der Veraltetkeit finden Sie unter "Eingestellte Modelle ".

    • Llama 3 70B
    • Llama 3 8B
    • Llama 2 70B
    • Llama 2 13B
    • Mistral 8x7B
    • Mixtral 8x7B

  • Ab dem 19. Dezember 2025 werden die modelle, die den folgenden Modellfamilien zugeordnet sind, eingestellt und sind nicht mehr für die Verwendung in einem der Featurebereiche "Modellbereitstellung" verfügbar. Empfohlene Ersatzmodelle und Anleitungen zum Migrieren während der Veraltetkeit finden Sie unter "Eingestellte Modelle ".

    • DBRX
    • MPT 30B
    • MPT 7B
Region APIs für Foundation-Modelle, Bezahlung pro Token KI-Funktionen (Batch-Ableitung) Basismodell-APIs mit bereitgestelltem Durchsatz
australiacentral Nicht unterstützt Nicht unterstützt Nicht unterstützt
australiacentral2 Nicht unterstützt Nicht unterstützt Nicht unterstützt
australiaeast Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick (Vorschau)*
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
australiasoutheast Nicht unterstützt Nicht unterstützt Nicht unterstützt
brazilsouth Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick* (Vorschau)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 (Englisch)*
    • BGE v1.5 (Englisch)*
canadacentral Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick* (Vorschau)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 (Englisch)*
    • BGE v1.5 (Englisch)*
canadaeast Nicht unterstützt Nicht unterstützt Nicht unterstützt
centralindia Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick* (Vorschau)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 (Englisch)*
    • BGE v1.5 (Englisch)*
centralus Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
chinaeast2 Nicht unterstützt Nicht unterstützt Nicht unterstützt
chinaeast3 Nicht unterstützt Nicht unterstützt Nicht unterstützt
chinanorth2 Nicht unterstützt Nicht unterstützt Nicht unterstützt
chinanorth3 Nicht unterstützt Nicht unterstützt Nicht unterstützt
eastasia Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick* (Vorschau)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 (Englisch)*
    • BGE v1.5 (Englisch)*
eastus Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
eastus2 Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
francecentral Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
germanywestcentral Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
japaneast Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick* (Vorschau)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 (Englisch)*
    • BGE v1.5 (Englisch)*
japanwest Nicht unterstützt Nicht unterstützt Nicht unterstützt
koreacentral Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick*
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
mexicocentral Nicht unterstützt Nicht unterstützt Nicht unterstützt
northcentralus Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
northeurope Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
norwayeast Nicht unterstützt Nicht unterstützt Nicht unterstützt
qatarcentral Nicht unterstützt Nicht unterstützt Nicht unterstützt
southafricanorth Nicht unterstützt Nicht unterstützt Nicht unterstützt
southcentralus Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
southeastasia Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick* (Vorschau)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 (Englisch)*
    • BGE v1.5 (Englisch)*
southindia Nicht unterstützt Nicht unterstützt Nicht unterstützt
swedencentral Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
switzerlandnorth Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
switzerlandwest Nicht unterstützt Nicht unterstützt Nicht unterstützt
uaenorth Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick* (Vorschau)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 (Englisch)*
    • BGE v1.5 (Englisch)*
uksouth Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B*
    • OpenAI GPT OSS 20B*
    • Google Gemma 3 12B*
    • Meta Llama 4 Maverick* (Vorschau)
    • Meta Llama 3.3*
    • Meta Llama 3.2 3B*
    • Meta Llama 3.2 1B*
    • Meta Llama 3.1*
    • GTE v1.5 (Englisch)*
    • BGE v1.5 (Englisch)*
ukwest Nicht unterstützt Nicht unterstützt Nicht unterstützt
westcentralus Nicht unterstützt Nicht unterstützt Nicht unterstützt
westeurope Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
westindia Nicht unterstützt Nicht unterstützt Nicht unterstützt
westus Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
westus2 Die folgenden Modelle werden unterstützt:
 Die folgenden Modelle werden unterstützt:
  • Die folgenden Modellfamilien werden für die Echtzeit-Ableitung unterstützt:
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick (Vorschau)
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • Meta Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 (Englisch)
    • BGE v1.5 (Englisch)
westus3 Nicht unterstützt Nicht unterstützt Nicht unterstützt

* Dieses Modell wird basierend auf der GPU-Verfügbarkeit unterstützt und erfordert ein standortübergreifendes Routing.

Access Foundation-Modelle, die außerhalb von Databricks gehostet werden

Basismodelle, die von Large Language Model (LLM)-Anbietern wie OpenAI und Anthropic erstellt wurden, sind unter Verwendung von externen Modellen auch in Databricks zugänglich. Diese Modelle werden außerhalb von Databricks gehostet, und Sie können einen Endpunkt erstellen, um sie abzufragen. Diese Endpunkte können zentral von Azure Databricks gesteuert werden, wodurch die Verwendung und Verwaltung verschiedener LLM-Anbieter innerhalb Ihrer Organisation optimiert wird.

Die folgende Tabelle enthält eine nicht vollständige Liste der unterstützten Modelle und die entsprechenden Endpunkttypen. Sie können die aufgelisteten Modellzuordnungen verwenden, um Sie beim Konfigurieren eines Endpunkts für alle neu veröffentlichten Modelltypen zu unterstützen, sobald sie für einen bestimmten Anbieter verfügbar sind. Kunden sind dafür verantwortlich, die Einhaltung anwendbarer Modelllizenzen sicherzustellen.

Hinweis

Mit der schnellen Entwicklung von LLMs gibt es keine Garantie dafür, dass diese Liste jederzeit auf dem neuesten Stand ist. Neue Modellversionen desselben Anbieters werden in der Regel unterstützt, auch wenn sie nicht in der Liste enthalten sind.

Modellanbieter llm/v1/completions llm/v1/chat llm/v1/embeddings
OpenAI**
  • gpt-3.5-turbo-instruct
  • Babbage-002
  • davinci-002
  • O1
  • o1-mini
  • o1-mini-2024-09-12
  • gpt-3.5-turbo
  • gpt-4
  • gpt-4-turbo
  • gpt-4-turbo-2024-04
  • gpt-4o
  • gpt-4o-2024-05-13
  • gpt-4o-mini
  • text-embedding-ada-002
  • text-embedding-3-large
  • text-embedding-3-small
Azure OpenAI**
  • text-davinci-003
  • gpt-35-turbo-instruct
  • O1
  • o1-mini
  • gpt-35-turbo
  • gpt-35-turbo-16k
  • gpt-4
  • gpt-4-turbo
  • gpt-4-32k
  • gpt-4o
  • gpt-4o-mini
  • text-embedding-ada-002
  • text-embedding-3-large
  • text-embedding-3-small
Anthropic
  • claude-1
  • claude-1.3-100k
  • claude-2
  • claude-2.1
  • claude-2.0
  • claude-instant-1.2
  • claude-3-5-sonnet-latest
  • claude-3-5-haiku-aktuell
  • claude-3-5-opus-latest
  • claude-3-5-sonnet-20241022
  • claude-3-5-haiku-20241022
  • claude-3-5-sonnet-20240620
  • claude-3-haiku-20240307
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
Kohärenz**
  • command
  • Kommandolicht
  • command-r7b-12-2024
  • command-r-plus-08-2024
  • command-r-08-2024
  • command-r-plus
  • command-r
  • command
  • command-light-nightly
  • Kommandolicht
  • command-nightly
  • embed-english-v2.0
  • embed-multilingual-v2.0
  • embed-english-light-v2.0
  • embed-english-v3.0
  • embed-english-light-v3.0
  • embed-multilingual-v3.0
  • embed-multilingual-light-v3.0
Mosaic AI-Modellbereitstellung Databricks-Bereitstellungsendpunkt Databricks-Bereitstellungsendpunkt Databricks-Bereitstellungsendpunkt
Amazon Bedrock Anthropisch:
  • claude-instant-v1
  • claude-v2

Zusammenhalten
  • command-text-v14
  • command-light-text-v14

AI21 Labs:
  • j2-grande-instruct
  • j2-jumbo-instruct
  • j2-mid
  • j2-mid-v1
  • j2-ultra
  • j2-ultra-v1
 Anthropisch:
  • claude-3-5-sonnet-20241022-v2:0
  • claude-3-5-haiku-20241022-v1:0
  • claude-3-opus-20240229-v1:0
  • claude-3-sonnet-20240229-v1:0
  • claude-3-5-sonnet-20240620-v1:0

Zusammenhalten
  • command-r-plus-v1:0
  • command-r-v1:0

Amazonas:
  • nova-lite-v1:0
  • nova-micro-v1:0
  • nova-pro-v1:0
 Amazonas:
  • titan-embed-text-v2:0
  • titan-embed-text-v1
  • titan-embed-g1-text-02

Zusammenhalten
  • embed-english-v3
  • embed-multilingual-v3
AI21 Labs†:
  • j2-mid
  • j2-light
  • j2-ultra
Google Cloud Vertex AI text-bison
  • Chat-Bison
  • Gemini-Pro
  • Gemini-1.0-pro
  • Gemini-1.5-Pro
  • gemini-1.5-flash
  • Gemini-2.0-Flash
  • Texteinbettung-004
  • Texteinbettung-005
  • textembedding-gecko

** Der Modellanbieter unterstützt optimierte Vervollständigungs- und Chatmodelle. Um ein fein abgestimmtes Modell abzufragen, füllen Sie das name Feld der konfiguration external model mit dem Namen Ihres fein abgestimmten Modells auf.

† Der Modellanbieter unterstützt benutzerdefinierte Vervollständigungsmodelle.

Erstellen eines Foundationmodells, das Endpunkte bedient

Um Foundation-Modelle in Ihren KI-Anwendungen abzufragen und zu verwenden, müssen Sie zuerst einen Modell-Serving-Endpunkt erstellen. Model Serving verwendet eine einheitliche API und Benutzeroberfläche zum Erstellen und Aktualisieren des Foundation-Modells, das Endpunkte bedient.

Abfragen der Endpunkte für die Basismodellbereitstellung

Nachdem Sie Ihren Bereitstellungsendpunkt erstellt haben, können Sie Ihr Grundmodell abfragen. Model Serving verwendet eine einheitliche openAI-kompatible API und ein SDK zum Abfragen von Foundationmodellen. Diese einheitliche Benutzeroberfläche vereinfacht das Experimentieren und Anpassen von Foundation-Modellen für die Produktion in unterstützten Clouds und Anbietern.

Siehe Verwenden von Foundation-Modellen.

  • Last updated on