Not
Åtkomst till denna sida kräver auktorisation. Du kan prova att logga in eller byta katalog.
Åtkomst till denna sida kräver auktorisation. Du kan prova att byta katalog.
Den här artikeln beskriver de grundläggande modeller som du kan använda med Mosaic AI Model Serving.
Grundmodeller är stora, förtränade neurala nätverk som tränas på både stora och breda dataintervall. Dessa modeller är utformade för att lära sig allmänna mönster i språk, bilder eller andra datatyper och kan finjusteras för specifika uppgifter med ytterligare utbildning. Din användning av vissa grundmodeller omfattas av modellutvecklarens licens och acceptabla användningsprincip. Se Tillämpliga licenser och villkor för modellutvecklare.
Modellhantering erbjuder flexibla alternativ för att hantera och ställa frågor till grundmodeller baserat på dina behov.
- Betala per token: Perfekt för experimentering och snabb utforskning. Med det här alternativet kan du köra frågor mot förkonfigurerade slutpunkter på din Databricks-arbetsyta utan åtaganden om infrastruktur i förväg.
- AI Functions (batch-slutsatsdragning): En delmängd av Databricks-värdbaserade modeller är optimerade för AI Functions. Du kan tillämpa AI på dina data och köra produktionsarbetsbelastningar för batch-inferens i stor skala med hjälp av dessa funktioner och deras stödda modeller.
- Provisionerat genomflöde: Rekommenderas för användningar i produktion som kräver prestandagarantier. Med det här alternativet kan du distribuera finjusterade grundmodeller med optimerade serverslutpunkter.
- Externa modeller: Det här alternativet ger åtkomst till grundläggande modeller som finns utanför Databricks, till exempel de som tillhandahålls av OpenAI eller Anthropic. Dessa modeller kan hanteras centralt i Databricks för effektiv styrning.
Foundation-modeller som finns på Databricks
Databricks är värd för toppmoderna öppna grundmodeller, till exempel Meta Llama. Dessa modeller görs tillgängliga genom Foundation Model API:er.
I följande tabell sammanfattas modeller som är värdbaserade på Databricks och modellfamiljer som stöds i varje region baserat på modelltjänsten.
Viktig
Antropiska Claude Opus 4.5 finns på globala slutpunkter och kräver att routning mellan geografiska områden aktiveras för varje region.
Antropiska Claude 3.7 Sonnet går i pension den 10 mars 2026. Se Tillbakadragna modeller för den rekommenderade ersättningsmodellen och vägledning om hur du migrerar under utfasningsperioden.
Meta Llama 4 Maverick är tillgängligt för Foundation Model API:er med förberedd datagenomströmning för arbetsbelastningar i offentlig förhandsgranskning.
Från och med den 11 december 2024 ersätter Meta-Llama-3.3-70B-Instruct stödet för Meta-Llama-3.1-70B-Instruct i Foundation Model API:ers betalning per token-slutpunkter.
Meta-Llama-3.1-405B-Instruct är den största öppet tillgängliga, toppmoderna stora språkmodellen som skapats och tränats av Meta och distribuerats av Azure Machine Learning med hjälp av AzureML-modellkatalogen.
- Från och med den 15 februari 2026 kommer Meta-Llama-3.1-405B-Instruct att dras tillbaka för belastningar med betalning per token.
- Från och med 15 maj 2026 fasas Meta-Llama-3.1-405B-Instruct ut för specifika genomströmningsarbetsbelastningar.
- Se Tillbakadragna modeller för den rekommenderade ersättningsmodellen och vägledning om hur du migrerar under utfasningsperioden.
Från och med den 15 februari 2026 dras de modeller som är associerade med följande modellfamiljer tillbaka och är inte längre tillgängliga för användning i något av funktionsområdena modellservering. Se Tillbakadragna modeller för rekommenderade ersättningsmodeller och vägledning för hur du migrerar under utfasningen.
- Llama 3 70B
- Llama 3 8B
- Llama 2 70B
- Llama 2 13B
- Mistral 8x7B
- Mixtral 8x7B
Från och med den 19 december 2025 dras de modeller som är associerade med följande modellfamiljer tillbaka och är inte längre tillgängliga för användning i något av funktionsområdena Modellservering. Se Tillbakadragna modeller för rekommenderade ersättningsmodeller och vägledning för hur du migrerar under utfasningen.
- DBRX
- MPT 30B
- MPT 7B
* Den här modellen stöds baserat på GPU-tillgänglighet och kräver att routning mellan geografiska områden är aktiverad.
Access Foundation-modeller som finns utanför Databricks
Grundmodeller som skapats av LLM-leverantörer, till exempel OpenAI och Anthropic, är också tillgängliga på Databricks med hjälp av externa modeller. Dessa modeller finns utanför Databricks och du kan skapa en slutpunkt för att fråga dem. Dessa slutpunkter kan styras centralt från Azure Databricks, vilket effektiviserar användningen och hanteringen av olika LLM-leverantörer i din organisation.
I följande tabell visas en icke-fullständig lista över modeller som stöds och motsvarande slutpunktstyper. Du kan använda de listade modellassociationerna för att hjälpa dig att konfigurera en slutpunkt för alla nyligen släppta modelltyper när de blir tillgängliga med en viss leverantör. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.
Obs
Med den snabba utvecklingen av LLM:er finns det ingen garanti för att listan är uppdaterad hela tiden. Nya modellversioner från samma provider stöds vanligtvis även om de inte finns med i listan.
| Modellprovider | llm/v1/completions | llm/v1/chat | llm/v1/inbäddningar |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Människoorienterad |
|
|
|
| Cohere** |
|
|
|
| Mosaiks AI-modelltjänstgöring | Databricks-serverslutpunkt | Databricks-serverslutpunkt | Databricks-serverslutpunkt |
| ** Amazon Bedrock | Antropisk:
Hålla samman
AI21 Labs:
|
Antropisk:
Hålla samman
Amason:
|
Amason:
Hålla samman
|
AI21 Labs† |
|
||
| Google Cloud Vertex AI | text-bison |
|
|
** Modellleverantören stöder anpassade slutförande- och chattmodeller. Om du vill köra frågor mot en finjusterad modell fyller du i fältet name i external model-konfigurationen med namnet på din finjusterade modell.
† Modellprovidern stöder anpassade slutförandemodeller.
Skapa basmodell som betjänar slutpunkter
Om du vill köra frågor mot och använda grundmodeller i dina AI-program måste du först skapa en modell som betjänar slutpunkten. Modellservern använder ett enhetligt API och användargränssnitt för att skapa och uppdatera basmodell som betjänar slutpunkter.
- För att skapa en slutpunkt som tillhandahåller finjusterade varianter av grundläggande modeller som görs tillgängliga genom Foundation Model API:er med tilldelad genomströmning, se Skapa din slutpunkt för tilldelad genomströmning med hjälp av REST API.
- Information om hur du skapar serverslutpunkter som har åtkomst till grundläggande modeller som görs tillgängliga med hjälp av erbjudandet Externa modeller finns i Skapa en extern modell som betjänar slutpunkten.
Frågegrundsmodell som betjänar slutpunkter
När du har skapat din tjänsteslutpunkt kan du fråga din grundmodell. Modellservern använder ett enhetligt OpenAI-kompatibelt API och SDK för att köra frågor mot grundmodeller. Den här enhetliga upplevelsen förenklar hur du experimenterar med och anpassar grundmodeller för produktion i moln och leverantörer som stöds.