Distribuera generativa AI-grundmodeller

Den här artikeln beskriver stöd för att betjäna och köra frågor mot generativa AI- och LLM-grundmodeller med databricks-modellservering.

Viktigt!

En självstudie om hur du kör frågor mot en grundmodell i Databricks finns i Komma igång med frågor mot LLM:er på Databricks.

Vad är grundmodeller?

Grundmodeller är stora ML-modeller som är förtränade med avsikten att de ska finjusteras för mer specifika språktolknings- och generationsuppgifter. Dessa modeller används för att urskilja mönster i indata för generativa AI- och LLM-arbetsbelastningar.

Databricks Model Serving stöder servering och frågekörning av grundmodeller med hjälp av följande funktioner:

• API:er för grundmodell. Den här funktionen gör toppmoderna öppna modeller tillgängliga för din modell som betjänar slutpunkten. Dessa modeller är utvalda grundmodellarkitekturer som stöder optimerad slutsatsdragning. Basmodeller som DBRX Instruct, Llama-2-70B-chat, BGE-Large och Mistral-7B är tillgängliga för omedelbar användning med prissättning för betala per token och arbetsbelastningar som kräver prestandagarantier och finjusterade modellvarianter kan distribueras med etablerat dataflöde.
• Externa modeller. Det här är modeller som finns utanför Databricks. Slutpunkter som hanterar externa modeller kan styras centralt och kunderna kan fastställa hastighetsbegränsningar och åtkomstkontroll för dem. Exempel är grundmodeller som OpenAI:s GPT-4, Anthropics Claude och andra.

Krav

Om du vill komma åt och köra frågor mot grundmodeller med Databricks Model Serving granskar du kraven för varje funktion.

• Api-krav för Foundation Model.
• Krav för externa modeller.

Skapa en basmodell som betjänar slutpunkten

Se Skapa basmodell som betjänar slutpunkter

Fråga en grundmodell

• Se Frågegrundsmodeller
• Batch-slutsatsdragning med foundation model-API:er

Ytterligare resurser

• Kom igång med frågor mot LLM:er på Databricks
• Skapa basmodell som betjänar slutpunkter
• Frågegrundsmodeller