Distribuera modeller för batchinferens och förutsägelse
Den här artikeln beskriver vad Databricks rekommenderar för batch- och strömningsinferens.
Information om realtidsmodell som betjänar Azure Databricks finns i Modellservering med Azure Databricks.
Använda ai_query för batchinferens
Viktigt!
Den här funktionen finns som allmänt tillgänglig förhandsversion.
Databricks rekommenderar att du använder ai_query med Modellservering för batchinferens. ai_query är en inbyggd Databricks SQL-funktion som gör att du kan köra frågor mot befintliga modellserverslutpunkter med SQL. Det har verifierats att tillförlitligt och konsekvent bearbeta datauppsättningar i intervallet med miljarder token. Mer information om den här AI-funktionen finns i ai_query funktion .
För snabbexperimentering ai_query kan användas med pay-per-token-slutpunkter eftersom dessa slutpunkter är förkonfigurerade på din arbetsyta.
När du är redo att köra batchinferens på stora data eller produktionsdata rekommenderar Databricks att du använder etablerade dataflödesslutpunkter för snabbare prestanda. Se API:er för etablering av dataflödesmodell för att skapa en etablerad dataflödesslutpunkt.
- Se Utföra batchinferens med hjälp av ai_query.
- Om du vill komma igång med batch-slutsatsdragning med LLM:er i Unity Catalog-tabeller kan du läsa notebook-exemplen i Batch-slutsatsdragning med foundation model-API:er som etablerats genom dataflöde.