Distribuera modeller för batchinferens och förutsägelse

I den här artikeln beskrivs vad Databricks rekommenderar för batchinferens.

Information om realtidsmodell som betjänar Azure Databricks finns i Distribuera modeller med hjälp av Mosaic AI Model Serving.

AI Functions för batchslutledning

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

AI Functions är inbyggda funktioner som du kan använda för att tillämpa AI på dina data som lagras på Databricks. Du kan köra batchinferens genom att använda uppgiftsspecifika AI-funktioner eller den allmänna funktionsanvändningen, ai_query.

Följande är ett exempel på batchinferens med hjälp av den uppgiftsspecifika AI-funktionen . ai_translate Om du vill utföra batchinferens på en hel tabell kan du ta bort limit 500 från frågan.

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

Du kan också använda den allmänna funktionsfunktionen ai_query för att utföra batchinferens.

• Se vilka modelltyper och associerade modeller som ai_query stöder.
• Se även distribuera batchinference-pipelines.

Batch-slutsatsdragning med hjälp av en Spark DataFrame

Se Utföra batchinferens med hjälp av en Spark DataFrame för en stegvis guide genom arbetsflödet för modellinferens med Spark.

Exempel på slutsatsdragning av djupinlärningsmodeller finns i följande artiklar:

• Modellinferens med TensorFlow och TensorRT
• Modellinferens med PyTorch