Share via

Batch-slutsatsdragning med foundation model-API:er

  • Artikel

Den här artikeln innehåller exempel på notebook-filer som utför batchinferens på en etablerad dataflödesslutpunkt med hjälp av Foundation Model-API:er. Du behöver båda notebook-filerna för att uppnå batch-slutsatsdragning med hjälp av FOUNDATION Model-API:er.

Exemplen visar batchinferens med hjälp av DBRX Instruct-modellen för chattuppgifter.

Krav

  • En arbetsyta i en FOUNDATION Model-API:er som stöds
  • Databricks Runtime 14.0 ML eller senare
  • Anteckningsboken provisioned-throughput-batch-inference och chat-batch-inference-api notebook-filen måste finnas i samma katalog på arbetsytan

Konfigurera indatatabell, batchinferens

Följande notebook-fil utför följande uppgifter med hjälp av Python:

  • Läser data från indatatabellen och indatakolumnen
  • Konstruerar begäranden och skickar dem till en FOUNDATION Model-API:er-slutpunkt
  • Bevarar indatarader tillsammans med svarsdata till utdatatabellen

Batchinferensaktiviteter för chattmodell med hjälp av Python Notebook

Hämta notebook-fil

Följande notebook-fil utför samma uppgifter som notebook-filen ovan, men använder Spark:

  • Läser data från indatatabellen och indatakolumnen
  • Konstruerar begäranden och skickar dem till en FOUNDATION Model-API:er-slutpunkt
  • Bevarar indataraden tillsammans med svarsdata till utdatatabellen

Batchinferensuppgifter för chattmodeller med hjälp av PySpark Pandas UDF-notebook-fil

Hämta notebook-fil

Skapa etablerad dataflödesslutpunkt

Om du vill använda spark-notebook-filen i stället för python-notebook-filen bör du uppdatera kommandot som anropar Python-notebook-filen.

  • Skapar en etablerad dataflödesserverslutpunkt
  • Övervaka slutpunkten tills den uppnår ett klart tillstånd
  • chat-batch-inference-api Anropar notebook-filen för att köra batchinferensaktiviteter samtidigt mot den förberedda slutpunkten. Om du föredrar att använda Spark ändrar du den här referensen så att den anropar notebook-filen chat-batch-inference-udf .
  • Tar bort den etablerade dataflödestjänstens slutpunkt när batchinferensen har slutförts

Utföra batchinferens på en etablerad dataflödesslutpunktsanteckningsbok

Hämta notebook-fil

Ytterligare resurser