Freigeben über

Batchrückschlüsse mithilfe von Basismodell-APIs

  • Artikel

Dieser Artikel enthält Beispielnotebooks, die mithilfe von Basismodell-APIs Batchrückschlüsse für einen Endpunkt für bereitgestellten Durchsatz durchführen. Sie benötigen beide Notebooks, um mithilfe der Basismodell-APIs Batchrückschlüsse durchführen zu können.

Die Beispiele veranschaulichen Batchrückschlüsse mithilfe des DBRX Instruct-Modells für Chataufgaben.

Anforderungen

  • Arbeitsbereich in einer Region, die Basismodell-APIs unterstützt
  • Databricks Runtime 14.0 ML oder höher
  • Die Notebooks provisioned-throughput-batch-inference und chat-batch-inference-api müssen sich in demselben Verzeichnis im Arbeitsbereich befinden.

Einrichten der Eingabetabelle bzw. Batchrückschlüsse

Das folgende Notebook führt die folgenden Aufgaben mithilfe von Python aus:

  • Lesen von Daten aus der Eingabetabelle und Eingabespalte
  • Erstellen der Anforderungen und Senden dieser Anforderungen an den Endpunkt von Basismodell-APIs
  • Speichern von Eingabezeilen zusammen mit den Antwortdaten in der Ausgabetabelle

Chatmodell-Batchrückschlussaufgaben mithilfe eines Python-Notebooks

Notebook abrufen

Das folgende Notebook führt dieselben Aufgaben wie das oben genannte Notebook aus, verwendet jedoch Spark:

  • Lesen von Daten aus der Eingabetabelle und Eingabespalte
  • Erstellen der Anforderungen und Senden dieser Anforderungen an den Endpunkt von Basismodell-APIs
  • Speichern der Eingabezeile zusammen mit den Antwortdaten in der Ausgabetabelle

Chatmodell-Batchrückschlussaufgaben mithilfe eines PySpark-Notebooks für benutzerdefinierte Pandas-Funktionen

Notebook abrufen

Erstellen des Endpunkts für bereitgestellten Durchsatz

Wenn Sie das Spark-Notebook anstelle des Python-Notebooks verwenden möchten, aktualisieren Sie unbedingt den Befehl, der das Python-Notebook aufruft.

  • Erstellen eines Bereitstellungsendpunkts für bereitgestellten Durchsatz
  • Überwachen des Endpunkts, bis dieser den einsatzbereiten Zustand erreicht
  • Aufrufen des chat-batch-inference-api-Notebooks, um Batchrückschlussaufgaben gleichzeitig für den vorbereiteten Endpunkt auszuführen. Wenn Sie Spark verwenden möchten, ändern Sie diesen Verweis, um das chat-batch-inference-udf-Notebook aufzurufen.
  • Löschen des Bereitstellungsendpunkts für bereitgestellten Durchsatz nach Abschluss des Batchrückschlusses

Durchführen von Batchrückschlüssen für ein Endpunktnotebook für bereitgestellten Durchsatz

Notebook abrufen

Zusätzliche Ressourcen