Bereitstellen von modellbasierte Batchrückschlüssen und -vorhersagen
In diesem Artikel wird beschrieben, was Databricks für batch- und Streaming-Ableitung empfiehlt.
Ein Echtzeitmodell für Azure Databricks finden Sie unter Modell, das mit Azure Databricks bedient wird.
Verwenden von ai_query für batchinference
Wichtig
Dieses Feature befindet sich in der Public Preview.
Databricks empfiehlt die Verwendung ai_query mit Model Serving für batchinference. ai_query ist eine integrierte Databricks SQL-Funktion, mit der Sie vorhandene Modellbereitstellungsendpunkte mithilfe von SQL abfragen können. Es wurde überprüft, ob Datasets im Bereich von Milliarden von Token zuverlässig und konsistent verarbeitet werden. Weitere Informationen zu dieser KI-Funktion finden Sie unter ai_query Funktion .
Für schnelle Experimente können Sie mit Endpunkten für Pay-per-Token verwendet werden, ai_query da diese Endpunkte in Ihrem Arbeitsbereich vorkonfiguriert sind.
Wenn Sie bereit sind, Batchableitungen für große oder Produktionsdaten auszuführen, empfiehlt Databricks die Verwendung von bereitgestellten Durchsatzendpunkten für eine schnellere Leistung. Siehe Bereitgestellter Durchsatz Foundation Model-APIs zum Erstellen eines bereitgestellten Durchsatzendpunkts.
- Weitere Informationen finden Sie unter "Ausführen der Batch-Ableitung mithilfe von ai_query".
- Erste Schritte mit batchinference with LLMs on Unity Catalog tables, see the notebook examples in Batch inference using Foundation Model APIs provisioned throughput.