Modellek üzembe helyezése kötegelt következtetéshez és előrejelzéshez
Ez a cikk azt ismerteti, hogy a Databricks mit javasol a kötegelt és streamelési következtetéshez.
Az Azure Databricksben való valós idejű modellmegjelenítésről lásd az Azure Databricks szolgáltatásmodellt.
A ai_query használata kötegelt következtetéshez
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
A Databricks a Model Serving használatát ai_query javasolja a kötegelt következtetéshez. ai_query egy beépített Databricks SQL-függvény, amely lehetővé teszi a végpontokat kiszolgáló meglévő modell lekérdezését az SQL használatával. Ellenőrizték, hogy megbízhatóan és következetesen dolgozza fel az adathalmazokat több milliárd tokenben. Erről az AI-függvényről további információt ai_query függvényben talál.
A gyors kísérletezéshez jogkivonatonkénti fizetéses végpontokkal is használható, ai_query mivel ezek a végpontok előre konfigurálva vannak a munkaterületen.
Ha készen áll a kötegelt következtetés nagy vagy éles adatokon való futtatására, a Databricks a kiépített átviteli sebességű végpontok használatát javasolja a gyorsabb teljesítmény érdekében. A kiosztott átviteli sebesség alapmodell API-jait a kiosztott átviteli sebesség végpontjainak létrehozásához lásd.
- Lásd: Kötegelt következtetés végrehajtása ai_query használatával.
- A Batch inference és a Unity Catalog-táblák LLM-eivel való használatának megkezdéséhez tekintse meg a Batch következtetésének példáit az Foundation Model API-k által kiosztott átviteli sebesség használatával.