LLM-eket és ügynököket kérdezhet le a Azure Databricks

Azure Databricks több módot is kínál a nagy nyelvi modellek (LLM-ek), az alapmodellek és az üzembe helyezett ügynökök lekérdezésére. A munkafolyamattól függően válasszon interaktív felhasználói felületet, SQL-t, REST API-kat vagy ügyfélkódtárakat.

AI-játszótér

A AI Playground egy kód nélküli csevegési környezet a Azure Databricks munkaterületen az LLM-ek kéréséhez és összehasonlításához. Használja arra, hogy promptokkal kísérletezzen, finomhangolja az olyan paramétereket, mint a hőmérséklet és a maximális tokenszám, valamint egymás mellett készítse el az eszközhívó ügynökök és a kérdés-válasz botok prototípusait, mielőtt rátérne a kódírásra.

Alapmodellek

Az Azure Databricks natívan szolgálja az alapmodelleket modell API-ként (model szolgáltatásokként) a Unity AI Gateway-en keresztül. Minden fiókfelhasználó behívhatja a token-alapú fizetési modelleket a system.ai sémában beállítás nélkül. Válaszd ki azokat a modell API-kat, amelyek megfelelnek az igényeidnek:

• Rendszer által biztosított modell API-k a következőkben system.aitalálhatók: Modellek, amelyeket natívan az Azure Databricks szolgál, készen állnak lekérdezésre az OpenAI-kompatibilis SDK-val, natív szolgáltatói API-k, vagy ai_query. Lásd: Lekérdezési modell API-k (modell szolgáltatások).
• Egyedi modell API-k: Hozz létre sajátokat , amikor szükséged van az alapértelmezeteken túli modellekre, vagy a terhelés elosztásához és tartalék megoldások beállításához.

Lekérdezési ügynökök

Az ügynök létrehozása és üzembe helyezése után kérdezze le az ügynököt az alkalmazásból. Az ügynökök a Databricks-alkalmazásokban vagy a modellkiszolgáló végpontokon üzemeltethetők. Azure Databricks három lekérdezési módszert támogat:

• Databricks OpenAI kliens: Új alkalmazásokhoz ajánlott, natív streaminggel és teljes funkciótámogatással.
• OpenAI-kompatibilis REST API: Nyelvtől független, bármely platformon működik, amely már használja az OpenAI API-t.
• ai_query: Lekérdezési régi ügynökök, amelyek SQL Model Serving végpontokon találhatók.

Adatok bővítése az AI Functions használatával

AI Functions olyan beépített SQL-függvények, amelyek LLM-eket és más modelleket alkalmaznak a Azure Databricks tárolt adatokra. Futtassa ezeket a Databricks SQL-ből, notebookokból, Lakeflow-adatfolyamatokból vagy munkafolyamatokból ügyfélszolgálati jegyek osztályozására, entitások dokumentumokból történő kinyerésére, tartalom összefoglalására vagy szövegek nagy mennyiségű, kötegelt fordítására.

Két függvénystílus közül választhat:

• Task-specifikus függvények például ai_classify, ai_extract és ai_parse_document egyetlen feladatra vannak optimalizálva, és Azure Databricks felügyelt, kutatásalapú rendszereket használnak.
• ai_query az általános célú függvény. Hozz létre saját promptot, és válassz ki bármelyik támogatott alapozó modellt. Lásd: Használat ai_query.

A végpontok közötti példaért lásd: Ügyfélértékelések elemzése az AI Functions használatával.