LLM-eket és ügynököket kérdezhet le a Azure Databricks

Azure Databricks több módot is kínál a nagy nyelvi modellek (LLM-ek), az alapmodellek és az üzembe helyezett ügynökök lekérdezésére. A munkafolyamattól függően válasszon interaktív felhasználói felületet, SQL-t, REST API-kat vagy ügyfélkódtárakat.

AI-játszótér

A AI Playground egy kód nélküli csevegési környezet a Azure Databricks munkaterületen az LLM-ek kéréséhez és összehasonlításához. Használja arra, hogy promptokkal kísérletezzen, finomhangolja az olyan paramétereket, mint a hőmérséklet és a maximális tokenszám, valamint egymás mellett készítse el az eszközhívó ügynökök és a kérdés-válasz botok prototípusait, mielőtt rátérne a kódírásra.

Alapmodellek

Az Azure Databricks natívan szolgálja az alapmodelleket modell szolgáltatásokként a Unity Gateway-en keresztül. Minden fiókfelhasználó behívhatja a token-alapú fizetési modelleket a system.ai sémában beállítás nélkül. Válaszd ki azokat a modelleket, amelyek megfelelnek az igényeidnek:

• A(z) system.ai rendszer által biztosított modellszolgáltatásai: Az Azure Databricks által natívan kiszolgált modellek lekérdezhetők az OpenAI-kompatibilis SDK-val, natív szolgáltatói API-kkal vagy a(z) ai_query használatával. Lásd : Lekérdezés alapozó és beágyazási modellek.
• Egyedi modellszolgáltatások: Hozz létre sajátokat , amikor szükséged van modellekre az alapértelmezeteken túl, vagy a terhelés elosztásához és tartalék megoldások beállításához.

Lekérdezési ügynökök

Az ügynök létrehozása és üzembe helyezése után kérdezze le az ügynököt az alkalmazásból. Az ügynökök a Databricks-alkalmazásokban vagy a modellkiszolgáló végpontokon üzemeltethetők. Azure Databricks három lekérdezési módszert támogat:

• Databricks OpenAI kliens: Új alkalmazásokhoz ajánlott, natív streaminggel és teljes funkciótámogatással.
• OpenAI-kompatibilis REST API: Nyelvtől független, bármely platformon működik, amely már használja az OpenAI API-t.
• ai_query: A Model Serving-végpontokon futó régi ügynökök lekérdezése SQL-ből.

Adatok bővítése az AI Functions használatával

AI Functions olyan beépített SQL-függvények, amelyek LLM-eket és más modelleket alkalmaznak a Azure Databricks tárolt adatokra. Futtassa ezeket a Databricks SQL-ből, notebookokból, Lakeflow-adatfolyamatokból vagy munkafolyamatokból ügyfélszolgálati jegyek osztályozására, entitások dokumentumokból történő kinyerésére, tartalom összefoglalására vagy szövegek nagy mennyiségű, kötegelt fordítására.

Két függvénystílus közül választhat:

• Task-specifikus függvények például ai_classify, ai_extract és ai_parse_document egyetlen feladatra vannak optimalizálva, és Azure Databricks felügyelt, kutatásalapú rendszereket használnak.
• ai_query az általános célú függvény. Hozz létre saját promptot, és válassz ki bármelyik támogatott alapozó modellt. Lásd: Használat ai_query.

A végpontok közötti példaért lásd: Ügyfélértékelések elemzése az AI Functions használatával.