Nagyméretű nyelvi modellek (LLM-ek) a Databricksen

Az Azure Databricks egyszerűvé teszi a nyilvánosan elérhető nagy nyelvi modellek elérését és összeállítását.

A Databricks Runtime for Machine Tanulás olyan kódtárakat tartalmaz, mint a Face Transformers és a LangChain ölelése, amelyek lehetővé teszik a meglévő előre betanított modellek vagy más nyílt forráskódú kódtárak integrálását a munkafolyamatba. Innen az Azure Databricks platform képességeivel finomhangolhatja az LLM-eket a saját adataival a jobb tartományteljesítmény érdekében.

Az Azure Databricks emellett beépített funkciókat is kínál az SQL-felhasználók számára az OLYAN LLM-ek elérésére és kísérletezésére, mint az Azure OpenAI és az OpenAI AI-függvények használatával.

Arcformálók ölelésében

A Face Transformers databricksen való ölelésével kibővítheti természetes nyelvi feldolgozási (NLP-) kötegelt alkalmazásait, és finomhangolhatja a modelleket a nagy nyelvű modellalkalmazásokhoz.

Az Ölelő arc transformers kódtár előre telepítve van a Databricks Runtime 10.4 LTS ML-n és újabb verziókon. A népszerű NLP-modellek közül sok a GPU-hardveren működik a legjobban, így a legújabb GPU-hardverek használatával a legjobb teljesítményt érheti el, kivéve, ha kifejezetten processzorokra optimalizált modellt használ.

• Mik azok a Face Transformers ölelés?
• Arcmodellek ölelésének finomhangolása egyetlen GPU-hoz
• Modellkövetkeztetés az NLP-hez készült Arcformálók ölelése funkcióval

LangChain

A LangChain egy kísérleti MLflow-ízként érhető el, amely lehetővé teszi, hogy a LangChain ügyfelei közvetlenül az Azure Databricks-környezetből használják ki az MLflow robusztus eszközeit és kísérletkövetési képességeit.

A LangChain egy szoftveres keretrendszer, amellyel nagy nyelvi modelleket (LLM-eket) használó alkalmazásokat hozhat létre, és kombinálhatja őket külső adatokkal, hogy több betanítási környezetet biztosíthasson az LLM-eknek.

A Databricks Runtime ML a Databricks Runtime 13.1 ML-ben és újabb verziókban is megtalálható langchain .

Ismerje meg a Databricks-specifikus LangChain-integrációkat.

AI-függvények

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el.

Az AI-függvények beépített SQL-függvények, amelyek lehetővé teszik, hogy az SQL-felhasználók:

• A Databricks Foundation modell API-jaival különböző feladatokat hajthat végre a vállalat adatain.
• Külső modellek, például a GPT-4 elérése az OpenAI-ból, és kísérletezzen velük.
• Az SQL-lekérdezésekből végpontokat kiszolgáló Databricks-modell által üzemeltetett lekérdezési modellek.