Nagyméretű nyelvi modellek (LLM-ek) a Databricksen
Az Azure Databricks egyszerűvé teszi a nyilvánosan elérhető nagy nyelvi modellek elérését és összeállítását.
A Databricks Runtime for Machine Learning olyan kódtárakat tartalmaz, mint a Face Transformers és a LangChain használata, amelyek lehetővé teszik a meglévő előre betanított modellek vagy más nyílt forráskódú kódtárak integrálását a munkafolyamatba. Innen az Azure Databricks platform képességeivel finomhangolhatja az LLM-eket a saját adataival a jobb tartományteljesítmény érdekében.
Az Azure Databricks emellett beépített funkciókat is kínál az SQL-felhasználók számára az OLYAN LLM-ek elérésére és kísérletezésére, mint az Azure OpenAI és az OpenAI AI-függvények használatával.
A Mozaik AI-modell betanítása
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el. Lépjen kapcsolatba a Databricks-fiók csapatával a nyilvános előzetes verzióban való regisztrációhoz.
A Mozaik AI-modell betanítása (korábbi nevén Alapmodell-betanítás) a Databricks betanítási verem egyszerű felülete a teljes modell finomhangolásához.
A Mozaik AI-modell betanításával az alábbiakat végezheti el:
- Modell finomhangolása az egyéni adatokkal az MLflow-ba mentett ellenőrzőpontokkal. A finomhangolt modell teljes vezérlése megmarad.
- Automatikusan regisztrálja a modellt a Unity Catalogban, így egyszerű üzembe helyezést tesz lehetővé a modell kiszolgálásával.
- Egy befejezett, védett modell finomhangolása egy korábban finomhangolt modell súlyainak betöltésével.
Tekintse meg a Mozaik AI-modell betanítását az alapmodellekhez.
Arcformálók ölelésében
A Face Transformers databricksen való ölelésével kibővítheti természetes nyelvi feldolgozási (NLP-) kötegelt alkalmazásait, és finomhangolhatja a modelleket a nagy nyelvű modellalkalmazásokhoz.
Az Ölelő arc transformers kódtár előre telepítve van a Databricks Runtime 10.4 LTS ML-n és újabb verziókon. A népszerű NLP-modellek közül sok a GPU-hardveren működik a legjobban, így a legújabb GPU-hardverek használatával a legjobb teljesítményt érheti el, kivéve, ha kifejezetten processzorokra optimalizált modellt használ.
DSPy
A DSPy automatizálja a parancssori hangolást azáltal, hogy a felhasználó által meghatározott természetes nyelvi aláírásokat teljes utasításokra és néhány példaként lefordítja.
A DSPy használatára vonatkozó példákért tekintse meg a DSPy használatával készült genAI-alkalmazásokat az Azure Databricksben .
LangChain
A LangChain egy kísérleti MLflow-ízként érhető el, amely lehetővé teszi, hogy a LangChain ügyfelei közvetlenül az Azure Databricks-környezetből használják ki az MLflow robusztus eszközeit és kísérletkövetési képességeit.
A LangChain egy szoftveres keretrendszer, amellyel nagy nyelvi modelleket (LLM-eket) használó alkalmazásokat hozhat létre, és kombinálhatja őket külső adatokkal, hogy több betanítási környezetet biztosíthasson az LLM-eknek.
A Databricks Runtime ML a Databricks Runtime 13.1 ML-ben és újabb verziókban is megtalálható langchain .
Ismerje meg a Databricks-specifikus LangChain-integrációkat.
AI-függvények
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
Az AI-függvények beépített SQL-függvények, amelyek lehetővé teszik, hogy az SQL-felhasználók:
- A Databricks Foundation modell API-jaival különböző feladatokat hajthat végre a vállalat adatain.
- Külső modellek, például a GPT-4 elérése az OpenAI-ból, és kísérletezzen velük.
- Az SQL-lekérdezésekből származó végpontokat kiszolgáló Mozaik AI-modell által üzemeltetett lekérdezési modellek.