Alapmodell finomhangolása
Fontos
Ez a funkció a következő régiókban érhető el nyilvános előzetes verzióban : centralus, eastus, eastus2, northcentralusés westus.
Az alapmodell finomhangolásával (amely most a Mozaik AI-modell betanításának része) saját adataival testre szabhat egy alapmodellt az adott alkalmazás teljesítményének optimalizálásához. Az alapmodellek teljes paraméteres finomhangolásával vagy folyamatos betanításával jelentősen kevesebb adattal, idővel és számítási erőforrással taníthatja be a saját modelljét, mint egy modell alapból történő betanítása.
A Databricksben minden egy platformon található: a saját, betanításhoz használandó adatok, a betanítandó alapmodell, az MLflow-ba mentett ellenőrzőpontok, valamint a Unity Katalógusban regisztrált modell, és készen áll az üzembe helyezésre.
Lásd az oktatóanyagot: Alapmodell finomhangolási futtatás létrehozása és üzembe helyezése, amelyből megtudhatja, hogyan hozhat létre futtatásokat az Foundation Model Fine-tuning API használatával, majd áttekintheti az eredményeket, és üzembe helyezheti a modellt a Databricks felhasználói felületével és a Mozaik AI-modellkiszolgálóval.
Mi az alapmodell finomhangolása?
Az alapmodell finomhangolásával a Databricks API-val vagy a felhasználói felülettel finomhangolhatja vagy tovább taníthatja az alapmodellt.
Az alapmodell finomhangolásával az alábbiakat végezheti el:
- Modell betanítása az egyéni adatokkal az MLflow-ba mentett ellenőrzőpontokkal. A betanított modell teljes vezérlése megmarad.
- Automatikusan regisztrálja a modellt a Unity Catalogban, így egyszerű üzembe helyezést tesz lehetővé a modell kiszolgálásával.
- Egy korábban betanított modell súlyainak betöltésével tovább tanítható egy befejezett, saját fejlesztésű modell.
A Databricks azt javasolja, hogy próbálja ki az Alapmodell finomhangolását, ha:
- Kipróbálta a néhány lövéses tanulást, és jobb eredményeket szeretne.
- Már kipróbálta a gyors tervezést egy meglévő modellen, és jobb eredményeket szeretne.
- Teljes körű tulajdonjogot szeretne kapni egy egyéni modellben az adatvédelem érdekében.
- Késés-érzékeny vagy költségérzékeny, és egy kisebb, olcsóbb modellt szeretne használni a feladatspecifikus adatokkal.
Támogatott tevékenységek
Az alapmodell finomhangolása a következő használati eseteket támogatja:
- Csevegés befejezése: Ajánlott feladat. A modell betanítása csevegőnaplókba egy felhasználó és egy AI-asszisztens között. Ez a formátum használható a tényleges csevegési naplókhoz, valamint a kérdések megválaszolásához és a beszélgetési szövegekhez is. A szöveg automatikusan az adott modellnek megfelelő formátumba lesz formázva. A csábítással kapcsolatos további információkért tekintse meg a HuggingFace dokumentációjában található példacsevegési sablonokat .
- Utasítások finomhangolása: A modellt strukturált kérdés-válasz adatokon kell betanítani. Ezzel a funkcióval a modellt egy új tevékenységhez igazíthatja, módosíthatja a válaszstílusát, vagy utasításokat követhet. Ez a feladat nem alkalmazza automatikusan az adatok formázását, és csak akkor ajánlott, ha egyéni adatformázásra van szükség.
- Folyamatos előzetes betanítás: A modell betanítása további szöveges adatokkal. Ezzel új ismereteket adhat hozzá egy modellhez, vagy egy modellt egy adott tartományra összpontosíthat.
Követelmények
- Databricks-munkaterület az alábbi Azure-régiók egyikében:
centralus,eastus, ,eastus2northcentralusvagywestus. - Alapmodell – Az API-k finomhangolása a következő használatával
pip install databricks_genai: . - Databricks Runtime 12.2 LTS ML vagy újabb, ha az adatok Delta-táblában találhatóak.
A szükséges bemeneti adatformátumokkal kapcsolatos információkért tekintse meg az Alapmodell adatainak előkészítése című témakört .
Ajánlott adatméret modellbetanításhoz
A Databricks azt javasolja, hogy először egy-négy korszak használatával tanítsunk be. A finomhangolt modell kiértékelése után, ha azt szeretné, hogy a modell kimenete jobban hasonlítson a betanítási adatokhoz, egy-két újabb korszak használatával folytathatja a betanítást.
Ha a modell teljesítménye jelentősen csökken a finomhangolási adatokban nem szereplő feladatok esetében, vagy ha úgy tűnik, hogy a modell pontos másolatokat ad ki a finomhangolási adatokról, a Databricks a betanítási időszak számának csökkentését javasolja.
Az utasítások finomhangolásához és a csevegés befejezéséhez elegendő tokent kell biztosítania a modell teljes kontextushosszának lefedéséhez legalább egyszer. Például 131 072 token a meta-llama/Llama-3.2-3B-Instruct-hoz.
A folyamatos előzetes betanításhoz a Databricks legalább 1,5 millió tokent javasol, hogy jobb minőségű modellt kapjon, amely megtanulja az egyéni adatokat.
Támogatott modellek
Az alábbi táblázat a támogatott modelleket sorolja fel. Lásd a számú modelllicencet és a számú elfogadható használati szabályzatot a vonatkozó információkért.
A legkorszerűbb modellek támogatásának folytatásához a Databricks frissítheti a támogatott modelleket, vagy kivonhatja a régebbi modelleket. Lásd: A kivont modellek.
| Modell | A környezet maximális hossza | Jegyzetek |
|---|---|---|
meta-llama/Llama-3.2-1B |
131 072 | |
meta-llama/Llama-3.2-1B-Instruct |
131 072 | |
meta-llama/Llama-3.2-3B |
131 072 | |
meta-llama/Llama-3.2-3B-Instruct |
131 072 | |
meta-llama/Meta-Llama-3.1-70B |
131 072 | |
meta-llama/Meta-Llama-3.1-70B-Instruct |
131 072 | |
meta-llama/Meta-Llama-3.1-8B |
131 072 | |
meta-llama/Meta-Llama-3.1-8B-Instruct |
131 072 |
Nyugdíjba vonuló modellek
Az alábbi táblázat a kivonásra tervezett támogatott modelleket sorolja fel. Lásd: Kivont modellek a kivont modellekhez, a tervezett kivonási dátumokhoz és a javasolt modellcserékhez.
Fontos
2025. január 30-a után a Meta Llama 3.1 405B modellcsalád megszűnik. Lásd a Kivezetett modelleket az ajánlott cseremodellekért.
| Modell | A környezet maximális hossza | Jegyzetek |
|---|---|---|
mistralai/Mistral-7B-v0.1 |
32 768 | Ez a modell 2025. április 30. után már nem támogatott. |
mistralai/Mistral-7B-Instruct-v0.2 |
32 768 | Ez a modell 2025. április 30. után már nem támogatott. |
mistralai/Mixtral-8x7B-v0.1 |
32 768 | Ez a modell 2025. április 30. után már nem támogatott. |
databricks/dbrx-base |
32 768 | Ez a modell 2025. április 30. után már nem támogatott. |
databricks/dbrx-instruct |
32 768 | Ez a modell 2025. április 30. után már nem támogatott. |
modelllicencek
Az alábbi táblázat a támogatott modellcsaládokra vonatkozó vonatkozó modelllicencet és elfogadható használati szabályzatinformációkat tartalmazza.
| Modellcsalád | Licenc- és elfogadható használati szabályzat |
|---|---|
| Meta Llama 3.2 | A Meta Llama 3.2 licenccel rendelkezik a LLAMA 3.2 közösségi licenc, Copyright © Meta Platformok, Inc. Minden jog fenntartva. Az ügyfelek felelősek azért, hogy megfeleljenek a licenc feltételeinek és a Llama 3.2 elfogadható használati szabályzatának. |
| Meta Llama 3.1 | A Meta Llama 3.1 licenccel rendelkezik a LLAMA 3.1 közösségi licenc, Copyright © Meta Platforms, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért. |
| DBRX | A DBRX-et a Databricks Open Model Licenc, a Copyright © Databricks, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicenceknek való megfelelőség biztosításáért, beleértve a Databricks elfogadható használati szabályzatát is. |
Alapmodell finomhangolása
Az alapmodell finomhangolása az databricks_genai SDK használatával érhető el. Az alábbi példa létrehoz és elindít egy betanítási futtatásokat, amelyek a Unity Catalog-kötetekből származó adatokat használják. A konfiguráció részleteiért lásd : Betanítási futtatás létrehozása az Foundation Model Fine-tuning API használatával.
from databricks.model_training import foundation_model as fm
model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
model=model,
train_data_path=train_data_path,
register_to=register_to,
)
Tekintse meg az Utasítás finomhangolása: Az entitásfelismerés elnevezett bemutatójegyzetfüzetét egy olyan utasítás finomhangolási példához, amely végigvezeti az adatok előkészítésén, a betanítási futtatások konfigurálásának és üzembe helyezésének finomhangolásán.
Korlátozások
A nagy adathalmazok (10B+ jogkivonatok) a számítási rendelkezésre állás miatt nem támogatottak.
A folyamatos előzetes betanításhoz a számítási feladatok 60–256 MB-os fájlokra korlátozódnak. Az 1 GB-nál nagyobb fájlok hosszabb feldolgozási időt okozhatnak.
A Databricks arra törekszik, hogy a legújabb csúcsmodelleket elérhetővé tegye a testreszabáshoz az Alapmodell finomhangolásával. Az új modellek elérhetővé válásával az API-ból vagy a felhasználói felületről származó régebbi modellekhez való hozzáférés el lesz távolítva, a régebbi modellek elavulttá válhatnak, vagy frissíthetők a támogatott modellek. Lásd: Generatív AI-modellek karbantartási szabályzata.
Ha az Azure Private Link be van állítva a munkaterületen, a Foundation Model finomhangolás csak az
eastus2régióban lévő Azure munkaterületeket támogatja.Ha beállította a Private Linket a tárolóban, a Databricks a Unity Catalog-táblák használatát javasolja.
Ha az adatokat a Unity Catalogban tároló Azure Data Lake Storage-fiók tűzfalai engedélyezve vannak, engedélyeznie kell a Databricks kiszolgáló nélküli adatsík-fürtöiből érkező forgalmat az alapmodell finomhangolásának használatához. További információkért és lehetséges egyéni megoldásokért forduljon a Databricks-fiók csapatához.