Mozaik AI-modell betanítása alapmodellekhez
Fontos
Ez a funkció a következő régiókban érhető el nyilvános előzetes verzióban : centralus, eastus, eastus2, northcentralusés westus.
A Mozaik AI-modell betanításával (korábbi nevén alapmodell-betanítás) saját adataival testre szabhat egy alapmodellt, hogy optimalizálja a teljesítményét az adott alkalmazáshoz. Az alapmodellek teljes paraméteres finomhangolásával vagy folyamatos betanításával jelentősen kevesebb adattal, idővel és számítási erőforrással taníthatja be a saját modelljét, mint egy modell alapból történő betanítása.
A Databricksben minden egy platformon található: a saját, betanításhoz használandó adatok, a betanítandó alapmodell, az MLflow-ba mentett ellenőrzőpontok, valamint a Unity Katalógusban regisztrált modell, és készen áll az üzembe helyezésre.
Lásd az oktatóanyagot: Mozaik AI-modell betanítási futtatása létrehozásával és üzembe helyezésével megtudhatja, hogyan hozhat létre futtatásokat a Mozaik AI Modell betanítási API-val, majd áttekintheti az eredményeket, és üzembe helyezheti a modellt a Databricks felhasználói felületén és a Mozaik AI-modellkiszolgálón.
Mi az a Mozaik AI-modell betanítása?
A Mozaik AI-modell betanítása lehetővé teszi, hogy a Databricks API-val vagy a felhasználói felülettel hangoljon vagy tovább tanítson egy alapmodellt.
A Mozaik AI-modell betanításával az alábbiakat végezheti el:
- Modell betanítása az egyéni adatokkal az MLflow-ba mentett ellenőrzőpontokkal. A betanított modell teljes vezérlése megmarad.
- Automatikusan regisztrálja a modellt a Unity Catalogban, így egyszerű üzembe helyezést tesz lehetővé a modell kiszolgálásával.
- Egy korábban betanított modell súlyainak betöltésével tovább tanítható egy befejezett, saját fejlesztésű modell.
A Databricks azt javasolja, hogy próbálja ki a Mozaik AI-modell betanítását, ha:
- Kipróbálta a néhány lövéses tanulást, és jobb eredményeket szeretne.
- Már kipróbálta a gyors tervezést egy meglévő modellen, és jobb eredményeket szeretne.
- Teljes körű tulajdonjogot szeretne kapni egy egyéni modellben az adatvédelem érdekében.
- Késés-érzékeny vagy költségérzékeny, és egy kisebb, olcsóbb modellt szeretne használni a feladatspecifikus adatokkal.
Támogatott tevékenységek
A Mozaik AI-modell betanítása a következő használati eseteket támogatja:
- Csevegés befejezése: Ajánlott feladat. A modell betanítása csevegőnaplókba egy felhasználó és egy AI-asszisztens között. Ez a formátum használható a tényleges csevegési naplókhoz, valamint a kérdések megválaszolásához és a beszélgetési szövegekhez is. A szöveg automatikusan az adott modellnek megfelelő formátumba lesz formázva. A csábítással kapcsolatos további információkért tekintse meg a HuggingFace dokumentációjában található példacsevegési sablonokat .
- Felügyelt finomhangolás: A modell betanítása strukturált parancssori válaszadatokra. Ezzel a funkcióval a modellt egy új tevékenységhez igazíthatja, módosíthatja a válaszstílusát, vagy utasításokat követhet. Ez a feladat nem alkalmazza automatikusan az adatok formázását, és csak akkor ajánlott, ha egyéni adatformázásra van szükség.
- Folyamatos előzetes betanítás: A modell betanítása további szöveges adatokkal. Ezzel új ismereteket adhat hozzá egy modellhez, vagy egy modellt egy adott tartományra összpontosíthat.
Követelmények
- Databricks-munkaterület az alábbi Azure-régiók egyikében:
centralus,eastus, ,northcentraluseastus2vagywestus. - A Mozaik AI-modell betanítási API-k telepítése a következő használatával
pip install databricks_genai: . - Databricks Runtime 12.2 LTS ML vagy újabb, ha az adatok Delta-táblában találhatóak.
A szükséges bemeneti adatformátumokkal kapcsolatos információkért lásd : Adatok előkészítése a Mozaik AI-modell betanításához .
Ajánlott adatméret modellbetanításhoz
A Databricks azt javasolja, hogy először egy-négy korszak használatával tanítsunk be. A finomhangolt modell kiértékelése után, ha azt szeretné, hogy a modell kimenete jobban hasonlítson a betanítási adatokhoz, egy-két újabb korszak használatával folytathatja a betanítást.
Ha a modell teljesítménye jelentősen csökken a finomhangolási adatokban nem szereplő feladatok esetében, vagy ha úgy tűnik, hogy a modell pontos másolatokat ad ki a finomhangolási adatokról, a Databricks a betanítási időszak számának csökkentését javasolja.
A felügyelt finomhangoláshoz és a csevegés befejezéséhez elegendő jogkivonatot kell biztosítania a modell legalább egy teljes környezeti hosszához. Például 4096 jogkivonatot meta-llama/Llama-2-7b-chat-hf vagy 32768 tokent a mistralai/Mistral-7B-v0.1.
A folyamatos előzetes betanításhoz a Databricks legalább 1,5 millió tokent javasol, hogy jobb minőségű modellt kapjon, amely megtanulja az egyéni adatokat.
Támogatott modellek
Az alábbi táblázat a támogatott modelleket sorolja fel. A legújabb támogatott modellekhez és a hozzájuk tartozó környezethosszokhoz használja a függvényt get_models() .
from databricks.model_training import foundation_model
foundation_model.get_models()
Fontos
A Meta Llama 3.2 licenccel rendelkezik a LLAMA 3.2 közösségi licenc, Copyright © Meta Platformok, Inc. Minden jog fenntartva. Az ügyfelek felelősek azért, hogy megfeleljenek a licenc feltételeinek és a Llama 3.2 elfogadható használati szabályzatának.
A Meta Llama 3.1 licenccel rendelkezik a LLAMA 3.1 közösségi licenc, Copyright © Meta Platforms, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért.
A Llama 3 licenccel rendelkezik a LLAMA 3 közösségi licenc, copyright © metaplatformok, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért.
A Llama 2 és a Code Llama modellek licencelése a LLAMA 2 Közösségi Licenc, Copyright © Meta Platforms, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért.
A DBRX-et a Databricks Open Model Licenc, a Copyright © Databricks, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicenceknek való megfelelőség biztosításáért, beleértve a Databricks elfogadható használati szabályzatát is.
| Modell | A környezet maximális hossza | Jegyzetek |
|---|---|---|
databricks/dbrx-base |
32 768 | |
databricks/dbrx-instruct |
32 768 | |
meta-llama/Llama-3.2-1B |
131 072 | |
meta-llama/Llama-3.2-1B-Instruct |
131 072 | |
meta-llama/Llama-3.2-3B |
131 072 | |
meta-llama/Llama-3.2-3B-Instruct |
131 072 | |
meta-llama/Meta-Llama-3.1-405B |
131 072 | |
meta-llama/Meta-Llama-3.1-405B-Instruct |
131 072 | |
meta-llama/Meta-Llama-3.1-70B |
131 072 | |
meta-llama/Meta-Llama-3.1-70B-Instruct |
131 072 | |
meta-llama/Meta-Llama-3.1-8B |
131 072 | |
meta-llama/Meta-Llama-3.1-8B-Instruct |
131 072 | |
meta-llama/Meta-Llama-3-70B |
8192 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Meta-Llama-3-70B-Instruct |
8192 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Meta-Llama-3-8B |
8192 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Meta-Llama-3-8B-Instruct |
8192 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Llama-2-7b-hf |
4096 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Llama-2-13b-hf |
4096 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Llama-2-70b-hf |
4096 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Llama-2-7b-chat-hf |
4096 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Llama-2-13b-chat-hf |
4096 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
meta-llama/Llama-2-70b-chat-hf |
4096 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-7b-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-13b-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-34b-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-7b-Instruct-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-13b-Instruct-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-34b-Instruct-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-7b-Python-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-13b-Python-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
codellama/CodeLlama-34b-Python-hf |
16384 | 2024. december 13-a után ez a modell már nem támogatott. A javasolt csereért tekintse meg a kivezetett modelleket . |
mistralai/Mistral-7B-v0.1 |
32 768 | |
mistralai/Mistral-7B-Instruct-v0.2 |
32 768 | |
mistralai/Mixtral-8x7B-v0.1 |
32 768 |
A Mozaik AI-modell betanítása
A Mozaik AI-modell betanítása az databricks_genai SDK-val érhető el. Az alábbi példa létrehoz és elindít egy betanítási futtatásokat, amelyek a Unity Catalog-kötetekből származó adatokat használják. A konfiguráció részleteiért lásd : Betanítási futtatás létrehozása a Mozaik AI-modell betanítási API-jának használatával.
from databricks.model_training import foundation_model as fm
model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
model=model,
train_data_path=train_data_path,
register_to=register_to,
)
Tekintse meg az Utasítás finomhangolása: Az entitásfelismerés elnevezett bemutatójegyzetfüzetét egy olyan utasítás finomhangolási példához, amely végigvezeti az adatok előkészítésén, a betanítási futtatások konfigurálásának és üzembe helyezésének finomhangolásán.
Korlátozások
A nagy adathalmazok (10B+ jogkivonatok) a számítási rendelkezésre állás miatt nem támogatottak.
A folyamatos előzetes betanításhoz a számítási feladatok 60–256 MB-os fájlokra korlátozódnak. Az 1 GB-nál nagyobb fájlok hosszabb feldolgozási időt okozhatnak.
A Databricks arra törekszik, hogy a legújabb csúcsmodelleket elérhetővé tegye a testreszabáshoz a Mozaik AI-modell betanításával. Az új modellek elérhetővé válásakor a régebbi modellek API-ból vagy felhasználói felületről való elérésének lehetősége el lesz távolítva, a régebbi modellek elavulttá válhatnak, vagy a támogatott modellek frissíthetők. Lásd: Generatív AI-modellek karbantartási szabályzata.
A Mozaik AI-modell betanítása csak a Private Link mögötti tárolót használó Azure-munkaterületek modellbetanítását támogatja.
- Jelenleg csak a Private Link
eastus2mögötti tárolóból származó adatok olvasása támogatott.
- Jelenleg csak a Private Link
Ha az adatokat a Unity Catalogban tároló Azure Data Lake Storage-fiók tűzfalai engedélyezve vannak, engedélyeznie kell a Databricks kiszolgáló nélküli adatsík-fürtöiből érkező forgalmat a Mozaik AI-modell betanításának használatához. További információkért és lehetséges egyéni megoldásokért forduljon a Databricks-fiók csapatához.