Vyladění základního modelu
Důležité
Tato funkce je ve verzi Public Preview v následujících oblastech: centralus, eastus, eastus2, northcentralusa westus.
S vyladěním základního modelu (nyní součástí trénování modelu Puzzle AI) můžete pomocí vlastních dat přizpůsobit základní model pro optimalizaci jeho výkonu pro vaši konkrétní aplikaci. Provedením úplného vyladění nebo pokračováním trénování základního modelu můžete vlastní model trénovat pomocí výrazně menšího množství dat, času a výpočetních prostředků než trénování modelu od začátku.
S Databricks máte všechno v jedné platformě: vaše vlastní data, která můžete použít pro trénování, základní model pro trénování, kontrolní body uložené v MLflow a model zaregistrovaný v katalogu Unity a připravený k nasazení.
Viz kurz: Vytvoření a nasazení spuštění jemného ladění základního modelu, ve které se dozvíte, jak vytvořit spuštění pomocí rozhraní API pro vyladění základního modelu a pak zkontrolovat výsledky a nasadit model pomocí uživatelského rozhraní Databricks a obsluhy modelu Mosaic AI.
Co je vyladění základního modelu?
Vyladění základního modelu umožňuje použít rozhraní Databricks API nebo uživatelské rozhraní k ladění nebo dalšímu trénování základního modelu.
Pomocí vyladění základního modelu můžete:
- Trénování modelu s vlastními daty s kontrolními body uloženými v MLflow Zachováte úplnou kontrolu nad natrénovaným modelem.
- Automaticky zaregistrujte model do katalogu Unity, což umožňuje snadné nasazení prostřednictvím poskytování modelů.
- Další trénování dokončeného, proprietárního modelu načtením hmotností dříve natrénovaného modelu.
Databricks doporučuje vyzkoušet vyladění základního modelu, pokud:
- Vyzkoušeli jste několik snímků učení a chcete lepší výsledky.
- Vyzkoušeli jste výzvu k vytvoření existujícího modelu a chcete lepší výsledky.
- Chcete mít úplné vlastnictví vlastního modelu pro ochranu osobních údajů.
- Citlivá na latenci nebo náklady a chcete použít menší a levnější model s daty specifickými pro konkrétní úlohy.
Podporované úlohy
Vyladění základního modelu podporuje následující případy použití:
- Dokončení chatu: Doporučený úkol. Vytrénujte model na protokolech chatu mezi uživatelem a asistentem AI. Tento formát lze použít jak pro skutečné protokoly chatu, tak jako standardní formát pro odpovědi na otázky a konverzační text. Text se automaticky naformátuje do příslušného formátu pro konkrétní model. Další informace o šablonách šablon najdete v ukázkových šablonách chatu v dokumentaci huggingFace.
- Ladění instrukcí: Trénování modelu na strukturovaných datech výzvy a odezvy. Pomocí tohoto postupu můžete model přizpůsobit novému úkolu, změnit jeho styl odpovědi nebo přidat možnosti pro následující instrukce. Tato úloha automaticky nepoužije žádné formátování dat a doporučuje se pouze v případě, že je požadováno vlastní formátování dat.
- Pokračování předběžného trénování: Trénování modelu s dalšími textovými daty Tento postup slouží k přidání nových znalostí do modelu nebo zaměření modelu na konkrétní doménu.
Požadavky
- Pracovní prostor Databricks v jedné z následujících oblastí Azure:
centralus,eastus,eastus2,northcentralus, nebowestus. - Rozhraní API pro jemné ladění základního modelu nainstalovaná pomocí
pip install databricks_genai. - Databricks Runtime 12.2 LTS ML nebo vyšší, pokud jsou vaše data v tabulce Delta.
Informace opožadovaných
Doporučená velikost dat pro trénování modelu
Databricks doporučuje počáteční trénování pomocí jednoho až čtyř epoch. Pokud chcete, aby výstupy modelu byly podobné trénovacím datům, můžete začít pokračovat v trénování pomocí jednoho až dvou epoch.
Pokud se výkon modelu výrazně sníží u úloh, které nejsou reprezentované ve vašich jemně vyladěných datech, nebo pokud se zdá, že model zobrazuje výstup přesných kopií dat jemného ladění, doporučuje Databricks snížit počet epoch trénování.
Pro vyladění instrukcí a dokončování chatu byste měli poskytnout dostatek tokenů pro alespoň jednu úplnou délku kontextu modelu. Například 131072 tokeny pro meta-llama/Llama-3.2-3B-Instruct.
Pro pokračování předběžného trénování doporučuje Databricks minimálně 1,5 milionu tokenů, aby získal model vyšší kvality, který se učí vaše vlastní data.
Podporované modely
Následující tabulka uvádí podporované modely. Viz licence modelu pro informace o příslušné licenci modelu a zásadách přijatelného použití.
Aby bylo možné pokračovat v podpoře většiny nejmodernějších modelů, může Databricks aktualizovat podporované modely nebo vyřadit starší modely. Viz Vyřazení modelů.
| Model | Maximální délka kontextu | Notes |
|---|---|---|
meta-llama/Llama-3.2-1B |
131072 | |
meta-llama/Llama-3.2-1B-Instruct |
131072 | |
meta-llama/Llama-3.2-3B |
131072 | |
meta-llama/Llama-3.2-3B-Instruct |
131072 | |
meta-llama/Meta-Llama-3.1-70B |
131072 | |
meta-llama/Meta-Llama-3.1-70B-Instruct |
131072 | |
meta-llama/Meta-Llama-3.1-8B |
131072 | |
meta-llama/Meta-Llama-3.1-8B-Instruct |
131072 |
modely, které budou vyřazeny
Následující tabulka uvádí podporované modely, které se plánují pro vyřazení z provozu. Informace o vyřazených modelech, plánovaných datech vyřazení a doporučených nahrazeních modelů najdete v tématu Vyřazené modely.
Důležité
Po 30. lednu 2025 je řada modelů Meta Llama 3.1 405B vyřazena. Doporučené náhradní modely najdete v tématu Vyřazené modely.
| Model | Maximální délka kontextu | Notes |
|---|---|---|
mistralai/Mistral-7B-v0.1 |
32768 | Tento model už není podporován po 30. dubnu 2025. |
mistralai/Mistral-7B-Instruct-v0.2 |
32768 | Tento model už není podporován po 30. dubnu 2025. |
mistralai/Mixtral-8x7B-v0.1 |
32768 | Tento model už není podporován po 30. dubnu 2025. |
databricks/dbrx-base |
32768 | Tento model už není podporován po 30. dubnu 2025. |
databricks/dbrx-instruct |
32768 | Tento model už není podporován po 30. dubnu 2025. |
licence modelu
Následující tabulka obsahuje příslušné informace o licencích modelu a přijatelných zásadách použití pro podporované rodiny modelů.
| Modelová rodina | Zásady licencování a přijatelného použití |
|---|---|
| Meta Llama 3.2 | Meta Llama 3.2 je licencovaný v rámci licence LLAMA 3.2 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění souladu s podmínkami této licence a zásadami přijatelného použití Llama 3.2. |
| Meta Llama 3.1 | Meta Llama 3.1 je licencovaný pod licencí LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování předpisů s příslušnými licencemi modelu. |
| DBRX | DBRX je poskytován v rámci a podléhá licenci Databricks Open Model, Copyright © Databricks, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování příslušných licencí modelu, včetně zásad přijatelného použití Databricks. |
Použití jemného ladění základního modelu
Vyladění základního databricks_genai modelu je přístupné pomocí sady SDK. Následující příklad vytvoří a spustí trénovací běh, který používá data ze svazků katalogu Unity. Podrobnosti o konfiguraci najdete v tématu Vytvoření trénovacího spuštění pomocí rozhraní API pro vyladění základního modelu.
from databricks.model_training import foundation_model as fm
model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
model=model,
train_data_path=train_data_path,
register_to=register_to,
)
Podívejte se na podrobné ladění instrukcí: Pojmenovaný poznámkový blok ukázky rozpoznávání entit pro příklad podrobného ladění instrukcí, který vás provede přípravou dat, vyladěním konfigurace a nasazením trénovacího spuštění.
Omezení
Velké datové sady (10B+ tokeny) nejsou podporované kvůli dostupnosti výpočetních prostředků.
Pro pokračování předběžného trénování jsou úlohy omezené na 60 až 256 MB souborů. Soubory větší než 1 GB můžou způsobit delší dobu zpracování.
Databricks se snaží zpřístupnit nejnovější nejmodernější modely pro přizpůsobení pomocí jemného ladění základního modelu. Jakmile budou nové modely dostupné, může se odebrat přístup ke starším modelům z rozhraní API nebo uživatelského rozhraní, starší modely můžou být zastaralé nebo se aktualizují podporované modely. Viz Zásady údržby modelů generování AI.
Pokud máte ve svém pracovním prostoru nastavenou službu Azure Private Link, ladění základního modelu je podporováno pouze pro pracovní prostory Azure v
eastus2.Pokud máte v úložišti nastavenou službu Private Link, databricks doporučuje používat tabulky katalogu Unity.
Pokud máte v účtu Azure Data Lake Storage povolené brány firewall a tento účet ukládá vaše data v Unity Catalogu, musíte povolit provoz z datových clusterů bezserverové roviny Databricks, abyste mohli použít doladění základního modelu. Spojte se s týmem účtů Databricks, kde najdete další informace a možná vlastní řešení.