Koncepty jemného ladění modelů

Vyladění je proces pořízení předem natrénovaného modelu a jeho úprava tak, aby lépe vyhovovala vašim datům. Tento proces vám může pomoct získat maximum z dat a zlepšit výkon modelu. V tomto článku se seznámíte se základními koncepty jemného ladění a zjistíte, kdy je vhodné jemné ladění modelu AI.

Úvod

Vyladění je výkonná technika, která vám může pomoci získat více z vašich dat. Abyste porozuměli jemnému ladění, je důležité pochopit koncept transferového učení. Transfer learning je technika strojového učení, kde je model natrénovaný na jednom úkolu znovu účelný na druhém souvisejícím úkolu. To se provádí tak, že vezmete předem natrénovaný model a upravíte ho tak, aby lépe vyhovoval novým datům. Vyladění je forma transferového učení, ve kterém je předem natrénovaný model upraven tak, aby lépe vyhovoval novým datům.

Při vyladění modelu je potřeba provést několik kroků. Nejprve musíte vybrat předem natrénovaný model, který je pro váš úkol vhodný. Dále je potřeba připravit ukázková data a vyladit model na těchto datech. Nakonec potřebujete iterovat model, aby se zlepšil jeho výkon.

Kdy doladit

Vyladění je vhodné pro časy, kdy máte malé množství dat a chcete zlepšit výkon modelu. Když začnete s předem natrénovaným modelem, můžete využít znalosti, které už model naučil, a upravit ho tak, aby lépe vyhovoval vašim datům. To vám může pomoct zlepšit výkon modelu a snížit množství dat potřebných k jeho trénování.

Když máte velké množství dat, obvykle není nutné model vyladit. V tomto případě můžete model vytrénovat úplně od začátku a dosáhnout dobrého výkonu bez vyladění. Pokud ale chcete výkon modelu ještě vylepšit, může být za těchto okolností stále užitečné. Pokud máte určitou úlohu, která se liší od úkolu, na který byl původně natrénovaný předem natrénovaný model, můžete chtít model doladit.

Možná se budete moct vyhnout nákladnému vyladění modelu pomocí podnětového inženýrství nebo řetězení podnětů. Tyto techniky vám mohou pomoci generovat vysoce kvalitní text, aniž byste museli provádět jemné ladění.

Výběr předem natrénovaného modelu

Měli byste vybrat předem natrénovaný model, který je vhodný pro vaše požadavky na úkoly. Existuje mnoho předem natrénovaných modelů, které byly natrénovány na široké škále úloh. Měli byste zvolit model, který byl vytrénován na podobném úkolu jako model, na který pracujete. Pomůže vám to využít znalosti, které už model naučil, a upravit ho tak, aby lépe vyhovoval vašim datům.

HuggingFace modely jsou dobrým místem, kde začít při hledání předem natrénovaných modelů. Modely HuggingFace jsou seskupené do kategorií na základě úlohy, na které byly natrénovány, a usnadňují tak vyhledání modelu, který je pro váš úkol vhodný.

Mezi tyto kategorie patří:

• Multimodální
• Počítačové zpracování obrazu
• Zpracování přirozeného jazyka
• Audio
• Tabulkový
• Posilované učení

Zkontrolujte kompatibilitu modelu s vaším prostředím a nástroji, které používáte. Pokud například používáte Visual Studio Code, můžete k vyladění modelu použít rozšíření Azure Machine Learning pro Visual Studio Code.

Zkontrolujte stav a licenci modelu. Některé předem vytrénované modely mohou být k dispozici v rámci open-source licence, zatímco jiné mohou vyžadovat komerční nebo osobní licenci k použití. Všechny modely na HuggingFace obsahují informace o licenci. Před vyladěním modelu se ujistěte, že máte potřebná oprávnění k jeho použití.

Příprava ukázkových dat

Příprava ukázkových dat zahrnuje čištění a předběžné zpracování dat, aby byla vhodná pro trénování. Data byste také měli rozdělit na trénovací a ověřovací sady, abyste mohli vyhodnotit výkon modelu. Formát dat by měl odpovídat formátu očekávanému předem natrénovaným modelem, který používáte. Tyto informace najdete s modely na HuggingFace ve formátu Instrukce kartě modelu. Většina karet modelu bude obsahovat šablonu pro vytvoření výzvy k modelu a některé pseudokódy, které vám pomůžou začít.

Iterujte na svém modelu

Jakmile model doladíte, měli byste vyhodnotit jeho výkon v ověřovací sadě. K vyhodnocení výkonu modelu můžete použít metriky, jako je přesnost, preciznost, úplnost a skóre F1. Pokud výkon modelu není uspokojivý, můžete ho iterovat úpravou hyperparametrů, změnou architektury nebo vyladěním modelu na více dat. Můžete také prozkoumat kvalitu a rozmanitost vašich dat a zjistit, jestli nedochází k nějakým problémům, které je potřeba řešit. Obecně platí, že menší sada vysoce kvalitních dat je cennější než větší sada dat s nízkou kvalitou.

Viz také

Další informace o vyladění modelů AI najdete v následujících zdrojích informací:

• Doladit model Llama 2 na portálu Azure AI Foundry
• Vyladit předem trénovaný model na HuggingFace
• vyladění předem natrénovaného modelu pomocí TensorFlow

Při používání funkcí umělé inteligence doporučujeme zkontrolovat: Vývoj zodpovědných generativních aplikací a funkcí umělé inteligence ve Windows.