Koncové body služby Batch
Azure Machine Učení umožňuje implementovat dávkové koncové body a nasazení k provádění dlouhotrvajících asynchronních odvozování pomocí modelů a kanálů strojového učení. Když vytrénujete model nebo kanál strojového učení, musíte ho nasadit, aby ho ostatní mohli používat s novými vstupními daty ke generování předpovědí. Tento proces generování predikcí pomocí modelu nebo kanálu se nazývá odvozování.
Dávkové koncové body přijímají ukazatele na data a spouštějí úlohy asynchronně, aby se data zpracovávala ve výpočetních clusterech paralelně. Dávkové koncové body ukládají výstupy do úložiště dat pro další analýzu. Použijte dávkové koncové body, když:
- Máte nákladné modely nebo kanály, které vyžadují delší dobu, než se spustí.
- Chcete zprovoznit kanály strojového učení a znovu použít komponenty.
- Musíte provést odvozování nad velkými objemy dat distribuovanými ve více souborech.
- Nemáte požadavky na nízkou latenci.
- Vstupy vašeho modelu se ukládají v účtu úložiště nebo v datovém assetu služby Azure Machine Learning.
- Můžete využít paralelizaci.
Nasazení služby Batch
Nasazení je sada prostředků a výpočetních prostředků potřebných k implementaci funkcí, které koncový bod poskytuje. Každý koncový bod může hostovat několik nasazení s různými konfiguracemi a tato funkce pomáhá oddělit rozhraní koncového bodu od podrobností implementace , které jsou definovány nasazením. Při vyvolání dávkového koncového bodu klient automaticky směruje do výchozího nasazení. Toto výchozí nasazení je možné kdykoli nakonfigurovat a změnit.
V azure Machine Učení dávkových koncových bodech jsou možné dva typy nasazení:
Nasazení modelu
Nasazení modelu umožňuje operacionalizaci odvozování modelu ve velkém měřítku a umožňuje zpracovávat velké objemy dat nízkou latencí a asynchronním způsobem. Azure Machine Učení automaticky instrumentuje škálovatelnost tím, že poskytuje paralelizaci procesů odvozování napříč několika uzly ve výpočetním clusteru.
Nasazení modelu použijte, když:
- Máte drahé modely, které vyžadují delší dobu, než se spustí odvozování.
- Musíte provést odvozování nad velkými objemy dat distribuovanými ve více souborech.
- Nemáte požadavky na nízkou latenci.
- Můžete využít paralelizaci.
Hlavní výhodou nasazení modelů je, že můžete použít stejné prostředky, které jsou nasazené pro odvozování v reálném čase do online koncových bodů, ale teď je můžete spustit ve velkém měřítku v dávce. Pokud váš model vyžaduje jednoduché předběžné zpracování nebo následné zpracování, můžete vytvořit bodovací skript , který provede požadované transformace dat.
Pokud chcete vytvořit nasazení modelu v dávkovém koncovém bodu, musíte zadat následující prvky:
- Model
- Výpočtový cluster
- Bodovací skript (volitelné pro modely MLflow)
- Prostředí (volitelné pro modely MLflow)
Nasazení součásti kanálu
Nasazení součásti kanálu umožňuje zprovoznění celých grafů zpracování (nebo kanálů) provádět dávkové odvozování s nízkou latencí a asynchronním způsobem.
Nasazení součásti Kanálu použijte v případech:
- Potřebujete zprovoznit kompletní výpočetní grafy, které je možné rozdělit do několika kroků.
- V kanálu odvozování potřebujete znovu použít komponenty z trénovacích kanálů.
- Nemáte požadavky na nízkou latenci.
Hlavní výhodou nasazení součástí kanálu je opětovná použitelnost komponent, které už existují na vaší platformě, a schopnost zprovoznit složité rutiny odvozování.
Pokud chcete vytvořit nasazení součásti kanálu v dávkovém koncovém bodu, musíte zadat následující prvky:
- Komponenta kanálu
- Konfigurace výpočetního clusteru
Koncové body služby Batch také umožňují vytvářet nasazení součástí kanálu z existující úlohy kanálu. Když to uděláte, Azure Machine Učení automaticky vytvoří komponentu kanálu mimo úlohu. To zjednodušuje používání těchto typů nasazení. Osvědčeným postupem je ale vždy vytvářet komponenty kanálu explicitně, aby se zjednodušily postupy MLOps.
Správa nákladů
Vyvolání dávkového koncového bodu aktivuje asynchronní úlohu odvozování dávky. Azure Machine Učení automaticky zřídí výpočetní prostředky při spuštění úlohy a automaticky je uvolní po dokončení úlohy. Tímto způsobem platíte jenom za výpočetní prostředky, když ho použijete.
Tip
Při nasazování modelů můžete přepsat nastavení výpočetních prostředků (například počet instancí) a upřesňující nastavení (například velikost mini dávky, prahová hodnota chyby atd.) pro každou úlohu odvozování dávek. Díky využití těchto konkrétních konfigurací můžete být schopni urychlit provádění a snížit náklady.
Na virtuálních počítačích s nízkou prioritou se můžou spouštět také koncové body služby Batch. Koncové body služby Batch se můžou automaticky obnovit z uvolněných virtuálních počítačů a obnovit práci, ze které zůstal při nasazování modelů pro odvozování. Další informace o tom, jak používat virtuální počítače s nízkou prioritou ke snížení nákladů na úlohy odvozování dávek, najdete v tématu Použití virtuálních počítačů s nízkou prioritou v dávkových koncových bodech.
Azure Machine Učení vám navíc neúčtuje poplatky za samotné dávkové koncové body ani dávkové nasazení, takže můžete koncové body a nasazení uspořádat tak, aby vyhovovaly vašemu scénáři. Koncové body a nasazení můžou používat nezávislé nebo sdílené clustery, takže můžete dosáhnout podrobné kontroly nad tím, které úlohy spotřebovávají. Pomocí škálování na nulu v clusterech zajistěte, aby se při nečinnosti nezpracovaly žádné prostředky.
Zjednodušení postupu MLOps
Koncové body služby Batch můžou zpracovávat více nasazení ve stejném koncovém bodu, takže můžete změnit implementaci koncového bodu beze změny adresy URL, kterou uživatelé používají k vyvolání.
Nasazení můžete přidávat, odebírat a aktualizovat, aniž by to mělo vliv na samotný koncový bod.
Flexibilní zdroje dat a úložiště
Koncové body služby Batch čtou a zapisují data přímo z úložiště. Jako vstupy můžete zadat úložiště dat Azure Machine Učení, azure machine Učení datové prostředky nebo účty úložiště. Další informace o podporovaných možnostech zadávání a jejich určení najdete v tématu Vytváření úloh a vstupních dat do dávkových koncových bodů.
Zabezpečení
Koncové body služby Batch poskytují všechny možnosti potřebné k provozu úloh na úrovni produkčního prostředí v podnikovém nastavení. Podporují privátní sítě v zabezpečených pracovních prostorech a ověřování Microsoft Entra, a to buď pomocí instančního objektu (například uživatelského účtu), nebo instančního objektu (například spravované nebo nespravované identity). Úlohy vygenerované dávkovým koncovým bodem běží pod identitou invokeru, což vám dává flexibilitu při implementaci libovolného scénáře. Další informace o autorizaci při používání dávkových koncových bodů najdete v tématu Ověřování v dávkových koncových bodech.