Poskytování predikcí v reálném čase s koncovými body modelu ML (Preview)

Důležité

Tato funkce je ve verzi Preview.

Microsoft Fabric vám umožňuje poskytovat predikce v reálném čase z ML modelů pomocí bezpečných, škálovatelných a snadno použitelných online endpointů. Většina modelů Fabric zahrnuje tyto koncové body jako vestavěné vlastnosti a nevyžadují žádné nastavení pro zahájení plně spravovaných nasazení v reálném čase.

Koncové body modelu můžete aktivovat, konfigurovat a dotazovat pomocí veřejného rozhraní REST API. Můžete také začít přímo z rozhraní Fabric pomocí prostředí low-code, které umožňuje okamžitě aktivovat koncové body modelu a zobrazit náhled predikcí.

Požadavky

• Váš tenant má ve výchozím nastavení zapnuté endpointy modelů strojového učení. Pokud chce správce tuto funkci zakázat, může vypnout přepínač tenanta pro koncové body modelu ML v portálu pro správu Fabric.

Omezení

• Koncové body jsou v současné době dostupné pro omezenou sadu typů modelů ML, včetně Keras, LightGBM, Sklearn a XGBoost.
• Koncové body aktuálně nejsou k dispozici pro modely se schématy založenými na tensoru nebo pro žádná schémata.

Poznámka:

Koncové body strojového učení podporují modely trénované AutoML.

Začínáme s koncovými body modelu

ML modely ve Fabric jsou předem sestavené s online endpointy, které můžete použít k poskytování predikcí v reálném čase. Každá registrovaná verze modelu má vyhrazenou URL koncového zařízení, kterou najdete pod nadpisem Endpoint details v rozhraní Fabric. Tato URL končí podcestou, která označuje konkrétní verzi (například /versions/1/score).

Koncové body modelu mají následující vlastnosti:

Vlastnost	Description	výchozí
Výchozí verze	Tato vlastnost (Yes nebo No) určuje, zda je verze nastavena jako výchozí pro model pro obsluhu reálných predikcí. Výchozí verzi můžete přizpůsobit v nastavení modelu.	No
Stav	Tato vlastnost označuje, jestli je koncový bod připravený k předpovědím. Stav může být Inactive, Activating, Active, Deactivatingnebo Failed. Předpovědi mohou obsluhovat pouze aktivní koncové body.	Inactive
Automatický režim spánku	Tato vlastnost (On nebo Off) označuje, jestli má koncový bod, jakmile je aktivní, vertikálně snížit kapacitu na nulu v případě absence provozu. Pokud je automatické usnutí zapnuté, koncový bod přejde do nečinného stavu po pěti minutách bez příchozích požadavků. První volání k probuzení nečinného koncového bodu zahrnuje krátkou prodlevu.	On

Aktivace koncových bodů modelu

Koncové body modelu můžete aktivovat přímo z rozhraní Fabric. Přejděte na verzi, kterou chcete použít pro predikce v reálném čase, a vyberte z pásky Aktivovat koncový bod verze.

Zpráva Toast ukazuje, že Fabric připravuje váš endpoint k poskytování predikcí, a stav endpointu se změní na Activating. V zákulisí Fabric spouští základní infrastrukturu kontejnerů pro hostování vašeho modelu. Během několika minut je váš koncový bod připravený k poskytování předpovědí.

Každý koncový bod má stav, který ukazuje, zda je připraven poskytovat predikce v reálném čase:

Stav	Description
Inactive	Endpoint není aktivován pro poskytování predikcí v reálném čase a nespotřebovává kapacitu Fabric.
Activating	Koncový bod se konfiguruje tak, aby sloužil predikcím v reálném čase. Na pozadí Fabric nastaví základní infrastrukturu kontejneru pro hostování modelu. Během několika minut je koncový bod aktivní.
Active	Koncový bod je připravený k poskytování předpovědí v reálném čase. Na pozadí Fabric spravuje základní infrastrukturu a škáluje využití prostředků na základě příchozího provozu. Vyšší provoz vede k vyššímu využití kapacity Fabric.
Deactivating	Endpoint je deaktivován, takže již neslouží pro predikce v reálném čase ani nezabírá kapacitu Fabric. Na pozadí Fabric demontuje základní infrastrukturu kontejnerů.

Poznámka:

Modely ML můžou podporovat aktivní koncové body až pro pět verzí najednou. Pokud chcete poskytovat předpovědi ze šesté verze, musíte nejprve deaktivovat aktivní koncový bod.

Správa koncových bodů modelu

Pro přehled aktivních koncových bodů vašeho modelu vyberte Spravovat koncové body na pásce v rozhraní. Každý model má přizpůsobitelný výchozí koncový bod, který obsluhuje předpovědi z vámi zvolené verze. Výchozí verzi můžete aktualizovat pomocí rozbalovacího výběru v nastavení panelu.

Důležité

Pokud ji plánujete používat, nastavte výchozí vlastnost na aktivní verzi. Pokud nenastavíte výchozí vlastnost nebo ji nastavíte na neaktivní verzi, volání výchozího endpointu selžou.

Nastavení koncových zařízení modelu uvádí všechny verze s aktivními koncovými body. Automatické usnutí každého koncového bodu můžete upravit přepínáním přepínač na Zapnuto nebo Vypnuto.

Návod

Aktivní endpointy s automatickým usnutím zapnutým vstupují do nečinného stavu po pěti minutách bez provozu. První volání k jejich probuzení je spojeno s krátkým zpožděním. Možná byste měli tuto vlastnost vypnout pro koncové body v produkci.

Dotazování koncových bodů modelu pro predikce v reálném čase

Endpointy modelu můžete okamžitě testovat pomocí prostředí s minimem psaní kódu v nástroji Fabric. Přejděte na verzi s aktivním endpointem a vyberte Preview predictions z pásky v rozhraní. Můžete posílat vzorkové požadavky na koncový bod a získat ukázkové predikce v reálném čase pomocí formulářových polí, která odpovídají vstupnímu podpisu modelu.

Vyberte Autofill pro vyplnění polí formuláře náhodnými vzorkovými hodnotami. Můžete přidat více sad hodnot formulářů a otestovat endpoint s více vstupy. Vyberte Získat předpovědi a odešlete koncovému bodu ukázkový požadavek.

Pokud dáváte přednost formátování ukázkových požadavků jako datových částí JSON, změňte zobrazení pomocí selektoru rozevíracího seznamu.

Deaktivace koncových bodů modelu

Koncové body modelu můžete deaktivovat přímo z rozhraní Fabric. Přejděte na verzi, kde už není potřeba podávat predikce v reálném čase, a vyberte na pásce v rozhraní možnost Deaktivovat endpoint verze.

Oznámení zobrazuje, že Fabric ruší vaše aktivní nasazení, a stav koncového bodu se změní na Deactivating. Endpoint nemůže podávat predikce v reálném čase, pokud ho znovu neaktivujete.

Koncové body pro více verzí můžete deaktivovat najednou v podokně nastavení modelu. Na pásu karet v rozhraní vyberte možnost Spravovat koncové body a poté vyberte jeden či více aktivních koncových bodů, které chcete deaktivovat.

Míra spotřeby

Hostování aktivních koncových bodů modelu spotřebovává kapacitní jednotky Fabric (CU). Koncové body běží na výpočetních uzlech a můžou automaticky vertikálně navýšit kapacitu až na tři uzly na základě příchozího provozu. Fakturace se počítá podle počtu uzlů, když je koncový bod aktivní. Následující tabulka ukazuje spotřebu CU pro aktivní koncový bod modelu ML.

Operace	Operační měrná jednotka	Míra spotřeby
Koncový bod modelu	1 koncový bod modelu (verze) za sekundu na jeden uzel	5 CU sekund

Následující tabulka ukazuje příklady scénářů a jejich odpovídající míry spotřeby a hodinové náklady.

Scénář	Description	Míra spotřeby	Hodinové náklady
Modely s neaktivními koncovými body	Tyto modely nemají žádné koncové body aktivní verze a žádné přidružené využití prostředků. Nezahrnují žádné další náklady.	0 sekund CU	0 CU hodina
Modely s aktivními, ale nečinnými koncovými body	Tyto modely mají jeden nebo více aktivních koncových verzí, ale bez pravidelného provozu se všechny koncové body škálují na nulu, což automaticky snižuje náklady.	5 CU sekund	0,42 hodiny CU
Modely s 1 aktivním koncovým bodem a konstantním nízkým provozem	Tyto modely mají pouze 1 aktivní koncový bod verze, který poskytuje předpovědi, ale bez dostatečného provozu ke spuštění plné expanze. Jeden uzel může obsluhovat veškerý provoz. Jiné koncové verze mohou být neaktivní nebo nečinné.	5 CU sekund	5 CU HODIN
Modely s 1 aktivním koncovým bodem a konstantním vysokým provozem	Tyto modely mají pouze 1 aktivní koncový bod verze, který obsluhuje predikce, s dostatečným provozem, aby se aktivovalo plné škálování. Ostatní koncové body verzí mohou být neaktivní nebo nečinné.	15 CU sekund	15 HODIN CU
Modely s 5 aktivními koncovými body a konstantním vysokým provozem	Tyto modely mají 5 koncových bodů aktivní verze (aktuální limit), které obsluhují predikce, z nichž každý má dostatečný provoz k aktivaci úplného horizontálního navýšení kapacity.	75 sekund CU	75 CU hodin

Aplikace Fabric Capacity Metrics zobrazuje celkové využití kapacity pro operace na koncovém bodu modelu pod názvem "Model Endpoint". Navíc si uživatelé mohou zobrazit souhrn svých fakturačních poplatků za využití Model Endpoint pod fakturační položkou "ML Model Endpoint Capacity Usage CU".

Operace koncového bodu modelu se klasifikuje jako operace na pozadí.

Sazby spotřeby se můžou kdykoli změnit. Microsoft používá přiměřené úsilí k poskytování oznámení prostřednictvím e-mailu nebo prostřednictvím oznámení v produktu. Změny jsou účinné k datu uvedenému v poznámkách k vydání Microsoft nebo na blogu Microsoft Fabric. Pokud některá změna koncového bodu modelu v míře spotřeby Fabric podstatně zvýší požadované kapacitní jednotky (CU), mohou zákazníci využít možnosti zrušení dostupné pro vybraný způsob platby.

Související obsah

• Spravovat a dotazovat koncové body programovaně pomocí ML modelu endpoint REST API.
• Volání koncových bodů modelu z Toku dat Gen2 pro rozšiřování dat v reálném čase
• Generujte dávkové predikce pomocí PREDICT funkce v Fabric notebooks.
• Zjistěte více o trénování modelů a experimentování v Fabric.
• Chybí nám funkce, kterou potřebujete? Navrhněte ji ve fóru Fabric Nápady.