Poskytování predikcí v reálném čase s koncovými body modelu ML (Preview)

Důležité

Tato funkce je ve verzi Preview.

Microsoft Fabric umožňuje obsluhovat predikce v reálném čase z modelů ML se zabezpečenými, škálovatelnými a snadno použitelnými online koncovými body. Tyto koncové body jsou k dispozici jako předdefinované vlastnosti většiny modelů Infrastruktury a nevyžadují žádné nastavení pro spuštění plně spravovaných nasazení v reálném čase.

Koncové body modelu můžete aktivovat, konfigurovat a dotazovat pomocí veřejného rozhraní REST API. Můžete také začít přímo z rozhraní Fabric pomocí low-code platformy a okamžitě spustit koncové body modelu a zobrazit predikce.

Požadavky

• Aby mohl správce poskytovat předpovědi v reálném čase, musí na portálu správce Fabric povolit přepínač nájemce pro koncové body modelu ML.

Omezení

• Koncové body jsou v současné době dostupné pro omezenou sadu typů modelů ML, včetně Keras, LightGBM, Sklearn a XGBoost.
• Koncové body aktuálně nejsou k dispozici pro modely se schématy založenými na tensoru nebo pro žádná schémata.

Začínáme s koncovými body modelu

Modely STROJOVÉho učení v prostředcích Fabric jsou předem připravené s online koncovými body, které je možné použít k poskytování predikcí v reálném čase. Každá registrovaná verze modelu má vyhrazenou adresu URL koncového bodu, kterou najdete pod nadpisem Podrobnosti o koncovém bodu v rozhraní Fabric. Adresa URL končí podcestou označující konkrétní verzi (například /versions/1/score).

Koncové body modelu mají následující vlastnosti:

Vlastnost	Description	výchozí
Výchozí verze	Tato vlastnost (Yes nebo No) označuje, jestli je verze nastavena jako výchozí hodnota modelu pro obsluhu reálných předpovědí. Výchozí verzi můžete přizpůsobit v nastavení modelu.	No
Stav	Tato vlastnost označuje, jestli je koncový bod připravený k předpovědím. Stav může být Inactive, Activating, Active, Deactivatingnebo Failed. Předpovědi mohou obsluhovat pouze aktivní koncové body.	Inactive
Automatický režim spánku	Tato vlastnost (On nebo Off) označuje, jestli má koncový bod, jakmile je aktivní, vertikálně snížit kapacitu na nulu v případě absence provozu. Pokud je automatický režim spánku zapnutý, koncový bod po pěti minutách zadá stav nečinnosti bez příchozích požadavků. První volání k probuzení nečinného koncového bodu zahrnuje krátkou prodlevu.	On

Aktivace koncových bodů modelu

Koncové body modelu můžete aktivovat přímo z rozhraní Fabric. Přejděte na verzi, kterou chcete používat pro predikce v reálném čase, a v pásu karet vyberte možnost "Aktivovat koncový bod verze".

Informační zpráva ukazuje, že Fabric připravuje váš koncový bod pro poskytování předpovědí a stav koncového bodu se mění na "Aktivace". V zákulisí Fabric zprovozňuje základní infrastrukturu kontejneru pro hostování vašeho modelu. Během několika minut je váš koncový bod připravený k poskytování předpovědí.

Každý koncový bod má stav, který označuje, jestli je připravený poskytovat předpovědi v reálném čase:

Stav	Description
Inactive	Koncový bod není aktivovaný, aby sloužil predikcím v reálném čase a nevyužíá kapacitu Fabric.
Activating	Koncový bod se konfiguruje tak, aby sloužil predikcím v reálném čase. Fabric na pozadí nastaví základní infrastrukturu kontejneru pro hostování modelu. Během několika minut je koncový bod aktivní.
Active	Koncový bod je připravený k poskytování předpovědí v reálném čase. V zákulisí Fabric spravuje základní infrastrukturu a zvětšuje využití prostředků na základě příchozího provozu. Vyšší provoz vede k vyššímu využití kapacity Fabric.
Deactivating	Koncový bod se deaktivuje, takže už nebude obsluhovat předpovědi v reálném čase ani spotřebovávat kapacitu Fabric. Fabric v pozadí rozebírá základní kontejnerovou infrastrukturu.

Poznámka:

Modely ML můžou podporovat aktivní koncové body až pro pět verzí najednou. Pokud chcete poskytovat předpovědi ze šesté verze, musíte nejprve deaktivovat aktivní koncový bod.

Správa koncových bodů modelu

Přehled aktivních koncových bodů modelu získáte tak, že na pásu karet v rozhraní vyberete Spravovat koncové body. Každý model má přizpůsobitelný výchozí koncový bod, který obsluhuje předpovědi z vámi zvolené verze. Výchozí verzi můžete aktualizovat pomocí selektoru rozevíracího seznamu v podokně nastavení.

Důležité

Pokud plánujete použít tuto vlastnost, nezapomeňte nastavit výchozí vlastnost na aktivní verzi. Pokud výchozí vlastnost není nastavená nebo je nastavená na neaktivní verzi, volání výchozího koncového bodu selžou.

Všechny verze s aktivními koncovými body jsou uvedené v nastavení koncového bodu modelu. Vlastnost automatického režimu spánku každého koncového bodu můžete upravit přepnutím přepínače na Zapnuto nebo Vypnuto.

Návod

Aktivní koncové body se zapnutým automatickým režimem spánku zadávají stav nečinnosti po pěti minutách bez provozu a první volání, které je probudí, zahrnuje krátkou prodlevu. Tuto vlastnost můžete chtít vypnout pro koncové body v produkčním prostředí.

Dotazování koncových bodů modelu pro predikce v reálném čase

Koncové body modelu jsou k dispozici pro okamžité testování s low-code prostředím ve Fabric. Přejděte na verzi s aktivním koncovým bodem a na pásu karet v rozhraní vyberte Predikce náhledu. Ukázkové požadavky můžete odeslat do koncového bodu a získat ukázkové předpovědi v reálném čase pomocí polí formuláře, která odpovídají vstupnímu podpisu modelu.

Pokud chcete vyplnit pole formuláře náhodnými vzorovými hodnotami, vyberte Automatické vyplňování. Můžete přidat další sady hodnot formuláře pro otestování koncového bodu s více vstupy. Výběrem možnosti Získat předpovědi odešlete koncový bod vaší ukázkové žádosti.

Pokud dáváte přednost formátování ukázkových požadavků jako datových částí JSON, změňte zobrazení pomocí selektoru rozevíracího seznamu.

Deaktivace koncových bodů modelu

Koncové body modelu můžete deaktivovat přímo z rozhraní Fabric. Přejděte na verzi, kterou již nepotřebujete k obsluhování predikcí v reálném čase, a na panelu rozhraní vyberte možnost "Deaktivovat koncový bod verze."

Zpráva s toast zprávou ukazuje, že Fabric demontuje vaše aktivní nasazení a stav koncového bodu se změní na "Deaktivuje". Koncový bod již není schopný obsluhovat předpovědi v reálném čase, pokud ho znovu neaktivujete.

Koncové body pro více verzí můžete deaktivovat najednou v podokně nastavení modelu. Na pásu karet v rozhraní vyberte Spravovat koncové body a zvolte jeden nebo více aktivních koncových bodů, které chcete deaktivovat.

Míra spotřeby

Hostování koncových bodů aktivního modelu spotřebovává jednotky kapacity infrastruktury (CU). Koncové body běží na výpočetních uzlech a můžou automaticky vertikálně navýšit kapacitu až na tři uzly na základě příchozího provozu. Fakturace se počítá podle počtu uzlů, když je koncový bod aktivní. Následující tabulka ukazuje spotřebu CU pro aktivní koncový bod modelu Machine Learning.

Operace	Operační měrná jednotka	Míra spotřeby
koncový bod modelu	1 koncový bod modelu (verze) za sekundu na jeden uzel	5 SEKUND CU

Následující tabulka ukazuje ukázkové scénáře a jejich odpovídající sazby spotřeby a hodinové náklady.

Scénář	Description	Míra spotřeby	Hodinové náklady
Modely s neaktivními koncovými body	Tyto modely nemají žádné koncové body aktivní verze a žádné přidružené využití prostředků. Nezahrnují žádné další náklady.	0 sekund CU	0 CU hodina
Modely s aktivními, ale nečinnými koncovými body	Tyto modely mají jeden nebo více koncových bodů aktivních verzí, ale bez pravidelného provozu byly všechny škálovány na nulu, což automaticky snižuje náklady.	5 SEKUND CU	0,42 hodiny CU
Modely s 1 aktivním koncovým bodem a konstantním nízkým provozem	Tyto modely mají pouze 1 aktivní koncový bod verze, který poskytuje předpovědi, ale bez dostatečného provozu ke spuštění plné expanze. Jeden uzel může obsluhovat veškerý provoz. Jiné koncové body verze můžou být neaktivní nebo nečinné.	5 SEKUND CU	5 CU HODIN
Modely s 1 aktivním koncovým bodem a konstantním vysokým provozem	Tyto modely mají pouze 1 aktivní koncový bod verze sloužící k poskytování předpovědí, s dostatečným provozem pro vyvolání plného rozšíření kapacity. Jiné koncové body verze můžou být neaktivní nebo nečinné.	15 CU sekund	15 HODIN CU
Modely s 5 aktivními koncovými body a konstantním vysokým provozem	Tyto modely mají 5 koncových bodů aktivní verze (aktuální limit), které obsluhují predikce, z nichž každý má dostatečný provoz k aktivaci úplného horizontálního navýšení kapacity.	75 sekund CU	75 CU hodin

Aplikace Fabric Capacity Metrics zobrazuje celkové využití kapacity pro operace koncového bodu modelu pod názvem Koncový bod modelu. Uživatelé si navíc můžou zobrazit souhrn fakturačních poplatků za využití koncového bodu modelu v položce fakturace "ML Model Endpoint Capacity Usage CU" (Využití kapacity koncového bodu modelu ML).

Operace koncového bodu modelu se klasifikuje jako operace na pozadí.

Sazby spotřeby se můžou kdykoli změnit. Microsoft používá přiměřené úsilí k poskytování oznámení prostřednictvím e-mailu nebo prostřednictvím oznámení o produktu. Změny musí být platné k datu uvedené v poznámkách k verzi společnosti Microsoft nebo na blogu Microsoft Fabric. Pokud jakákoli změna koncového bodu modelu v sazbě spotřeby prostředků infrastruktury výrazně zvýší kapacitní jednotky (CU), které je potřeba použít, můžou zákazníci použít možnosti zrušení dostupné pro zvolený způsob platby.

Související obsah

• S využitím rozhraní REST API koncového bodu modelu ML můžete spravovat koncové body a dotazovat je prostřednictvím kódu programu.
• Generování dávkových predikcí pomocí PREDICT funkce v poznámkových blocích Fabric
• Přečtěte si další informace o trénování modelu a experimentování v Fabric.
• Chybí nám funkce, kterou potřebujete? Navrhněte to na fóru Fabric Ideas.