Monitorování online koncových bodů

  • Článek

V tomto článku se dozvíte, jak monitorovat online koncové body služby Azure Machine Learning. Pomocí Application Insights můžete zobrazovat metriky a vytvářet upozornění, abyste mohli mít stále aktuální informace o online koncových bodech.

V tomto článku získáte informace o těchto tématech:

  • Zobrazení metrik pro online koncový bod
  • Vytvoření řídicího panelu pro metriky
  • Vytvoření upozornění na metriku

Důležité

Položky označené v tomto článku (Preview) jsou aktuálně ve verzi Public Preview. Verze Preview se poskytuje bez smlouvy o úrovni služeb a nedoporučuje se pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Požadavky

  • Nasazení online koncového bodu služby Azure Machine Learning
  • K koncovému bodu musíte mít alespoň přístup čtenáře .

Metriky

Stránky metrik pro online koncové body nebo nasazení můžete zobrazit v Azure Portal. Snadným způsobem, jak získat přístup k těmto stránkám metrik, jsou odkazy dostupné v uživatelském rozhraní studio Azure Machine Learning – konkrétně na kartě Podrobnosti na stránce koncového bodu. Následující odkazy vás přesnou stránku metrik na Azure Portal koncového bodu nebo nasazení přesnou stránku. Alternativně můžete také přejít do Azure Portal a vyhledat stránku metrik pro koncový bod nebo nasazení.

Přístup ke stránkám metrik prostřednictvím odkazů dostupných ve studiu:

  1. Přejděte na studio Azure Machine Learning.

  2. V levém navigačním panelu vyberte stránku Koncové body .

  3. Vyberte koncový bod kliknutím na jeho název.

  4. Výběrem možnosti Zobrazit metriky v části Atributy koncového bodu otevřete stránku metrik koncového bodu v Azure Portal.

  5. Výběrem možnosti Zobrazit metriky v části pro každé dostupné nasazení otevřete stránku metrik nasazení v Azure Portal.

    Snímek obrazovky znázorňující přístup k metrikám koncového bodu a nasazení z uživatelského rozhraní studia

Přímý přístup k metrikám z Azure Portal:

  1. Přejděte na Azure Portal.

  2. Přejděte k online koncovému bodu nebo prostředku nasazení.

    Online koncové body a nasazení jsou prostředky Azure Resource Manager (ARM), které najdete tak, že přejdete do vlastní skupiny prostředků. Vyhledejte typy prostředků online koncový bod služby Machine Learning a online nasazení Služby Machine Learning.

  3. V levém sloupci vyberte Metriky.

Dostupné metriky

Zobrazené metriky se budou lišit v závislosti na vybraném prostředku. Metriky jsou pro online koncové body a online nasazení vymezeny odlišně.

Metriky v oboru koncového bodu

  • Latence požadavku
  • Latence požadavku P50 (latence požadavků na 50. percentil)
  • Latence požadavku P90 (latence požadavku na 90. percentilu)
  • Latence požadavku P95 (latence požadavků na 95. percentilu)
  • Žádosti za minutu
  • Nová připojení za sekundu
  • Počet aktivních připojení
  • Bajty v síti

Rozdělení na následující dimenze:

  • Nasazení
  • Stavový kód
  • Třída stavového kódu
  • Stavový kód modelu

Omezování šířky pásma

Při překročení limitů spravovaných online koncových bodů dojde k omezení šířky pásma (viz část Spravované online koncové body v tématu Správa a zvýšení kvót prostředků pomocí služby Azure Machine Learning). Pokud chcete zjistit, jestli dochází k omezování požadavků:

  • Monitorování metriky Síťové bajty
  • Upoutávky odpovědí budou mít tato pole: ms-azureml-bandwidth-request-delay-ms a ms-azureml-bandwidth-response-delay-ms. Hodnoty polí představují zpoždění omezování šířky pásma v milisekundách.

Metriky v oboru nasazení

  • Procento využití procesoru
  • Kapacita nasazení (počet instancí požadovaného typu instance)
  • Využití disků
  • Využití paměti GPU (platí jenom pro instance GPU)
  • Využití GPU (platí jenom pro instance GPU)
  • Procento využití paměti

Rozdělení na následující dimenzi:

  • InstanceId

Vytvoření řídicího panelu

Můžete vytvořit vlastní řídicí panely pro vizualizaci dat z více zdrojů v Azure Portal, včetně metrik pro váš online koncový bod. Další informace najdete v tématu Vytváření vlastních řídicích panelů klíčových ukazatelů výkonu pomocí Application Insights.

Vytvoření upozornění

Můžete také vytvořit vlastní výstrahy, které vás upozorní na důležité aktualizace stavu vašeho online koncového bodu:

  1. V pravém horním rohu stránky metrik vyberte Nové pravidlo upozornění.

    Monitorování online koncových bodů: snímek obrazovky s tlačítkem Nové pravidlo upozornění obklopeným červeným rámečkem

  2. Vyberte název podmínky a určete, kdy se má upozornění aktivovat.

    Monitorování online koncových bodů: snímek obrazovky s tlačítkem Konfigurovat logiku signálů obklopeným červeným rámečkem

  3. Vyberte Přidat skupiny> akcíVytvořit skupiny akcí a určete, co se má stát při aktivaci upozornění.

  4. Kliknutím na Vytvořit pravidlo upozornění dokončete vytváření upozornění.

Protokoly

Pro online koncové body je možné povolit tři protokoly:

  • AMLOnlineEndpointTrafficLog (Preview): Pokud chcete zkontrolovat informace o požadavku, můžete povolit protokoly provozu. Tady je několik případů:

    • Pokud odpověď není 200, zkontrolujte hodnotu sloupce ResponseCodeReason a zjistěte, co se stalo. Projděte si také důvod v části Stavové kódy HTTPS článku Řešení potíží s online koncovými body .

    • Kód odpovědi a důvod odpovědi modelu můžete zkontrolovat ve sloupcích ModelStatusCode a ModelStatusReason.

    • Chcete zkontrolovat dobu trvání požadavku, jako je celková doba trvání, doba trvání požadavku a odpovědi a zpoždění způsobené omezováním sítě. Latenci rozpisu můžete zkontrolovat v protokolech.

    • Pokud chcete zkontrolovat, kolik požadavků nebo požadavků v poslední době selhalo. Můžete také povolit protokoly.

  • AMLOnlineEndpointConsoleLog: Obsahuje protokoly, které kontejnery vypíše do konzoly. Tady je několik případů:

    • Pokud se kontejner nepodaří spustit, může být pro ladění užitečný protokol konzoly.

    • Monitorujte chování kontejneru a ujistěte se, že jsou všechny požadavky správně zpracovány.

    • Zapište ID požadavků do protokolu konzoly. Když připojíte ID požadavku, AMLOnlineEndpointConsoleLog a AMLOnlineEndpointTrafficLog v pracovním prostoru služby Log Analytics, můžete trasovat požadavek ze vstupního síťového bodu online koncového bodu do kontejneru.

    • Tento protokol můžete použít také k analýze výkonu při určování času potřebného modelem ke zpracování jednotlivých požadavků.

  • AMLOnlineEndpointEventLog (Preview): Obsahuje informace o událostech týkající se životního cyklu kontejneru. V současné době poskytujeme informace o následujících typech událostí:

    Name Message
    Couvnutí Obnovení restartování neúspěšného kontejneru
    Vytáhl Image kontejneru "<IMAGE_NAME>" už na počítači existuje
    Zabíjení Odvození kontejneru – test aktivity serveru selhal, se restartuje
    Vytvořeno Vytvoření image-fetcher kontejneru
    Vytvořeno Vytvoření kontejneru inference-server
    Vytvořeno Vytvoření připojení modelu kontejneru
    Není v pořádku Test aktivity selhal: <FAILURE_CONTENT>
    Není v pořádku Test připravenosti selhal: <FAILURE_CONTENT>
    Zahájeno Spuštění kontejneru image-fetcher
    Zahájeno Spuštění kontejneru inference-server
    Zahájeno Spuštění připojení modelu kontejneru
    Zabíjení Zastavení kontejneru inference-server
    Zabíjení Zastavení připojení modelu kontejneru

Povolení nebo zakázání protokolů

Důležité

Protokolování používá Azure Log Analytics. Pokud v současné době nemáte pracovní prostor služby Log Analytics, můžete ho vytvořit pomocí postupu v části Vytvoření pracovního prostoru služby Log Analytics v Azure Portal.

  1. V Azure Portal přejděte do skupiny prostředků, která obsahuje váš koncový bod, a vyberte koncový bod.

  2. V části Monitorování na levé straně stránky vyberte Nastavení diagnostiky a pak Přidat nastavení.

  3. Vyberte kategorie protokolů, které chcete povolit, vyberte Odeslat do pracovního prostoru služby Log Analytics a pak vyberte pracovní prostor služby Log Analytics, který chcete použít. Nakonec zadejte název nastavení diagnostiky a vyberte Uložit.

    Snímek obrazovky s dialogovým oknem nastavení diagnostiky

    Důležité

    Povolení připojení k pracovnímu prostoru služby Log Analytics může trvat až hodinu. Počkejte hodinu a pak pokračujte v dalších krocích.

  4. Odešlete žádosti o bodování do koncového bodu. Tato aktivita by měla v protokolech vytvářet položky.

  5. Ve vlastnostech online koncového bodu nebo v pracovním prostoru služby Log Analytics vyberte na levé straně obrazovky Protokoly .

  6. Zavřete dialogové okno Dotazy , které se otevře automaticky, a potom poklikejte na AmlOnlineEndpointConsoleLog. Pokud ho nevidíte, použijte pole Hledat .

    Snímek obrazovky znázorňující dotazy na protokoly

  7. Vyberte Run (Spustit).

    Snímky obrazovky s výsledky po spuštění dotazu

Ukázky dotazů

Ukázkové dotazy najdete na kartě Dotazy při zobrazení protokolů. Příklady dotazů najdete vyhledáním online koncového bodu .

Snímek obrazovky s ukázkovými dotazy

Podrobnosti o sloupci protokolu

Následující tabulky obsahují podrobnosti o datech uložených v jednotlivých protokolech:

AMLOnlineEndpointTrafficLog (Preview)

Název pole Description
Metoda Požadovaná metoda z klienta.
Cesta Požadovaná cesta z klienta.
SubscriptionId ID předplatného služby Machine Learning online koncového bodu.
Id pracovního prostoru AzureML ID pracovního prostoru Machine Learning online koncového bodu.
Název pracovního prostoru AzureML Název pracovního prostoru služby Machine Learning online koncového bodu.
Název koncového bodu Název online koncového bodu.
Název nasazení Název online nasazení.
Protokol Protokol požadavku.
Kód odpovědi Konečný kód odpovědi vrácený klientovi.
ResponseCodeReason Konečný důvod kódu odpovědi vrácený klientovi.
ModelStatusCode Stavový kód odpovědi z modelu.
ModelStatusReason Důvod stavu odpovědi z modelu.
RequestPayloadSize Celkový počet bajtů přijatých od klienta
ResponsePayloadSize Celkový počet bajtů odeslaných zpět klientovi.
Useragent Hlavička uživatelského agenta požadavku, včetně komentářů, ale zkrácená na maximálně 70 znaků.
XRequestId ID požadavku vygenerované službou Azure Machine Learning pro interní trasování.
XMSClientRequestId ID sledování vygenerované klientem.
TotalDurationMs Doba trvání v milisekundách od času zahájení požadavku do posledního bajtu odpovědi odeslaného zpět klientovi. Pokud se klient odpojil, měří od času spuštění do času odpojení klienta.
RequestDurationMs Doba trvání v milisekundách od času zahájení požadavku do posledního bajtu požadavku přijatého od klienta
ResponseDurationMs Doba trvání v milisekundách od času zahájení požadavku do prvního bajtu odpovědi přečtené z modelu.
RequestThrottlingDelayMs Zpoždění přenosu dat požadavků v milisekundách kvůli omezování sítě
ResponseThrottlingDelayMs Zpoždění přenosu dat odpovědi v milisekundách kvůli omezování sítě

AMLOnlineEndpointConsoleLog

Název pole Description
TimeGenerated Časové razítko (UTC) okamžiku vygenerování protokolu
OperationName Operace přidružená k záznamu protokolu.
InstanceId ID instance, která vygenerovala tento záznam protokolu.
DeploymentName Název nasazení přidruženého k záznamu protokolu.
ContainerName Název kontejneru, ve kterém se protokol vygeneroval.
Message Obsah protokolu.

AMLOnlineEndpointEventLog (Preview)

Název pole Description
TimeGenerated Časové razítko (UTC) okamžiku vygenerování protokolu
OperationName Operace přidružená k záznamu protokolu.
InstanceId ID instance, která vygenerovala tento záznam protokolu.
DeploymentName Název nasazení přidruženého k záznamu protokolu.
Name Název události.
Message Obsah události.

Další kroky