Övervaka onlineslutpunkter

  • Artikel

Azure Machine Learning använder integrering med Azure Monitor för att spåra och övervaka mått och loggar för onlineslutpunkter. Du kan visa mått i diagram, jämföra mellan slutpunkter och distributioner, fästa på Instrumentpaneler i Azure-portalen, konfigurera aviseringar, fråga från loggtabeller och skicka loggar till mål som stöds. Du kan också använda Application Insights för att analysera händelser från användarcontainrar.

  • Mått: För mått på slutpunktsnivå, till exempel svarstid för begäranden, begäranden per minut, nya anslutningar per sekund och nätverksbyte, kan du öka detaljnivån för att se information på distributionsnivå eller statusnivå. Mått på distributionsnivå som processor-/GPU-användning och minnes- eller diskanvändning kan också ökas nedåt till instansnivå. Med Azure Monitor kan du spåra dessa mått i diagram och konfigurera instrumentpaneler och aviseringar för ytterligare analys.

  • Loggar: Du kan skicka mått till Log Analytics-arbetsytan där du kan köra frågor mot loggarna med kusto-frågesyntax. Du kan också skicka mått till Azure Storage-konton och/eller Event Hubs för vidare bearbetning. Dessutom kan du använda dedikerade loggtabeller för onlineslutpunktsrelaterade händelser, trafik och konsolloggar (container). Kusto-frågan tillåter komplex analys och sammanfogning av flera tabeller.

  • Application Insights: Utvalda miljöer omfattar integrering med Application Insights och du kan aktivera eller inaktivera den här integreringen när du skapar en onlinedistribution. Inbyggda mått och loggar skickas till Application Insights och du kan använda de inbyggda funktionerna i Application Insights (till exempel Live-mått, transaktionssökning, fel och prestanda) för ytterligare analys.

I den här artikeln lär du dig hur du:

  • Välj rätt metod för att visa och spåra mått och loggar
  • Visa mått för din onlineslutpunkt
  • Skapa en instrumentpanel för dina mått
  • Skapa en måttavisering
  • Visa loggar för din onlineslutpunkt
  • Använda Application Insights för att spåra mått och loggar

Förutsättningar

  • Distribuera en Azure Machine Learning-slutpunkt online.
  • Du måste ha minst läsaråtkomst på slutpunkten.

Mått

Du kan visa måttsidor för onlineslutpunkter eller distributioner i Azure-portalen. Ett enkelt sätt att komma åt dessa måttsidor är via länkar som är tillgängliga i Azure Machine Learning-studio användargränssnitt – särskilt på fliken Information på en slutpunkts sida. Genom att följa dessa länkar kommer du till den exakta måttsidan i Azure-portalen för slutpunkten eller distributionen. Du kan också gå in på Azure-portalen för att söka efter måttsidan för slutpunkten eller distributionen.

Så här kommer du åt måttsidorna via länkar som är tillgängliga i studion:

  1. Gå till Azure Machine Learning-studio.

  2. I det vänstra navigeringsfältet väljer du sidan Slutpunkter.

  3. Välj en slutpunkt genom att klicka på dess namn.

  4. Välj Visa mått i avsnittet Attribut i slutpunkten för att öppna slutpunktens måttsida i Azure-portalen.

  5. Välj Visa mått i avsnittet för varje tillgänglig distribution för att öppna distributionens måttsida i Azure-portalen.

    A screenshot showing how to access the metrics of an endpoint and deployment from the studio UI.

Så här kommer du åt mått direkt från Azure-portalen:

  1. Logga in på Azure-portalen.

  2. Navigera till onlineslutpunkten eller distributionsresursen.

    Onlineslutpunkter och distributioner är Azure Resource Manager-resurser (ARM) som kan hittas genom att gå till deras ägande resursgrupp. Leta efter resurstyperna Machine Learning online-slutpunkt och Machine Learning Online-distribution.

  3. I den vänstra kolumnen väljer du Mått.

Tillgängliga mått

Beroende på vilken resurs du väljer kommer de mått som du ser att vara olika. Måtten är begränsade på olika sätt för onlineslutpunkter och onlinedistributioner.

Mått i slutpunktsomfång

  • Svarstid för begäran
  • Frågesvarstid P50 (Begärandesvarstid vid den 50:e percentilen)
  • Frågesvarstid P90 (Begärandesvarstid vid den 90:e percentilen)
  • Frågesvarstid P95 (Begärandesvarstid vid den 95:e percentilen)
  • Antal begäranden per minut
  • Nya anslutningar per sekund
  • Antal aktiva anslutningar
  • Nätverksbyte

Dela upp efter följande dimensioner:

  • Distribution
  • Statuskod
  • Statuskodklass

Du kan till exempel dela upp längs distributionsdimensionen för att jämföra svarstiden för begäranden för olika distributioner under en slutpunkt.

Bandbreddsbegränsning

Bandbredden begränsas om kvotgränserna överskrids för hanterade onlineslutpunkter. Mer information om gränser finns i artikeln om gränser för onlineslutpunkter. Så här avgör du om begäranden begränsas:

  • Övervaka måttet "Nätverksbyte"
  • Svarstrailern har fälten: ms-azureml-bandwidth-request-delay-ms och ms-azureml-bandwidth-response-delay-ms. Värdena för fälten är fördröjningarna, i millisekunder, för bandbreddsbegränsningen. Mer information finns i Problem med bandbreddsbegränsning.

Mått i distributionsomfång

  • Cpu-användningsprocent
  • Distributionskapacitet (antalet instanser av den begärda instanstypen)
  • Diskanvändning
  • GPU-minnesanvändning (gäller endast för GPU-instanser)
  • GPU-användning (gäller endast för GPU-instanser)
  • Procentandel minnesanvändning

Dela upp efter följande dimension:

  • Instans-ID

Du kan till exempel jämföra processor- och/eller minnesanvändning mellan olika instanser för en onlinedistribution.

Skapa instrumentpaneler och aviseringar

Med Azure Monitor kan du skapa instrumentpaneler och aviseringar baserat på mått.

Skapa instrumentpaneler och visualisera frågor

Du kan skapa anpassade instrumentpaneler och visualisera mått från flera källor i Azure-portalen, inklusive måtten för din onlineslutpunkt. Mer information om hur du skapar instrumentpaneler och visualiserar frågor finns i Instrumentpaneler med hjälp av loggdata och instrumentpaneler med hjälp av programdata.

Skapa aviseringar

Du kan också skapa anpassade aviseringar för att meddela dig om viktiga statusuppdateringar till din onlineslutpunkt:

  1. Längst upp till höger på måttsidan väljer du Ny aviseringsregel.

    Screenshot showing 'New alert rule' button surrounded by a red box.

  2. Välj ett villkorsnamn för att ange när aviseringen ska utlösas.

    Screenshot showing 'Configure signal logic' button surrounded by a red box.

  3. Välj Lägg till åtgärdsgrupper>Skapa åtgärdsgrupper för att ange vad som ska hända när aviseringen utlöses.

  4. Välj Skapa aviseringsregel för att slutföra skapandet av aviseringen.

Mer information finns i Skapa Azure Monitor-aviseringsregler.

Loggar

Det finns tre loggar som kan aktiveras för onlineslutpunkter:

  • AmlOnlineEndpointTrafficLog: Du kan välja att aktivera trafikloggar om du vill kontrollera informationen i din begäran. Nedan visas några fall:

    • Om svaret inte är 200 kontrollerar du värdet för kolumnen "ResponseCodeReason" för att se vad som hände. Kontrollera också orsaken i avsnittet "HTTPS-statuskoder" i artikeln Felsöka onlineslutpunkter .

    • Du kan kontrollera svarskoden och svarsorsaken för din modell från kolumnen "ModelStatusCode" och "ModelStatusReason".

    • Du vill kontrollera varaktigheten för begäran, till exempel total varaktighet, varaktighet för begäran/svar och fördröjningen som orsakas av nätverksbegränsningen. Du kan kontrollera det från loggarna för att se svarstiden för uppdelningen.

    • Om du vill kontrollera hur många begäranden eller misslyckade begäranden som nyligen har misslyckats. Du kan också aktivera loggarna.

  • AmlOnlineEndpointConsoleLog: Innehåller loggar som containrarna matar ut till konsolen. Nedan visas några fall:

    • Om containern inte startar kan konsolloggen vara användbar för felsökning.

    • Övervaka containerbeteendet och se till att alla begäranden hanteras korrekt.

    • Skriv begärande-ID:t i konsolloggen. När du ansluter till begärande-ID:t, AmlOnlineEndpointConsoleLog och AmlOnlineEndpointTrafficLog på Log Analytics-arbetsytan, kan du spåra en begäran från nätverksinmatningspunkten för en onlineslutpunkt till containern.

    • Du kan också använda den här loggen för prestandaanalys för att fastställa den tid som krävs av modellen för att bearbeta varje begäran.

  • AmlOnlineEndpointEventLog: Innehåller händelseinformation om containerns livscykel. För närvarande tillhandahåller vi information om följande typer av händelser:

    Name Meddelande
    BackOff Säkerhetskopiering av omstart av misslyckad container
    Drog Containeravbildningen "<IMAGE_NAME>" finns redan på datorn
    Döda Containerinferens-server misslyckad liveness-avsökning, startas om
    Skapad Skapad containeravbildningshämtare
    Skapad Skapad containerinferens-server
    Skapad Skapad containermodellmontering
    LivenessProbeFailed Liveness-avsökningen misslyckades: <FAILURE_CONTENT>
    ReadinessProbeFailed Beredskapsavsökningen misslyckades: <FAILURE_CONTENT>
    Börjat Startad containeravbildningshämtare
    Börjat Startad containerinferens-server
    Börjat Startad containermodellmontering
    Döda Stoppa containerinferens-server
    Döda Stoppa containermodellmontering

Så här aktiverar/inaktiverar du loggar

Viktigt!

Loggning använder Azure Log Analytics. Om du för närvarande inte har en Log Analytics-arbetsyta kan du skapa en med hjälp av stegen i Skapa en Log Analytics-arbetsyta i Azure-portalen.

  1. I Azure-portalen går du till den resursgrupp som innehåller slutpunkten och väljer sedan slutpunkten.

  2. I avsnittet Övervakning till vänster på sidan väljer du Diagnostikinställningar och sedan Lägg till inställningar.

  3. Välj de loggkategorier som ska aktiveras, välj Skicka till Log Analytics-arbetsyta och välj sedan den Log Analytics-arbetsyta som ska användas. Ange slutligen ett namn på diagnostikinställningen och välj Spara.

    Screenshot of the diagnostic settings dialog.

    Viktigt!

    Det kan ta upp till en timme innan anslutningen till Log Analytics-arbetsytan aktiveras. Vänta en timme innan du fortsätter med nästa steg.

  4. Skicka bedömningsbegäranden till slutpunkten. Den här aktiviteten bör skapa poster i loggarna.

  5. Från antingen onlineslutpunktsegenskaperna eller Log Analytics-arbetsytan väljer du Loggar till vänster på skärmen.

  6. Stäng dialogrutan Frågor som öppnas automatiskt och dubbelklicka sedan på AmlOnlineEndpointConsoleLog. Om du inte ser det använder du fältet Sök .

    Screenshot showing the log queries.

  7. Markera Kör.

    Screenshots of the results after running a query.

Exempelfrågor

Du hittar exempelfrågor på fliken Frågor när du visar loggar. Sök efter Online-slutpunkt för att hitta exempelfrågor.

Screenshot of the example queries.

Information om loggkolumn

Följande tabeller innehåller information om de data som lagras i varje logg:

AmlOnlineEndpointTrafficLog

Property beskrivning
Metod Den begärda metoden från klienten.
Sökväg Den begärda sökvägen från klienten.
SubscriptionId Prenumerations-ID för maskininlärning för onlineslutpunkten.
AzureMLWorkspaceId Maskininlärningsarbetsytans ID för onlineslutpunkten.
AzureMLWorkspaceName Maskininlärningsarbetsytans namn på onlineslutpunkten.
EndpointName Namnet på onlineslutpunkten.
DeploymentName Namnet på onlinedistributionen.
Protokoll Protokollet för begäran.
ResponseCode Den slutliga svarskoden som returnerades till klienten.
ResponseCodeReason Den slutliga orsaken till svarskoden som returnerades till klienten.
ModelStatusCode Svarsstatuskoden från modellen.
ModelStatusReason Orsaken till svarsstatusen från modellen.
RequestPayloadSize Totalt antal byte som tagits emot från klienten.
ResponsePayloadSize Det totala antalet byte som skickas tillbaka till klienten.
UserAgent Användarens agenthuvud för begäran, inklusive kommentarer men trunkerade till högst 70 tecken.
XRequestId Begärande-ID:t som genereras av Azure Machine Learning för intern spårning.
XMSClientRequestId Spårnings-ID:t som genereras av klienten.
TotalDurationMs Varaktighet i millisekunder från starttiden för begäran till den senaste svarsbyte som skickades tillbaka till klienten. Om klienten är frånkopplad mäter den från starttiden till klientens frånkopplingstid.
RequestDurationMs Varaktighet i millisekunder från starttiden för begäran till den sista byte för den begäran som togs emot från klienten.
ResponseDurationMs Varaktighet i millisekunder från starttiden för begäran till den första svarsbyteläsningen från modellen.
RequestThrottlingDelayMs Fördröjning i millisekunder vid överföring av begärandedata på grund av nätverksbegränsning.
ResponseThrottlingDelayMs Fördröjning i millisekunder vid överföring av svarsdata på grund av nätverksbegränsning.

AmlOnlineEndpointConsoleLog

Property beskrivning
TimeGenerated Tidsstämpeln (UTC) för när loggen genererades.
OperationName Åtgärden som är associerad med loggposten.
InstanceId ID:t för den instans som genererade den här loggposten.
DeploymentName Namnet på distributionen som är associerad med loggposten.
ContainerName Namnet på containern där loggen genererades.
Meddelande Innehållet i loggen.

AmlOnlineEndpointEventLog

Property beskrivning
TimeGenerated Tidsstämpeln (UTC) för när loggen genererades.
OperationName Åtgärden som är associerad med loggposten.
InstanceId ID:t för den instans som genererade den här loggposten.
DeploymentName Namnet på distributionen som är associerad med loggposten.
Name Namnet på händelsen.
Meddelande Innehållet i händelsen.

Använda Application Insights

Utvalda miljöer omfattar integrering med Application Insights, och du kan aktivera eller inaktivera den här integreringen när du skapar en onlinedistribution. Inbyggda mått och loggar skickas till Application Insights och du kan använda de inbyggda funktionerna i Application Insights (till exempel Live-mått, transaktionssökning, fel och prestanda) för ytterligare analys.

Mer information finns i Översikt över Application Insights.

I studion kan du använda fliken Övervakning på en onlineslutpunkts sida för att se aktivitetsövervakardiagram på hög nivå för den hanterade onlineslutpunkten. Om du vill använda övervakningsfliken måste du välja Aktivera Application Insight-diagnostik och datainsamling när du skapar slutpunkten.

A screenshot of monitoring endpoint-level metrics in the studio.

Relaterat innehåll