Azure Machine Learning maakt gebruik van integratie met Azure Monitor om metrische gegevens en logboeken voor online-eindpunten bij te houden en te bewaken. U kunt metrische gegevens weergeven in grafieken, metrische gegevens vergelijken tussen eindpunten en implementaties, metrische gegevens vastmaken aan dashboards van Azure Portal, waarschuwingen configureren, querylogboektabellen en pushlogboeken naar ondersteunde doelen pushen. U kunt Application Insights ook gebruiken om gebeurtenissen uit gebruikerscontainers te analyseren.
Metrische gegevens: Voor metrische gegevens op eindpuntniveau, zoals latentie van aanvragen, aanvragen per minuut, nieuwe verbindingen per seconde en netwerkbytes, kunt u inzoomen om gedetailleerde informatie weer te geven op implementatieniveau of statusniveau. U kunt ook inzoomen op metrische gegevens op implementatieniveau, zoals CPU-/GPU-gebruik en geheugen- of schijfgebruik op exemplaarniveau. In Monitor kunt u deze metrische gegevens bijhouden in grafieken en u kunt dashboards en waarschuwingen instellen voor verdere analyse.
Logboeken: U kunt metrische gegevens verzenden naar een Log Analytics-werkruimte, waar u de Kusto-querysyntaxis kunt gebruiken om query's uit te voeren op de logboeken. U kunt ook metrische gegevens verzenden naar Azure Storage-accounts of Azure Event Hubs voor verdere verwerking. Voor verkeer-, consolelogboeken (containerlogboeken) en gebeurtenissen met betrekking tot online-eindpunten kunt u speciale logboektabellen gebruiken. Kusto-query's ondersteunen complexe analysemogelijkheden en het samenvoegen van meerdere tabellen.
Application Insights: Gecureerde omgevingen omvatten integratie met Application Insights. U kunt deze integratie in- of uitschakelen wanneer u een online implementatie maakt. Wanneer u deze functie inschakelt, worden ingebouwde metrische gegevens en logboeken verzonden naar Application Insights. Vervolgens kunt u de ingebouwde functies van Application Insights gebruiken voor verdere analyse. Voorbeelden van deze functies zijn live metrische gegevens, de transactiezoekopdracht, de weergave fouten en de prestatieweergave.
In dit artikel ziet u het volgende:
Kies de juiste methode om metrische gegevens en logboeken weer te geven en bij te houden.
Bekijk metrische gegevens voor uw online-eindpunt.
Maak een dashboard voor uw metrische gegevens.
Een waarschuwing voor metrische gegevens maken.
Bekijk logboeken voor uw online-eindpunt.
Gebruik Application Insights om metrische gegevens en logboeken bij te houden.
Een eenvoudige manier om toegang te krijgen tot pagina's met metrische gegevens is via koppelingen die beschikbaar zijn in de Azure Machine Learning-studio gebruikersinterface. U vindt deze koppelingen op het tabblad Details van de pagina van een eindpunt. Deze koppelingen leiden naar de pagina met metrische gegevens in Azure Portal voor het eindpunt of de implementatie.
Voer de volgende stappen uit om toegang te krijgen tot de pagina's met metrische gegevens via koppelingen die beschikbaar zijn in de studio:
Ga naar het online-eindpunt of de implementatieresource.
Online-eindpunten en -implementaties zijn Azure Resource Manager-resources. U kunt ze vinden door naar hun resourcegroep te gaan en vervolgens te zoeken naar het machine learning-online-eindpunt en de online-implementatie van Machine Learning.
Selecteer op de resourcepagina onder Bewaking de optie Metrische gegevens.
Beschikbare metrische gegevens
De metrische gegevens die u ziet, zijn afhankelijk van de resource die u selecteert. Metrische gegevens voor online-eindpunten en onlineimplementaties hebben een ander bereik.
Controleer op de volgende velden in de antwoordtrailers: ms-azureml-bandwidth-request-delay-ms en ms-azureml-bandwidth-response-delay-ms. De waarden van de velden zijn de vertragingen, in milliseconden, van de bandbreedtebeperking.
Zie Problemen met bandbreedtelimiet voor meer informatie.
In Monitor kunt u dashboards en waarschuwingen maken die zijn gebaseerd op metrische gegevens.
Dashboards maken en query's visualiseren
U kunt aangepaste dashboards maken, zodat u metrische gegevens uit meerdere bronnen in Azure Portal kunt visualiseren, inclusief de metrische gegevens voor uw online-eindpunt. Zie Dashboards van Log Analytics-gegevens maken en delen en aangepaste KPI-dashboards maken met Application Insights voor meer informatie over het maken van dashboards en het visualiseren van query's.
Waarschuwingen maken
U kunt ook aangepaste waarschuwingen maken, zodat u meldingen ontvangt over belangrijke statusupdates voor uw online-eindpunt:
Ga in Azure Portal naar een pagina met metrische gegevens en selecteer vervolgens Nieuwe waarschuwingsregel.
Selecteer in het venster Een signaal selecteren het signaal waarvoor u een waarschuwing wilt maken en selecteer Vervolgens Toepassen.
Voer op de pagina Een waarschuwingsregel maken een drempelwaarde in en bewerk eventuele andere instellingen die u wilt aanpassen. Zie De voorwaarden voor waarschuwingsregels configureren voor meer informatie over instellingen voor waarschuwingsregels. Selecteer vervolgens Volgende: Acties.
Maak of selecteer een actiegroep in het venster Actiegroepen selecteren om op te geven wat er gebeurt wanneer uw waarschuwing wordt geactiveerd. Zie De details van de waarschuwingsregel configureren voor meer informatie.
Selecteer Controleren + Maken om het maken van uw waarschuwing te voltooien.
Automatisch schalen op basis van metrische gegevens
U kunt implementaties zo configureren dat deze automatisch worden geschaald op basis van metrische gegevens. Als u de functie voor automatische schaalaanpassing wilt inschakelen, kunt u de gebruikersinterface of code gebruiken.
De opties voor code zijn de Azure Machine Learning CLI en de Azure Machine Learning SDK voor Python. Wanneer u code gebruikt, configureert u de voorwaarden voor het activeren van automatisch schalen door de REST API-naam van metrische gegevens op te geven.
Er zijn drie logboeken die u kunt inschakelen voor online-eindpunten:
AmlOnlineEndpointTrafficLog: Dit verkeerslogboek biedt een manier om de gegevens van aanvragen naar het eindpunt te controleren. Dit logboek is handig in de volgende gevallen:
U wilt de antwoordcode en antwoordreden van uw model opzoeken voor een aanvraag. De ModelStatusCode en ModelStatusReason kolommen bevatten deze informatie.
U wilt de duur van een aanvraag weten. De logboeken bieden een uitsplitsing van de latentie. Deze uitsplitsing toont de totale duur, de aanvraagduur, de reactieduur en de vertraging die wordt veroorzaakt door netwerkbeperking.
U wilt het aantal recente aanvragen controleren dat slaagt en mislukt. De logboeken bieden deze informatie.
AmlOnlineEndpointConsoleLog: dit logboek bevat instructies die de containers als uitvoer naar de console schrijven. Dit logboek is handig in de volgende gevallen:
Een container kan niet worden gestart. Het consolelogboek kan handig zijn voor foutopsporing.
U wilt het gedrag van containers controleren en ervoor zorgen dat alle aanvragen correct worden verwerkt.
U wilt een aanvraag traceren vanaf het netwerkinvoerpunt van een online-eindpunt naar de container. U kunt een Log Analytics-query gebruiken waarmee de aanvraag-id wordt samengevoegd met informatie uit de AmlOnlineEndpointConsoleLog- en AmlOnlineEndpointTrafficLog-logboeken.
U wilt bijvoorbeeld een prestatieanalyse uitvoeren om te bepalen hoe lang het model nodig heeft om elke aanvraag te verwerken.
AmlOnlineEndpointEventLog: dit logboek bevat gebeurtenisgegevens over de levenscyclus van de container. Op dit moment bevat het logboek informatie over de volgende typen gebeurtenissen:
Naam
Bericht
Uitstel
Back-off opnieuw opstarten mislukte container
Trok
Containerinstallatiekopieën '<IMAGE_NAME>' die al aanwezig zijn op de computer
Dodelijk
De statustest van de containerdeductieserver is mislukt, wordt opnieuw opgestart
Gemaakt
Containerinstallatiekopieën ophalen gemaakt
Gemaakt
Containerdeductieserver gemaakt
Gemaakt
Containermodelkoppeling gemaakt
LivenessProbeFailed
Livenesstest mislukt: <FAILURE_CONTENT>
ReadinessProbeFailed
Gereedheidstest is mislukt: <FAILURE_CONTENT>
Gestart
Containerinstallatiekopieën ophalen gestart
Gestart
Containerdeductieserver gestart
Gestart
Containermodelkoppeling gestart
Dodelijk
Containerdeductieserver stoppen
Dodelijk
Containermodelkoppeling stoppen
Logboeken inschakelen
Belangrijk
Logboekregistratie maakt gebruik van de Log Analytics-functie van Monitor. Als u momenteel geen Log Analytics-werkruimte hebt, kunt u er een maken door de stappen in Een werkruimte maken.
Ga in Azure Portal naar de resourcegroep die uw eindpunt bevat en selecteer vervolgens het eindpunt.
Selecteer diagnostische instellingen onder Bewaking en selecteer vervolgens Diagnostische instelling toevoegen.
Voer in het venster Diagnostische instelling de volgende gegevens in:
Voer naast de naam van de diagnostische instelling een naam in voor uw instelling.
Selecteer onder Logboeken de logboekcategorieën die u wilt inschakelen.
Selecteer onder Doeldetails de optie Verzenden naar Log Analytics-werkruimte en selecteer vervolgens het abonnement en de Log Analytics-werkruimte die u wilt gebruiken.
Selecteer Opslaan.
Belangrijk
Het kan een uur duren voordat de verbinding met de Log Analytics-werkruimte beschikbaar is. Wacht een uur voordat u verdergaat met de stappen in de volgende sectie.
Querylogboeken
Verzend scoreaanvragen naar het eindpunt om vermeldingen in de logboeken te maken.
Ga naar de Azure Portal. Gebruik een van de volgende opties om de logboeken te openen:
Ga naar de eigenschappenpagina voor uw online-eindpunt. Selecteer Logboeken onder Bewaking.
Ga naar uw Log Analytics-werkruimte. Selecteer aan de linkerkant Logboeken.
Sluit het venster Querys Hub dat standaard wordt geopend.
Dubbelklik onder Overige op AmlOnlineEndpointConsoleLog. Als u AmlOnlineEndpointConsoleLog niet ziet, voert u die waarde in het zoekveld in.
Selecteer Uitvoeren.
Voorbeeldquery's
Er zijn voorbeeldquery's beschikbaar die u kunt gebruiken. Voer de volgende stappen uit om de query's weer te geven:
Selecteer query's op de pagina Logboeken.
Voer in het zoekvak het online-eindpunt in.
Details van logboekkolom
De volgende tabellen bevatten gedetailleerde informatie over de gegevens die in elk logboek zijn opgeslagen:
AmlOnlineEndpointTrafficLog
Eigenschappen
Beschrijving
methode
De methode die de client aanvraagt.
Pad
Het pad dat de client aanvraagt.
SubscriptionId
De id van het machine learning-abonnement van het online-eindpunt.
AzureMLWorkspaceId
De machine learning-werkruimte-id van het online-eindpunt.
AzureMLWorkspaceName
De naam van de machine learning-werkruimte van het online-eindpunt.
EndpointName
De naam van het online-eindpunt.
DeploymentName
De naam van de online-implementatie.
Protocol
Het protocol van de aanvraag.
ResponseCode
De uiteindelijke antwoordcode die wordt geretourneerd naar de client.
ResponseCodeReason
De laatste reden van de antwoordcode die wordt geretourneerd naar de client.
ModelStatusCode
De antwoordstatuscode van het model.
ModelStatusReason
De reden van de reactiestatus van het model.
RequestPayloadSize
Het totale aantal bytes dat van de client is ontvangen.
ResponsePayloadSize
Het totale aantal bytes dat naar de client is verzonden.
UserAgent
De header van de gebruiker-agent van de aanvraag, inclusief opmerkingen, maar wordt afgekapt tot maximaal 70 tekens.
XRequestId
De aanvraag-id die Azure Machine Learning genereert voor interne tracering.
XMSClientRequestId
De tracerings-id die de client genereert.
TotalDurationMs
De duur in milliseconden van de begintijd van de aanvraag tot de tijd dat de laatste reactie-byte naar de client wordt verzonden. Als de client de verbinding verbreekt, wordt de duur van de begintijd naar de client verbroken.
RequestDurationMs
De duur in milliseconden van de begintijd van de aanvraag tot de tijd dat de laatste byte van de aanvraag van de client wordt ontvangen.
ResponseDurationMs
De duur in milliseconden van de begintijd van de aanvraag tot de tijd dat de eerste reactie-byte wordt gelezen uit het model.
RequestThrottlingDelayMs
De vertraging in milliseconden in de aanvraaggegevensoverdracht vanwege netwerkbeperking.
ResponseThrottlingDelayMs
De vertraging in milliseconden in de reactiegegevensoverdracht vanwege netwerkbeperking.
AmlOnlineEndpointConsoleLog
Eigenschappen
Beschrijving
TimeGenerated
Het UTC-tijdstempel van het tijdstip waarop het logboek wordt gegenereerd
OperationName
De bewerking die is gekoppeld aan de logboekrecord
InstanceId
De id van het exemplaar dat de logboekrecord genereert
DeploymentName
De naam van de implementatie die is gekoppeld aan de logboekrecord
ContainerName
De naam van de container waarin het logboek wordt gegenereerd
Bericht
De inhoud van het logboek
AmlOnlineEndpointEventLog
Eigenschappen
Beschrijving
TimeGenerated
Het UTC-tijdstempel van het tijdstip waarop het logboek wordt gegenereerd
OperationName
De bewerking die is gekoppeld aan de logboekrecord
InstanceId
De id van het exemplaar dat de logboekrecord genereert
DeploymentName
De naam van de implementatie die is gekoppeld aan de logboekrecord
Naam
De naam van de gebeurtenis
Bericht
De inhoud van de gebeurtenis
Application Insights gebruiken
Gecureerde omgevingen omvatten integratie met Application Insights. Via deze integratie worden ingebouwde metrische gegevens en logboeken verzonden naar Application Insights. Als gevolg hiervan kunt u ingebouwde Application Insights-functies gebruiken voor verdere analyse. Voorbeelden van deze functies zijn live metrische gegevens, de transactiezoekopdracht, de weergave fouten en de prestatieweergave.
U kunt integratie met Application Insights inschakelen wanneer u een online implementatie in de studio maakt. Selecteer Ingeschakeld op de pagina Implementatie onder Diagnostische gegevens van Application Insights.
Wanneer u Application Insights inschakelt, kunt u grafieken van activiteitenmonitoren op hoog niveau bekijken voor een beheerd online-eindpunt. Ga in de studio naar de pagina van het eindpunt en selecteer vervolgens het tabblad Bewaking .
Plan en voer een strategie voor eindpuntimplementatie uit met behulp van essentiële elementen van moderne beheer- en co-beheermethoden en Microsoft Intune-integratie.