Felsöka onlineslutpunkter lokalt i Visual Studio Code

Artikel
04/07/2024

GÄLLER FÖR:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (aktuell)

Lär dig hur du använder Felsökningsprogrammet för Microsoft Visual Studio Code för att testa och felsöka onlineslutpunkter lokalt innan du distribuerar dem till Azure.

Lokala Slutpunkter i Azure Machine Learning hjälper dig att testa och felsöka ditt bedömningsskript, miljökonfiguration, kodkonfiguration och maskininlärningsmodell lokalt.

Viktigt!

Den här funktionen är för närvarande i allmänt tillgänglig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade.

Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Genom att felsöka slutpunkter lokalt innan du distribuerar dem till molnet kan du få fel i koden och konfigurationen tidigare. Du har olika alternativ för att felsöka slutpunkter lokalt med Visual Studio Code.

HTTP-server för Azure Machine Learning-slutsatsdragning
Lokal slutpunkt

Den här guiden fokuserar på lokala slutpunkter.

Följande tabell innehåller en översikt över scenarier som hjälper dig att välja vad som fungerar bäst för dig.

Scenario	Slutsatsdragning av HTTP-server	Lokal slutpunkt
Uppdatera den lokala Python-miljön utan att docker-avbildningen återskapas	Ja	Nej
Uppdateringsbedömningsskript	Ja	Ja
Uppdatera distributionskonfigurationer (distribution, miljö, kod, modell)	Nej	Ja
Visual Studio Code-felsökningsintegrering	Ja	Ja

Den här guiden förutsätter att du har följande objekt installerade lokalt på datorn.

Mer information finns i guiden om hur du förbereder systemet för distribution av onlineslutpunkter.

Exemplen i den här artikeln baseras på kodexempel som finns på GitHub-lagringsplatsen azureml-examples . Om du vill köra kommandona lokalt utan att behöva kopiera/klistra in YAML och andra filer klonar du lagringsplatsen och ändrar sedan kataloger till azureml-examples/cli:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Om du inte redan har angett standardinställningarna för Azure CLI sparar du standardinställningarna. Använd följande kommandon för att undvika att skicka in värdena för din prenumeration, arbetsyta och resursgrupp flera gånger. Ersätt följande parametrar med värden för din specifika konfiguration:

Ersätt <subscription> med ditt Azure-prenumerations-ID.
Ersätt <workspace> med namnet på din Azure Machine Learning-arbetsyta.
Ersätt <resource-group> med den Azure-resursgrupp som innehåller din arbetsyta.
Ersätt <location> med Den Azure-region som innehåller din arbetsyta.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Dricks

Du kan se vilka dina aktuella standardvärden är med hjälp az configure -l av kommandot .

GÄLLER FÖR: Python SDK azure-ai-ml v2 (aktuell)

Den här guiden förutsätter att du har följande objekt installerade lokalt på datorn.

Mer information finns i guiden om hur du förbereder systemet för distribution av onlineslutpunkter.

Exemplen i den här artikeln finns i Jupyter-anteckningsboken med namnet Felsöka onlineslutpunkter lokalt i Visual Studio Code på lagringsplatsen azureml-examples . Om du vill köra koden lokalt klonar du lagringsplatsen och ändrar sedan kataloger till notebook-filens överordnade katalog-sdk /slutpunkter/online/hanterad.

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples
cd sdk/python/endpoints/online/managed

Öppna Jupyter Notebook och importera de moduler som krävs:

from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    ManagedOnlineEndpoint,
    ManagedOnlineDeployment,
    Model,
    CodeConfiguration,
    Environment,
)
from azure.identity import DefaultAzureCredential

Konfigurera variabler för arbetsytan och slutpunkten:

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

endpoint_name = "<ENDPOINT_NAME>"

Starta utvecklingscontainer

Azure CLI
Python

Lokala Slutpunkter i Azure Machine Learning använder Docker- och Visual Studio Code-utvecklingscontainrar (dev-containrar) för att skapa och konfigurera en lokal felsökningsmiljö. Med dev-containrar kan du dra nytta av Visual Studio Code-funktioner inifrån en Docker-container. Mer information om dev-containrar finns i Skapa en utvecklingscontainer.

Om du vill felsöka onlineslutpunkter lokalt i Visual Studio Code använder du --vscode-debug flaggan när du skapar eller uppdaterar och Azure Machine Learning onlinedistribution. Följande kommando använder ett distributionsexempel från exempeldatabasen:

az ml online-deployment create --file endpoints/online/managed/sample/blue-deployment.yml --local --vscode-debug

Viktigt!

På Windows-undersystem för Linux (WSL) måste du uppdatera din PATH-miljövariabel för att inkludera sökvägen till den körbara Visual Studio Code-filen eller använda WSL-interop. Mer information finns i Windows-samverkan med Linux.

En Docker-avbildning skapas lokalt. Eventuella miljökonfigurations- eller modellfilfel visas i det här skedet av processen.

Kommentar

Första gången du startar en ny eller uppdaterad utvecklingscontainer kan det ta flera minuter.

När avbildningen har skapats öppnas utvecklingscontainern i ett Visual Studio Code-fönster.

Du använder några Visual Studio Code-tillägg för att felsöka dina distributioner i utvecklingscontainern. Azure Machine Learning installerar automatiskt dessa tillägg i din utvecklingscontainer.

Felsökning av slutsatsdragning
Pylance
Jupyter
Python

Viktigt!

Innan du påbörjar felsökningssessionen kontrollerar du att Visual Studio Code-tilläggen har installerats i utvecklingscontainern.

Hämta ett handtag till arbetsytan:

credential = DefaultAzureCredential()
ml_client = MLClient(
    credential,
    subscription_id=subscription_id,
    resource_group_name=resource_group,
    workspace_name=workspace_name,
)

Om du vill felsöka onlineslutpunkter lokalt i Visual Studio Code anger du flaggorna vscode-debug och local när du skapar eller uppdaterar en Azure Machine Learning-onlinedistribution. Följande kod speglar ett distributionsexempel från exempellagringsplatsen:

deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=Model(path="../model-1/model/sklearn_regression_model.pkl"),
    code_configuration=CodeConfiguration(
        code="../model-1/onlinescoring", scoring_script="score.py"
    ),
    environment=Environment(
        conda_file="../model-1/environment/conda.yaml",
        image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

deployment = ml_client.online_deployments.begin_create_or_update(
    deployment, local=True, vscode_debug=True
).result()

Viktigt!

En Docker-avbildning skapas lokalt. Eventuella miljökonfigurations- eller modellfilfel visas i det här skedet av processen.

Kommentar

Det kan ta flera minuter att starta en ny eller uppdaterad utvecklingscontainer för första gången.

När avbildningen har skapats öppnas utvecklingscontainern i ett Visual Studio Code-fönster.

Felsökning av slutsatsdragning
Pylance
Jupyter
Python

Viktigt!

Innan du påbörjar felsökningssessionen kontrollerar du att Visual Studio Code-tilläggen har installerats i utvecklingscontainern.

Starta felsökningssession

När miljön har konfigurerats använder du Felsökningsprogrammet för Visual Studio Code för att testa och felsöka distributionen lokalt.

Öppna ditt bedömningsskript i Visual Studio Code.

Dricks

Det score.py skript som användes av slutpunkten som distribuerades tidigare finns på azureml-samples/cli/endpoints/online/managed/sample/score.py på lagringsplatsen som du klonade. Stegen i den här guiden fungerar dock med valfritt bedömningsskript.
Ange en brytpunkt var som helst i bedömningsskriptet.
- Om du vill felsöka startbeteende placerar du brytpunkterna init i funktionen.
- Om du vill felsöka bedömningsbeteende placerar du brytpunkterna run i funktionen.
Välj vyn Visual Studio Code-jobb.
I listrutan Kör och felsöka väljer du AzureML: Felsök lokal slutpunkt för att börja felsöka slutpunkten lokalt.

Kontrollera följande i avsnittet Brytpunkter i körningsvyn:
- Utlösta undantag är avmarkerat
- Ohanterade undantag är markerat
Välj uppspelningsikonen bredvid listrutan Kör och felsök för att starta felsökningssessionen.

Nu fångas alla brytpunkter i funktionen init . Använd felsökningsåtgärderna för att gå igenom koden. Mer information om felsökningsåtgärder finns i felsökningsguiden.

Mer information om felsökningsprogrammet för Visual Studio Code finns i Felsökning.

Felsöka slutpunkten

Azure CLI
Python

Nu när programmet körs i felsökningsprogrammet kan du prova att göra en förutsägelse för att felsöka ditt bedömningsskript.

Använd tilläggskommandot mlinvoke för att göra en begäran till din lokala slutpunkt.

az ml online-endpoint invoke --name <ENDPOINT-NAME> --request-file <REQUEST-FILE> --local

I det här fallet <REQUEST-FILE> är en JSON-fil som innehåller indataexempel för modellen för att göra förutsägelser på liknande sätt som följande JSON:

{"data": [
    [1,2,3,4,5,6,7,8,9,10], 
    [10,9,8,7,6,5,4,3,2,1]
]}

Dricks

Bedömnings-URI:n är den adress där slutpunkten lyssnar efter begäranden. ml Använd tillägget för att hämta bedömnings-URI:n.

az ml online-endpoint show --name <ENDPOINT-NAME> --local

Utdata bör se ut ungefär så här:

{
 "auth_mode": "aml_token",
 "location": "local",
 "name": "my-new-endpoint",
 "properties": {},
 "provisioning_state": "Succeeded",
 "scoring_uri": "http://localhost:5001/score",
 "tags": {},
 "traffic": {},
 "type": "online"
}

Bedömnings-URI:n finns i egenskapen scoring_uri .

Nu fångas alla brytpunkter i funktionen run . Använd felsökningsåtgärderna för att gå igenom koden. Mer information om felsökningsåtgärder finns i felsökningsguiden.

Nu när programmet körs i felsökningsprogrammet kan du prova att göra en förutsägelse för att felsöka ditt bedömningsskript.

invoke Använd -metoden för objektet MLClient för att göra en begäran till din lokala slutpunkt.

endpoint = ml_client.online_endpoints.get(name=endpoint_name, local=True)

request_file_path = "../model-1/sample-request.json"

ml_client.online_endpoints.invoke(endpoint_name, request_file_path, local=True)

I det här fallet <REQUEST-FILE> är en JSON-fil som innehåller indataexempel för modellen för att göra förutsägelser på liknande sätt som följande JSON:

{"data": [
    [1,2,3,4,5,6,7,8,9,10], 
    [10,9,8,7,6,5,4,3,2,1]
]}

Dricks

Bedömnings-URI:n är den adress där slutpunkten lyssnar efter begäranden. Metoden as_dict för slutpunktsobjekt returnerar information som liknar show i Azure CLI. Slutpunktsobjektet kan hämtas via .get.

print(endpoint)

Utdata bör se ut ungefär så här:

{
 "auth_mode": "aml_token",
 "location": "local",
 "name": "my-new-endpoint",
 "properties": {},
 "provisioning_state": "Succeeded",
 "scoring_uri": "http://localhost:5001/score",
 "tags": {},
 "traffic": {},
 "type": "online"
}

Bedömnings-URI:n finns i scoring_uri nyckeln.

Nu fångas alla brytpunkter i funktionen run . Använd felsökningsåtgärderna för att gå igenom koden. Mer information om felsökningsåtgärder finns i felsökningsguiden.

Redigera din slutpunkt

Azure CLI
Python

När du felsöker och felsöker ditt program finns det scenarier där du behöver uppdatera ditt bedömningsskript och dina konfigurationer.

Så här tillämpar du ändringar i koden:

Uppdatera koden.
Starta om felsökningssessionen Developer: Reload Window med kommandot i kommandopaletten. Mer information finns i dokumentationen för kommandopaletten.

Kommentar

Eftersom katalogen som innehåller din kod och slutpunktstillgångar är monterad på utvecklingscontainern synkroniseras alla ändringar du gör i utvecklingscontainern med ditt lokala filsystem.

Om du vill ha mer omfattande ändringar som rör uppdateringar av din miljö och slutpunktskonfiguration använder du tilläggskommandot mlupdate . Detta utlöser en fullständig återskapande av avbildning med dina ändringar.

az ml online-deployment update --file <DEPLOYMENT-YAML-SPECIFICATION-FILE> --local --vscode-debug

När den uppdaterade avbildningen har skapats och utvecklingscontainern startas använder du Felsökningsprogrammet för Visual Studio Code för att testa och felsöka den uppdaterade slutpunkten.

När du felsöker och felsöker ditt program finns det scenarier där du behöver uppdatera ditt bedömningsskript och dina konfigurationer.

Så här tillämpar du ändringar i koden:

Uppdatera koden.
Starta om felsökningssessionen Developer: Reload Window med kommandot i kommandopaletten. Mer information finns i dokumentationen för kommandopaletten.

Kommentar

Eftersom katalogen som innehåller din kod och slutpunktstillgångar är monterad på utvecklingscontainern synkroniseras alla ändringar du gör i utvecklingscontainern med ditt lokala filsystem.

Om du vill ha mer omfattande ändringar som rör uppdateringar av din miljö och slutpunktskonfiguration online_deployments.update använder du modulenMLClient/metoden . Detta utlöser en fullständig återskapande av avbildning med dina ändringar.

new_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=endpoint_name,
    model=Model(path="../model-2/model/sklearn_regression_model.pkl"),
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    environment=Environment(
        conda_file="../model-2/environment/conda.yaml",
        image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
    ),
    instance_type="Standard_DS3_v2",
    instance_count=2,
)

deployment = ml_client.online_deployments.begin_create_or_update(
    new_deployment, local=True, vscode_debug=True
).result()

När den uppdaterade avbildningen har skapats och utvecklingscontainern startas använder du Felsökningsprogrammet för Visual Studio Code för att testa och felsöka den uppdaterade slutpunkten.

Felsöka onlineslutpunkter lokalt i Visual Studio Code

Förutsättningar

Starta utvecklingscontainer

Starta felsökningssession

Felsöka slutpunkten

Redigera din slutpunkt

Relaterat innehåll

Ytterligare resurser