Dela via

AksWebservice Klass

  • Referens

Representerar en maskininlärningsmodell som distribuerats som en webbtjänstslutpunkt på Azure Kubernetes Service.

En distribuerad tjänst skapas från en modell, ett skript och associerade filer. Den resulterande webbtjänsten är en belastningsutjämnings-HTTP-slutpunkt med ett REST-API. Du kan skicka data till det här API:et och få förutsägelsen som returneras av modellen.

AksWebservice distribuerar en enda tjänst till en slutpunkt. Om du vill distribuera flera tjänster till en slutpunkt använder du AksEndpoint klassen .

Mer information finns i Distribuera en modell till ett Azure Kubernetes Service kluster.

Initiera webbtjänstinstansen.

Webbtjänstkonstruktorn hämtar en molnrepresentation av ett webbtjänstobjekt som är associerat med den angivna arbetsytan. Den returnerar en instans av en underordnad klass som motsvarar den specifika typen av det hämtade webbtjänstobjektet.

Arv
Webservice
AksWebservice

Konstruktor

AksWebservice(workspace, name)

Parametrar

Name Description
workspace
Obligatorisk
Workspace

Arbetsyteobjektet som innehåller webbtjänstobjektet som ska hämtas.
name
Obligatorisk
str

Namnet på webbtjänstobjektet som ska hämtas.

Kommentarer

Det rekommenderade distributionsmönstret är att skapa ett distributionskonfigurationsobjekt med deploy_configuration metoden och sedan använda det med deploy metoden i Model klassen enligt nedan.


   # Set the web service configuration (using default here)
   aks_config = AksWebservice.deploy_configuration()

   # # Enable token auth and disable (key) auth on the webservice
   # aks_config = AksWebservice.deploy_configuration(token_auth_enabled=True, auth_enabled=False)

Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/production-deploy-to-aks/production-deploy-to-aks.ipynb

Det finns ett antal sätt att distribuera en modell som en webbtjänst, bland annat med:

  • deploy metoden för för modeller som Model redan är registrerade på arbetsytan.

  • deploy_from_image -metod för Webservice.

  • deploy_from_model Webservice metoden för för modeller som redan har registrerats på arbetsytan. Den här metoden skapar en avbildning.

  • deploy -metoden för Webservice, som registrerar en modell och skapar en avbildning.

Information om hur du arbetar med webbtjänster finns i

I avsnittet Variabler visas attribut för en lokal representation av akswebserviceobjektet i molnet. Dessa variabler bör betraktas som skrivskyddade. Att ändra deras värden återspeglas inte i motsvarande molnobjekt.

Variabler

Name Description
enable_app_insights
bool

Om AppInsights-loggning är aktiverat för webbtjänsten eller inte.
autoscaler
AutoScaler

Autoskalningsobjektet för webbtjänsten.
compute_name
str

Namnet på den ComputeTarget som webbtjänsten distribueras till.
container_resource_requirements
ContainerResourceRequirements

Resurskraven för containern för webbtjänsten.
liveness_probe_requirements
LivenessProbeRequirements

Kraven för livenessavsökning för webbtjänsten.
data_collection
DataCollection

DataCollection-objektet för webbtjänsten.
max_concurrent_requests_per_container
int

Det maximala antalet samtidiga begäranden per container för webbtjänsten.
max_request_wait_time
int

Den maximala väntetiden för begäran för webbtjänsten, i millisekunder.
num_replicas
int

Antalet repliker för webbtjänsten. Varje replik motsvarar en AKS-podd.
scoring_timeout_ms
int

Tidsgränsen för bedömning för webbtjänsten i millisekunder.
azureml.core.webservice.AksWebservice.scoring_uri
str

Slutpunkten för bedömning för webbtjänsten
is_default
bool

Om webbtjänsten är standardversionen för den överordnade AksEndpoint.
traffic_percentile
int

Vilken procentandel av trafiken som ska dirigeras till webbtjänsten i den överordnade AksEndpoint.
version_type
VersionType

Versionstypen för webbtjänsten i den överordnade AksEndpoint.
token_auth_enabled
bool

Huruvida tokenautentisering är aktiverat för webbtjänsten eller inte.
environment
Environment

Miljöobjektet som användes för att skapa webbtjänsten.
azureml.core.webservice.AksWebservice.models
list[Model]

En lista över modeller som distribuerats till webbtjänsten.
deployment_status
str

Distributionsstatus för webbtjänsten.
namespace
str

AKS-namnområdet för webbtjänsten.
azureml.core.webservice.AksWebservice.swagger_uri
str

Swagger-slutpunkten för webbtjänsten.

Metoder

add_properties

Lägg till nyckelvärdepar i den här webbtjänstens egenskapsordlista.
add_tags

Lägg till nyckel/värde-par i ordlistan för den här webbtjänstens taggar.

Genererar en WebserviceException.
deploy_configuration

Skapa ett konfigurationsobjekt för distribution till ett AKS-beräkningsmål.
get_access_token

Hämta autentiseringstoken för den här webbtjänsten.
get_token

DEPRECATED. Använd get_access_token metoden i stället.

Hämta autentiseringstoken för den här webbtjänsten.
remove_tags

Ta bort de angivna nycklarna från den här webbtjänstens ordlista med taggar.
run

Anropa den här webbtjänsten med angivna indata.
serialize

Konvertera den här webbtjänsten till en JSON-serialiserad ordlista.
update

Uppdatera webbtjänsten med angivna egenskaper.

Värden kvar som Ingen förblir oförändrade i den här webbtjänsten.

add_properties

Lägg till nyckelvärdepar i den här webbtjänstens egenskapsordlista.

add_properties(properties)

Parametrar

Name Description
properties
Obligatorisk
dict[str, str]

Ordlistan med egenskaper som ska läggas till.

add_tags

Lägg till nyckel/värde-par i ordlistan för den här webbtjänstens taggar.

Genererar en WebserviceException.

add_tags(tags)

Parametrar

Name Description
tags
Obligatorisk
dict[str, str]

Ordlistan med taggar som ska läggas till.

Undantag

Typ Description
WebserviceException

deploy_configuration

Skapa ett konfigurationsobjekt för distribution till ett AKS-beräkningsmål.

static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None, blobfuse_enabled=None)

Parametrar

Name Description
autoscale_enabled
bool

Om du vill aktivera automatisk skalning för den här webbtjänsten eller inte. Standardvärdet är True om num_replicas är Ingen.

Standardvärde: None
autoscale_min_replicas
int

Det minsta antalet containrar som ska användas vid automatisk skalning av den här webbtjänsten. Standardvärdet är 1.

Standardvärde: None
autoscale_max_replicas
int

Det maximala antalet containrar som ska användas vid automatisk skalning av den här webbtjänsten. Standardvärdet är 10.

Standardvärde: None
autoscale_refresh_seconds
int

Hur ofta autoskalning ska försöka skala den här webbtjänsten. Standardvärdet är 1.

Standardvärde: None
autoscale_target_utilization
int

Målanvändningen (i procent av 100) som autoskalningen ska försöka underhålla för den här webbtjänsten. Standardvärdet är 70.

Standardvärde: None
collect_model_data
bool

Om du vill aktivera insamling av modelldata för den här webbtjänsten eller inte. Standardvärdet är False.

Standardvärde: None
auth_enabled
bool

Om du vill aktivera nyckelautentisering för den här webbtjänsten eller inte. Standardvärdet är True.

Standardvärde: None
cpu_cores
float

Antalet processorkärnor som ska allokeras för den här webbtjänsten. Kan vara en decimal. Standardvärdet är 0,1. Motsvarar pod core-begäran, inte gränsen, i Azure Kubernetes Service.

Standardvärde: None
memory_gb
float

Mängden minne (i GB) som ska allokeras för den här webbtjänsten. Kan vara en decimal. Standardvärdet är 0,5. Motsvarar poddminnesbegäran, inte gränsen, i Azure Kubernetes Service.

Standardvärde: None
enable_app_insights
bool

Om du vill aktivera Application Insights-loggning för den här webbtjänsten eller inte. Standardvärdet är False.

Standardvärde: None
scoring_timeout_ms
int

En timeout för att framtvinga poängsättning av anrop till den här webbtjänsten. Standardvärdet är 60000.

Standardvärde: None
replica_max_concurrent_requests
int

Antalet samtidiga begäranden per replik som tillåts för den här webbtjänsten. Standardvärdet är 1. Ändra inte den här inställningen från standardvärdet 1 om du inte instrueras av Microsofts tekniska support eller en medlem i Azure Machine Learning-teamet.

Standardvärde: None
max_request_wait_time
int

Den maximala tiden som en begäran finns kvar i kön (i millisekunder) innan ett 503-fel returneras. Standardvärdet är 500.

Standardvärde: None
num_replicas
int

Antalet containrar som ska allokeras för den här webbtjänsten. Inget standardvärde, om den här parametern inte har angetts är autoskalning aktiverad som standard.

Standardvärde: None
primary_key
str

En primär autentiseringsnyckel som ska användas för den här webbtjänsten.

Standardvärde: None
secondary_key
str

En sekundär autentiseringsnyckel som ska användas för den här webbtjänsten.

Standardvärde: None
tags
dict[str, str]

Ordlista med nyckelvärdestaggar för att ge den här webbtjänsten.

Standardvärde: None
properties
dict[str, str]

Ordlista med nyckelvärdesegenskaper som ger den här webbtjänsten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckel/värde-par kan läggas till.

Standardvärde: None
description
str

En beskrivning som ger den här webbtjänsten.

Standardvärde: None
gpu_cores
int

Antalet GPU-kärnor som ska allokeras för den här webbtjänsten. Standardvärdet är 0.

Standardvärde: None
period_seconds
int

Hur ofta (i sekunder) liveavsökningen ska utföras. Standardvärdet är 10 sekunder. Minimivärdet är 1.

Standardvärde: None
initial_delay_seconds
int

Antalet sekunder efter att containern har startats innan liveavsökningar initieras. Standardvärdet är 310.

Standardvärde: None
timeout_seconds
int

Antalet sekunder som liveavsökningen överskrider tidsgränsen. Standardvärdet är 2 sekunder. Minimivärdet är 1.

Standardvärde: None
success_threshold
int

Minsta antal lyckade resultat i följd för att liveavsökningen ska anses vara lyckad efter att ha misslyckats. Standardvärdet är 1. Minimivärdet är 1.

Standardvärde: None
failure_threshold
int

När en podd startar och liveavsökningen misslyckas, kommer Kubernetes att prova failureThreshold gånger innan den ger upp. Standardvärdet är 3. Minimivärdet är 1.

Standardvärde: None
namespace
str

Kubernetes-namnområdet där den här webbtjänsten ska distribueras: upp till 63 alfanumeriska gemener ('a'-'z', '0'-'9') och bindestreck ('-') tecken. Det första och sista tecknen får inte vara bindestreck.

Standardvärde: None
token_auth_enabled
bool

Om tokenautentisering ska aktiveras eller inte för den här webbtjänsten. Om detta är aktiverat kan användarna komma åt den här webbtjänsten genom att hämta en åtkomsttoken med sina Azure Active Directory-autentiseringsuppgifter. Standardvärdet är False.

Standardvärde: None
compute_target_name
str

Namnet på beräkningsmålet som ska distribueras till

Standardvärde: None
cpu_cores_limit
float

Det maximala antalet processorkärnor som den här webbtjänsten tillåts använda. Kan vara en decimal.

Standardvärde: None
memory_gb_limit
float

Den maximala mängden minne (i GB) som den här webbtjänsten tillåts använda. Kan vara en decimal.

Standardvärde: None
blobfuse_enabled
bool

Om blobfuse ska aktiveras eller inte för modellnedladdning för den här webbtjänsten. Standardvärdet är True

Standardvärde: None

Returer

Typ Description
AksServiceDeploymentConfiguration

Ett konfigurationsobjekt som ska användas när du distribuerar en AksWebservice.

Undantag

Typ Description
WebserviceException

get_access_token

Hämta autentiseringstoken för den här webbtjänsten.

get_access_token()

Returer

Typ Description
AksServiceAccessToken

Ett objekt som beskriver autentiseringstoken för den här webbtjänsten.

Undantag

Typ Description
WebserviceException

get_token

DEPRECATED. Använd get_access_token metoden i stället.

Hämta autentiseringstoken för den här webbtjänsten.

get_token()

Returer

Typ Description
str, datetime

Autentiseringstoken för den här webbtjänsten och när den ska uppdateras.

Undantag

Typ Description
WebserviceException

remove_tags

Ta bort de angivna nycklarna från den här webbtjänstens ordlista med taggar.

remove_tags(tags)

Parametrar

Name Description
tags
Obligatorisk
list[str]

Listan över nycklar som ska tas bort

run

Anropa den här webbtjänsten med angivna indata.

run(input_data)

Parametrar

Name Description
input_data
Obligatorisk
<xref:varies>

Indata för att anropa webbtjänsten med

Returer

Typ Description
dict

Resultatet av att anropa webbtjänsten

Undantag

Typ Description
WebserviceException

serialize

Konvertera den här webbtjänsten till en JSON-serialiserad ordlista.

serialize()

Returer

Typ Description
dict

JSON-representationen av den här webbtjänsten.

update

Uppdatera webbtjänsten med angivna egenskaper.

Värden kvar som Ingen förblir oförändrade i den här webbtjänsten.

update(image=None, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, cpu_cores_limit=None, memory_gb_limit=None, **kwargs)

Parametrar

Name Description
image
Image

En ny avbildning som ska distribueras till webbtjänsten

Standardvärde: None
autoscale_enabled
bool

Aktivera eller inaktivera automatisk skalning av den här webbtjänsten

Standardvärde: None
autoscale_min_replicas
int

Det minsta antalet containrar som ska användas vid automatisk skalning av den här webbtjänsten

Standardvärde: None
autoscale_max_replicas
int

Det maximala antalet containrar som ska användas vid automatisk skalning av den här webbtjänsten

Standardvärde: None
autoscale_refresh_seconds
int

Hur ofta autoskalningen ska försöka skala den här webbtjänsten

Standardvärde: None
autoscale_target_utilization
int

Målanvändningen (i procent av 100) som autoskalningen ska försöka underhålla för den här webbtjänsten

Standardvärde: None
collect_model_data
bool

Aktivera eller inaktivera modelldatainsamling för den här webbtjänsten

Standardvärde: None
auth_enabled
bool

Om du vill aktivera autentisering för den här webbtjänsten eller inte

Standardvärde: None
cpu_cores
float

Antalet processorkärnor som ska allokeras för den här webbtjänsten. Kan vara en decimal

Standardvärde: None
memory_gb
float

Mängden minne (i GB) som ska allokeras för den här webbtjänsten. Kan vara en decimal

Standardvärde: None
enable_app_insights
bool

Om du vill aktivera Application Insights-loggning för den här webbtjänsten eller inte

Standardvärde: None
scoring_timeout_ms
int

En timeout för att framtvinga poängsättning av anrop till den här webbtjänsten

Standardvärde: None
replica_max_concurrent_requests
int

Antalet samtidiga begäranden per replik som tillåts för den här webbtjänsten.

Standardvärde: None
max_request_wait_time
int

Den maximala tiden som en begäran finns kvar i kön (i millisekunder) innan ett 503-fel returneras

Standardvärde: None
num_replicas
int

Antalet containrar som ska allokeras för den här webbtjänsten

Standardvärde: None
tags
dict[str, str]

Ordlista med nyckelvärdestaggar för att ge den här webbtjänsten. Ersätter befintliga taggar.

Standardvärde: None
properties
dict[str, str]

Ordlista med nyckelvärdesegenskaper som ska läggas till i en befintlig egenskapsordlista

Standardvärde: None
description
str

En beskrivning för att ge den här webbtjänsten

Standardvärde: None
models
list[Model]

En lista över modellobjekt som ska paketera med den uppdaterade tjänsten

Standardvärde: None
inference_config
InferenceConfig

Ett InferenceConfig-objekt som används för att tillhandahålla de nödvändiga modelldistributionsegenskaperna.

Standardvärde: None
gpu_cores
int

Antalet gpu-kärnor som ska allokeras för den här webbtjänsten

Standardvärde: None
period_seconds
int

Hur ofta (i sekunder) liveavsökningen ska utföras. Standardvärdet är 10 sekunder. Minimivärdet är 1.

Standardvärde: None
initial_delay_seconds
int

Antal sekunder efter att containern har startats innan liveavsökningar initieras.

Standardvärde: None
timeout_seconds
int

Antal sekunder varefter liveavsökningen överskrider tidsgränsen. Standardvärdet är 1 sekund. Minimivärdet är 1.

Standardvärde: None
success_threshold
int

Minsta antal lyckade resultat i följd för att liveavsökningen ska anses vara lyckad efter att ha misslyckats. Standardvärdet är 1. Minimivärdet är 1.

Standardvärde: None
failure_threshold
int

När en podd startar och liveavsökningen misslyckas, kommer Kubernetes att prova failureThreshold gånger innan den ger upp. Standardvärdet är 3. Minimivärdet är 1.

Standardvärde: None
namespace
str

Kubernetes-namnområdet där den här webbtjänsten ska distribueras: upp till 63 alfanumeriska gemener ('a'-'z', '0'-'9') och bindestreck ('-') tecken. Det första och sista tecknen får inte vara bindestreck.

Standardvärde: None
token_auth_enabled
bool

Om tokenautentisering ska aktiveras eller inte för den här webbtjänsten. Om detta är aktiverat kan användarna komma åt den här webbtjänsten genom att hämta åtkomsttoken med sina Azure Active Directory-autentiseringsuppgifter. Standardvärdet är Falskt

Standardvärde: None
cpu_cores_limit
float

Det maximala antalet processorkärnor som den här webbtjänsten tillåts använda. Kan vara en decimal.

Standardvärde: None
memory_gb_limit
float

Den maximala mängden minne (i GB) som den här webbtjänsten tillåts använda. Kan vara en decimal.

Standardvärde: None
kwargs
Obligatorisk
<xref:varies>

inkludera params för att stödja migrering av AKS-webbtjänsten till Kubernetes onlineslutpunkt och -distribution. is_migration=True| False, compute_target=.

Undantag

Typ Description
WebserviceException