AksEndpoint Klass
Anteckning
Det här är en experimentell klass och kan ändras när som helst. Mer information finns i https://aka.ms/azuremlexperimental.
Representerar en samling webbtjänstversioner bakom samma slutpunkt som körs på Azure Kubernetes Service.
Medan en AksWebservice distribuerar en enda tjänst med en enda bedömningsslutpunkt kan du med klassen AksEndpoint distribuera flera webbtjänstversioner bakom samma bedömningsslutpunkt. Varje webbtjänstversion kan konfigureras för att hantera en procentandel av trafiken så att du kan distribuera modeller på ett kontrollerat sätt, till exempel för A/B-testning. AksEndpoint tillåter distribution från ett modellobjekt som liknar AksWebservice.
Initiera Webservice-instansen.
Webbtjänstkonstruktorn hämtar en molnrepresentation av ett webbtjänstobjekt som är associerat med den angivna arbetsytan. Den returnerar en instans av en underordnad klass som motsvarar den specifika typen av det hämtade webbtjänstobjektet.
- Arv
-
AksEndpoint
Konstruktor
AksEndpoint(workspace, name)Parametrar
- workspace
- Workspace
Arbetsyteobjektet som innehåller webbtjänstobjektet som ska hämtas.
Variabler
- versions
- dict[str, AksWebservice]
En ordlista med versionsnamn till versionsobjekt. Innehåller alla versioner som distribuerats som en del av den här slutpunkten.
Metoder
| create_version |
Lägg till en ny version i en slutpunkt med angivna egenskaper. |
| delete_version |
Ta bort en version i en slutpunkt. |
| deploy_configuration |
Skapa ett konfigurationsobjekt för distribution till ett AKS-beräkningsmål. |
| serialize |
Konvertera den här webbtjänsten till en serialiserad JSON-ordlista. |
| update |
Uppdatera slutpunkten med angivna egenskaper. Värden kvar som Ingen förblir oförändrade i den här slutpunkten |
| update_version |
Uppdatera en befintlig version i en slutpunkt med angivna egenskaper. Värden kvar som Ingen förblir oförändrade i den här versionen. |
create_version
Lägg till en ny version i en slutpunkt med angivna egenskaper.
create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Parametrar
- autoscale_enabled
- bool
Om du vill aktivera automatisk skalning för den här versionen i en slutpunkt eller inte.
Standardvärdet är Sant om num_replicas är Ingen.
- autoscale_min_replicas
- int
Det minsta antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 1
- autoscale_max_replicas
- int
Det maximala antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 10
- autoscale_refresh_seconds
- int
Hur ofta autoskalning ska försöka skala den här versionen i en slutpunkt. Standardvärdet är 1
- autoscale_target_utilization
- int
Målanvändningen (i procent av 100) som autoskalning ska försöka underhålla för den här versionen i en slutpunkt. Standardvärdet är 70
- collect_model_data
- bool
Om du vill aktivera modelldatainsamling för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt
- cpu_cores
- float
Antalet CPU-kärnor som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,1
- memory_gb
- float
Mängden minne (i GB) som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,5
- scoring_timeout_ms
- int
En tidsgräns för att framtvinga för bedömning av anrop till den här versionen i en slutpunkt. Standardvärdet är 60000.
- replica_max_concurrent_requests
- int
Antalet maximala samtidiga begäranden per replik för att tillåta den här versionen i en slutpunkt. Standardvärdet är 1. Ändra inte den här inställningen från standardvärdet 1 om inte microsofts tekniska support eller en medlem i Azure Machine Learning-teamet instruerar det.
- max_request_wait_time
- int
Den maximala tiden som en begäran stannar i kön (i millisekunder) innan ett 503-fel returneras. Standardvärdet är 500.
- num_replicas
- int
Antalet containrar som ska allokeras för den här versionen i en slutpunkt. Ingen standard, om den här parametern inte har angetts aktiveras autoskalningsfunktionen som standard.
Ordlista med nyckelvärdetaggar för att ge den här slutpunkten.
Ordlista över nyckelvärdeegenskaper för att ge den här slutpunkten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckelvärdepar kan läggas till.
En lista över modellobjekt som ska paketera med den uppdaterade tjänsten.
- inference_config
- InferenceConfig
Ett InferenceConfig-objekt som används för att tillhandahålla de nödvändiga modelldistributionsegenskaperna.
- gpu_cores
- int
Antalet GPU-kärnor som ska allokeras för den här versionen i en slutpunkt. Standardvärdet är 0.
- period_seconds
- int
Hur ofta (i sekunder) live-avsökningen ska utföras. Standardvärdet är 10 sekunder. Minsta värde är 1.
- initial_delay_seconds
- int
Antalet sekunder efter att containern har startats innan liveness-avsökningar initieras. Standardvärdet är 310.
- timeout_seconds
- int
Antalet sekunder efter vilken livenessavsökningen överskrider tidsgränsen. Standardvärdet är 2 sekunder. Minsta värde är 1.
- success_threshold
- int
Minsta lyckade resultat i följd för att liveness-avsökningen ska anses vara lyckad efter att ha misslyckats. Standardvärdet är 1. Minsta värde är 1.
- failure_threshold
- int
När en podd startar och live-avsökningen misslyckas, försöker Kubernetes felDå gånger innan de ger upp. Standardvärdet är 3. Minsta värde är 1.
- is_default
- bool
Om den här versionen ska vara standardversion i en slutpunkt eller inte. Standardvärdet är Falskt.
- is_control_version_type
- bool
Om du vill göra den här versionen som kontrollversion i en slutpunkt eller inte. Standardvärdet är Falskt.
- cpu_cores_limit
- float
Det maximala antalet cpu-kärnor som webbtjänsten tillåts använda. Kan vara en decimal.
- memory_gb_limit
- float
Den maximala mängden minne (i GB) som den här webbtjänsten får använda. Kan vara en decimal.
Undantag
delete_version
Ta bort en version i en slutpunkt.
delete_version(version_name)Parametrar
Undantag
deploy_configuration
Skapa ett konfigurationsobjekt för distribution till ett AKS-beräkningsmål.
static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)Parametrar
- autoscale_enabled
- bool
Om du vill aktivera automatisk skalning för den här versionen i en slutpunkt eller inte.
Standardvärdet är Sant om num_replicas är Ingen.
- autoscale_min_replicas
- int
Det minsta antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 1.
- autoscale_max_replicas
- int
Det maximala antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 10.
- autoscale_refresh_seconds
- int
Hur ofta autoskalning ska försöka skala den här versionen i en slutpunkt. Standardvärdet är 1.
- autoscale_target_utilization
- int
Målanvändningen (i procent av 100) som autoskalning ska försöka underhålla för den här versionen i en slutpunkt. Standardvärdet är 70.
- collect_model_data
- bool
Om du vill aktivera modelldatainsamling för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt.
- auth_enabled
- bool
Om du vill aktivera nyckelautentisering för den här versionen i en slutpunkt eller inte. Standardvärdet är True.
- cpu_cores
- float
Antalet processorkärnor som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,1
- memory_gb
- float
Mängden minne (i GB) som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,5
- enable_app_insights
- bool
Om du vill aktivera ApplicationInsights-loggning för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt.
- scoring_timeout_ms
- int
En timeout för att framtvinga bedömningsanrop till den här versionen i en slutpunkt. Standardvärdet är 60000
- replica_max_concurrent_requests
- int
Antalet maximala samtidiga begäranden per replik för att tillåta den här versionen i en slutpunkt. Standardvärdet är 1. Ändra inte den här inställningen från standardvärdet 1 om inte microsofts tekniska support eller en medlem i Azure Machine Learning-teamet instruerar det.
- max_request_wait_time
- int
Den maximala tiden som en begäran stannar i kön (i millisekunder) innan ett 503-fel returneras. Standardvärdet är 500.
- num_replicas
- int
Antalet containrar som ska allokeras för den här versionen i en slutpunkt. Ingen standard, om den här parametern inte har angetts aktiveras autoskalningsfunktionen som standard.
- primary_key
- str
En primär autentiseringsnyckel som ska användas för den här slutpunkten.
- secondary_key
- str
En sekundär autentiseringsnyckel som ska användas för den här slutpunkten.
Ordlista med nyckelvärdetaggar för att ge den här slutpunkten.
Ordlista över nyckelvärdeegenskaper för att ge den här slutpunkten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckelvärdepar kan läggas till
- gpu_cores
- int
Antalet GPU-kärnor som ska allokeras för den här versionen i en slutpunkt. Standardvärdet är 0.
- period_seconds
- int
Hur ofta (i sekunder) live-avsökningen ska utföras. Standardvärdet är 10 sekunder. Minsta värde är 1.
- initial_delay_seconds
- int
Antal sekunder efter att containern har startats innan live-avsökningar initieras. Standardvärdet är 310.
- timeout_seconds
- int
Antal sekunder efter vilket livenessavsökningen överskrider tidsgränsen. Standardvärdet är 2 sekunder. Minsta värde är 1.
- success_threshold
- int
Minsta lyckade resultat i följd för att liveness-avsökningen ska anses vara lyckad efter att ha misslyckats. Standardvärdet är 1. Minsta värde är 1.
- failure_threshold
- int
När en podd startar och live-avsökningen misslyckas försöker Kubernetes gånger failureThreshold innan de ger upp. Standardvärdet är 3. Minsta värde är 1.
- namespace
- str
Kubernetes-namnområdet där den här slutpunkten ska distribueras: upp till 63 alfanumeriska gemener ('a'-'z', '0'-'9') och bindestreck ('-') tecken. Det första och sista tecknen får inte vara bindestreck.
- token_auth_enabled
- bool
Om du vill aktivera tokenautentisering för den här slutpunkten eller inte. Om detta är aktiverat kan användarna komma åt den här slutpunkten genom att hämta åtkomsttoken med sina Azure Active Directory-autentiseringsuppgifter. Standardvärdet är Falskt.
- cpu_cores_limit
- float
Det maximala antalet cpu-kärnor som webbtjänsten tillåts använda. Kan vara en decimal.
- memory_gb_limit
- float
Den maximala mängden minne (i GB) som den här webbtjänsten får använda. Kan vara en decimal.
Returtyp
Undantag
serialize
Konvertera den här webbtjänsten till en serialiserad JSON-ordlista.
serialize()Returer
JSON-representationen av den här webbtjänsten.
Returtyp
Undantag
update
Uppdatera slutpunkten med angivna egenskaper.
Värden kvar som Ingen förblir oförändrade i den här slutpunkten
update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)Parametrar
- auth_enabled
- bool
Om du vill aktivera nyckelautentisering för den här versionen i en slutpunkt eller inte. Standardvärdet är True.
- token_auth_enabled
- bool
Om du vill aktivera tokenautentisering för den här slutpunkten eller inte. Om detta är aktiverat kan användarna komma åt den här slutpunkten genom att hämta åtkomsttoken med sina Azure Active Directory-autentiseringsuppgifter. Standardvärdet är Falskt.
- enable_app_insights
- bool
Om du vill aktivera Application Insights-loggning för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt.
Ordlista med nyckelvärdetaggar för att ge den här slutpunkten.
Ordlista över nyckelvärdeegenskaper för att ge den här slutpunkten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckelvärdepar kan läggas till.
Undantag
update_version
Uppdatera en befintlig version i en slutpunkt med angivna egenskaper.
Värden kvar som Ingen förblir oförändrade i den här versionen.
update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Parametrar
- autoscale_enabled
- bool
Om du vill aktivera automatisk skalning för den här versionen i en slutpunkt eller inte. Standardvärdet är Sant om num_replicas är Ingen.
- autoscale_min_replicas
- int
Det minsta antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 1.
- autoscale_max_replicas
- int
Det maximala antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 10.
- autoscale_refresh_seconds
- int
Hur ofta autoskalning ska försöka skala den här versionen i en slutpunkt. Standardvärdet är 1
- autoscale_target_utilization
- int
Målanvändningen (i procent av 100) som autoskalning ska försöka underhålla för den här versionen i en slutpunkt. Standardvärdet är 70.
- collect_model_data
- bool
Om du vill aktivera modelldatainsamling för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt.
- cpu_cores
- float
Antalet processorkärnor som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,1
- memory_gb
- float
Mängden minne (i GB) som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,5
- scoring_timeout_ms
- int
En tidsgräns för att framtvinga för bedömning av anrop till den här versionen i en slutpunkt. Standardvärdet är 60000.
- replica_max_concurrent_requests
- int
Antalet maximala samtidiga begäranden per replik för att tillåta den här versionen i en slutpunkt. Standardvärdet är 1. Ändra inte den här inställningen från standardvärdet 1 om inte microsofts tekniska support eller en medlem i Azure Machine Learning-teamet instruerar det.
- max_request_wait_time
- int
Den maximala tiden som en begäran stannar i kön (i millisekunder) innan ett 503-fel returneras. Standardvärdet är 500.
- num_replicas
- int
Antalet containrar som ska allokeras för den här versionen i en slutpunkt. Ingen standard, om den här parametern inte har angetts aktiveras autoskalningsfunktionen som standard.
Ordlista med nyckelvärdetaggar för att ge den här slutpunkten.
Ordlista över nyckelvärdeegenskaper för att ge den här slutpunkten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckelvärdepar kan läggas till.
En lista över modellobjekt som ska paketera med den uppdaterade tjänsten
- inference_config
- InferenceConfig
Ett InferenceConfig-objekt som används för att tillhandahålla de nödvändiga modelldistributionsegenskaperna.
- gpu_cores
- int
Antalet GPU-kärnor som ska allokeras för den här versionen i en slutpunkt. Standardvärdet är 0.
- period_seconds
- int
Hur ofta (i sekunder) live-avsökningen ska utföras. Standardvärdet är 10 sekunder. Minsta värde är 1.
- initial_delay_seconds
- int
Antalet sekunder efter att containern har startats innan liveness-avsökningar initieras. Standardvärdet är 310.
- timeout_seconds
- int
Antalet sekunder efter vilken livenessavsökningen överskrider tidsgränsen. Standardvärdet är 2 sekunder. Minsta värde är 1.
- success_threshold
- int
Minsta lyckade resultat i följd för att liveness-avsökningen ska anses vara lyckad efter att ha misslyckats. Standardvärdet är 1. Minsta värde är 1.
- failure_threshold
- int
När en podd startar och live-avsökningen misslyckas, försöker Kubernetes felDå gånger innan de ger upp. Standardvärdet är 3. Minsta värde är 1.
- is_default
- bool
Om den här versionen ska vara standardversion i en slutpunkt eller inte. Standardvärdet är Falskt.
- is_control_version_type
- bool
Om du vill göra den här versionen som kontrollversion i en slutpunkt eller inte. Standardvärdet är Falskt.
- cpu_cores_limit
- float
Det maximala antalet cpu-kärnor som webbtjänsten tillåts använda. Kan vara en decimal.
- memory_gb_limit
- float
Den maximala mängden minne (i GB) som den här webbtjänsten får använda. Kan vara en decimal.
Undantag
Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för