AksEndpoint Třída
Poznámka
Toto je experimentální třída, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Představuje kolekci verzí webové služby za stejným koncovým bodem spuštěným na Azure Kubernetes Service.
AksWebservice Zatímco služba nasadí jednu službu s jedním bodovacím koncovým bodem, třída AksEndpoint umožňuje nasadit několik verzí webové služby za stejným bodovacím koncovým bodem. Každou verzi webové služby je možné nakonfigurovat tak, aby obsluhovala procento provozu, takže můžete modely nasazovat řízeným způsobem, například pro testování A/B. AksEndpoint umožňuje nasazení z objektu modelu podobného objektu AksWebservice.
Inicializuje instanci webové služby.
Konstruktor webové služby načte cloudovou reprezentaci objektu webové služby přidruženého k poskytnutému pracovnímu prostoru. Vrátí instanci podřízené třídy odpovídající konkrétnímu typu načteného objektu Webové služby.
- Dědičnost
-
AksEndpoint
Konstruktor
AksEndpoint(workspace, name)Parametry
- workspace
- Workspace
Objekt pracovního prostoru obsahující objekt Webservice, který se má načíst.
Proměnné
- versions
- dict[str, AksWebservice]
Slovník názvu verze na objekt verze. Obsahuje všechny verze nasazené jako součást tohoto koncového bodu.
Metody
| create_version |
Přidejte novou verzi do koncového bodu se zadanými vlastnostmi. |
| delete_version |
Odstranění verze v koncovém bodu |
| deploy_configuration |
Vytvořte objekt konfigurace pro nasazení do cílového výpočetního objektu AKS. |
| serialize |
Převeďte tuto webovou službu na serializovaný slovník JSON. |
| update |
Aktualizujte koncový bod pomocí zadaných vlastností. Hodnoty ponechané jako Žádné zůstanou v tomto koncovém bodu beze změny. |
| update_version |
Aktualizujte existující verzi v koncovém bodu pomocí zadaných vlastností. Hodnoty ponechané jako Žádné zůstanou v této verzi beze změny. |
create_version
Přidejte novou verzi do koncového bodu se zadanými vlastnostmi.
create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Parametry
- autoscale_enabled
- bool
Jestli se má povolit automatické škálování pro tuto verzi v koncovém bodu.
Výchozí hodnota je Pravda, pokud num_replicas je hodnota None.
- autoscale_min_replicas
- int
Minimální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 1.
- autoscale_max_replicas
- int
Maximální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 10.
- autoscale_refresh_seconds
- int
Jak často se má automatické škálování pokoušet škálovat tuto verzi v koncovém bodu. Výchozí hodnota je 1.
- autoscale_target_utilization
- int
Cílové využití (v procentech ze 100), které by se automatické škálování mělo pokusit zachovat pro tuto verzi v koncovém bodu. Výchozí hodnota je 70.
- collect_model_data
- bool
Jestli se má povolit shromažďování dat modelu pro tuto verzi v koncovém bodu. Výchozí hodnota je False.
- cpu_cores
- float
Počet jader procesoru, která se mají přidělit pro tuto verzi v koncovém bodu. Může být desetinná čárka. Výchozí hodnota je 0,1.
- memory_gb
- float
Velikost paměti (v GB), která se má přidělit pro tuto verzi v koncovém bodu. Může být desetinná čárka. Výchozí hodnota je 0,5.
- scoring_timeout_ms
- int
Časový limit pro vynucení bodování volání této verze v koncovém bodu Výchozí hodnota je 60000.
- replica_max_concurrent_requests
- int
Maximální počet souběžných požadavků na repliku, které budou pro tuto verzi v koncovém bodu povolené. Výchozí hodnota je 1. Toto nastavení neměňte z výchozí hodnoty 1, pokud vám k tomu nedá pokyn technická podpora Microsoftu nebo člen týmu Azure Machine Learning.
- max_request_wait_time
- int
Maximální doba, po kterou požadavek zůstane ve frontě (v milisekundách) před vrácením chyby 503. Výchozí hodnota je 500.
- num_replicas
- int
Počet kontejnerů, které se mají přidělit pro tuto verzi v koncovém bodu. Žádné výchozí nastavení. Pokud tento parametr není nastavený, je automatické škálování ve výchozím nastavení povolené.
Slovník značek klíčových hodnot, které mají tento koncový bod poskytnout.
Slovník vlastností hodnoty klíče, který má dát tento koncový bod. Tyto vlastnosti nelze po nasazení změnit, je však možné přidat nové páry hodnot klíčů.
Seznam objektů modelu, které se mají zabalit s aktualizovanou službou.
- inference_config
- InferenceConfig
InferenceConfig Objekt slouží k poskytnutí požadovaných vlastností nasazení modelu.
- gpu_cores
- int
Počet jader GPU, která se mají přidělit pro tuto verzi v koncovém bodu. Výchozí hodnota je 0.
- period_seconds
- int
Jak často (v sekundách) se má provádět sonda aktivity. Výchozí hodnota je 10 sekund. Minimální hodnota je 1.
- initial_delay_seconds
- int
Počet sekund po spuštění kontejneru, než se spustí sondy aktivity. Výchozí hodnota je 310.
- timeout_seconds
- int
Počet sekund, po jejichž uplynutí vyprší časový limit sondy aktivity. Výchozí hodnota je 2 sekundy. Minimální hodnota je 1.
- success_threshold
- int
Minimální počet po sobě jdoucích úspěchů sondy aktivity, který se má po selhání považovat za úspěšný. Výchozí hodnota je 1. Minimální hodnota je 1.
- failure_threshold
- int
Když se pod spustí a sonda aktivity selže, Kubernetes se pokusí o selháníThreshold Times předtím, než to vzdá. Výchozí hodnota je 3. Minimální hodnota je 1.
- is_default
- bool
Určuje, jestli má být tato verze v koncovém bodu nastavená jako výchozí verze. Výchozí hodnota je False.
- is_control_version_type
- bool
Jestli se má tato verze nastavit jako řídicí verze v koncovém bodu. Výchozí hodnota je False.
- cpu_cores_limit
- float
Maximální počet jader procesoru, které může tato webová služba používat. Může být desetinná čárka.
- memory_gb_limit
- float
Maximální velikost paměti (v GB), kterou může tato webová služba používat. Může být desetinná čárka.
Výjimky
delete_version
Odstranění verze v koncovém bodu
delete_version(version_name)Parametry
Výjimky
deploy_configuration
Vytvořte objekt konfigurace pro nasazení do cílového výpočetního objektu AKS.
static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)Parametry
- autoscale_enabled
- bool
Jestli se má povolit automatické škálování pro tuto verzi v koncovém bodu.
Výchozí hodnota je Pravda, pokud num_replicas je none.
- autoscale_min_replicas
- int
Minimální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 1.
- autoscale_max_replicas
- int
Maximální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 10.
- autoscale_refresh_seconds
- int
Jak často se má automatické škálování pokoušet škálovat tuto verzi v koncovém bodu. Výchozí hodnota je 1.
- autoscale_target_utilization
- int
Cílové využití (v procentech ze 100) by se automatické škálování mělo pokusit zachovat pro tuto verzi v koncovém bodu. Výchozí hodnota je 70.
- collect_model_data
- bool
Jestli se má povolit shromažďování dat modelu pro tuto verzi v koncovém bodu. Výchozí hodnota je False.
- auth_enabled
- bool
Jestli se má povolit ověřování klíčů pro tuto verzi v koncovém bodu. Výchozí hodnota je Pravda.
- cpu_cores
- float
Počet jader procesoru, která se mají přidělit pro tuto verzi v koncovém bodu. Může to být desetinná čárka. Výchozí hodnota je 0.1.
- memory_gb
- float
Velikost paměti (v GB), která se má přidělit této verzi v koncovém bodu. Může to být desetinná čárka. Výchozí hodnota je 0,5.
- enable_app_insights
- bool
Jestli chcete povolit protokolování ApplicationInsights pro tuto verzi v koncovém bodu. Výchozí hodnota je False.
- scoring_timeout_ms
- int
Časový limit pro vynucení volání bodování této verze v koncovém bodu Výchozí hodnota je 60000.
- replica_max_concurrent_requests
- int
Počet maximálních souběžných požadavků na repliku, které umožní tuto verzi v koncovém bodu. Výchozí hodnota je 1. Toto nastavení neměňte z výchozí hodnoty 1, pokud vám to nepovolí technická podpora Microsoftu nebo člen týmu Služby Azure Machine Learning.
- max_request_wait_time
- int
Maximální doba, po kterou požadavek zůstane ve frontě (v milisekundách) před vrácením chyby 503. Výchozí hodnota je 500.
- num_replicas
- int
Počet kontejnerů, které se mají přidělit pro tuto verzi v koncovém bodu. Není výchozí. Pokud tento parametr není nastavený, je automatické škálování ve výchozím nastavení povolené.
- primary_key
- str
Primární ověřovací klíč, který se má použít pro tento koncový bod.
- secondary_key
- str
Sekundární ověřovací klíč, který se má použít pro tento koncový bod.
Slovník značek klíčových hodnot, které mají dát tento koncový bod.
Slovník vlastností hodnoty klíče, které mají dát tomuto koncovému bodu. Tyto vlastnosti nelze po nasazení změnit, je však možné přidat nové páry hodnot klíčů.
- gpu_cores
- int
Počet jader GPU, která se mají přidělit pro tuto verzi v koncovém bodu. Výchozí hodnota je 0.
- period_seconds
- int
Jak často (v sekundách) se má sonda aktivity provádět. Výchozí hodnota je 10 sekund. Minimální hodnota je 1.
- initial_delay_seconds
- int
Počet sekund po spuštění kontejneru před zahájením sondy živosti Výchozí hodnota je 310.
- timeout_seconds
- int
Počet sekund, po jejichž uplynutí vyprší časový limit sondy aktivity. Výchozí hodnota je 2 sekundy. Minimální hodnota je 1.
- success_threshold
- int
Minimální počet po sobě jdoucích úspěchů, aby se sonda živosti po neúspěchu považovala za úspěšnou. Výchozí hodnota je 1. Minimální hodnota je 1.
- failure_threshold
- int
Když se pod spustí a sonda živosti selže, Kubernetes zkusí failureThreshold časy, než to vzdát. Výchozí hodnota je 3. Minimální hodnota je 1.
- namespace
- str
Obor názvů Kubernetes, ve kterém se má tento koncový bod nasadit: až 63 alfanumerických znaků s malými písmeny (a-z, 0-9) a spojovníku (-). První a poslední znak nesmí být pomlčky.
- token_auth_enabled
- bool
Jestli se má povolit ověřování tokenů pro tento koncový bod. Pokud je tato možnost povolená, můžou uživatelé přistupovat k tomuto koncovému bodu načtením přístupových tokenů pomocí svých přihlašovacích údajů Azure Active Directory. Výchozí hodnota je False.
- compute_target_name
- str
Název cílového výpočetního prostředí, do které se má nasadit
- cpu_cores_limit
- float
Maximální počet jader procesoru, která může tato webová služba používat. Může to být desetinná čárka.
- memory_gb_limit
- float
Maximální velikost paměti (v GB) může tato webová služba používat. Může to být desetinná čárka.
Návratový typ
Výjimky
serialize
Převeďte tuto webovou službu na serializovaný slovník JSON.
serialize()Návraty
Reprezentace této webové služby ve formátu JSON.
Návratový typ
Výjimky
update
Aktualizujte koncový bod pomocí zadaných vlastností.
Hodnoty ponechané jako Žádné zůstanou v tomto koncovém bodu beze změny.
update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)Parametry
- auth_enabled
- bool
Jestli se má povolit ověřování klíčů pro tuto verzi v koncovém bodu. Výchozí hodnota je Pravda.
- token_auth_enabled
- bool
Jestli se má povolit ověřování tokenů pro tento koncový bod. Pokud je tato možnost povolená, můžou uživatelé přistupovat k tomuto koncovému bodu načtením přístupových tokenů pomocí svých přihlašovacích údajů Azure Active Directory. Výchozí hodnota je False.
- enable_app_insights
- bool
Jestli se má povolit protokolování Application Insights pro tuto verzi v koncovém bodu. Výchozí hodnota je False.
Slovník značek klíčových hodnot, které mají dát tento koncový bod.
Slovník vlastností hodnoty klíče, které mají dát tomuto koncovému bodu. Tyto vlastnosti nelze po nasazení změnit, je však možné přidat nové páry hodnot klíčů.
Výjimky
update_version
Aktualizujte existující verzi v koncovém bodu pomocí zadaných vlastností.
Hodnoty ponechané jako Žádné zůstanou v této verzi beze změny.
update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)Parametry
- autoscale_enabled
- bool
Jestli se má povolit automatické škálování pro tuto verzi v koncovém bodu. Výchozí hodnota je True, pokud num_replicas je None.)
- autoscale_min_replicas
- int
Minimální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 1.
- autoscale_max_replicas
- int
Maximální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 10.
- autoscale_refresh_seconds
- int
Jak často se má automatické škálování pokoušet škálovat tuto verzi v koncovém bodu. Výchozí hodnota je 1.
- autoscale_target_utilization
- int
Cílové využití (v procentech ze 100) by se automatické škálování mělo pokusit zachovat pro tuto verzi v koncovém bodu. Výchozí hodnota je 70.
- collect_model_data
- bool
Jestli se má povolit shromažďování dat modelu pro tuto verzi v koncovém bodu. Výchozí hodnota je False.
- cpu_cores
- float
Počet jader procesoru, která se mají přidělit pro tuto verzi v koncovém bodu. Může to být desetinná čárka. Výchozí hodnota je 0.1.
- memory_gb
- float
Velikost paměti (v GB), která se má přidělit této verzi v koncovém bodu. Může to být desetinná čárka. Výchozí hodnota je 0,5.
- scoring_timeout_ms
- int
Časový limit, který se má vynutit pro vyhodnocování volání této verze v koncovém bodu. Výchozí hodnota je 60000.
- replica_max_concurrent_requests
- int
Počet maximálních souběžných požadavků na repliku, které umožní tuto verzi v koncovém bodu. Výchozí hodnota je 1. Toto nastavení neměňte z výchozí hodnoty 1, pokud vám to nepovolí technická podpora Microsoftu nebo člen týmu Služby Azure Machine Learning.
- max_request_wait_time
- int
Maximální doba, po kterou požadavek zůstane ve frontě (v milisekundách) před vrácením chyby 503. Výchozí hodnota je 500.
- num_replicas
- int
Počet kontejnerů, které se mají přidělit pro tuto verzi v koncovém bodu. Není výchozí. Pokud tento parametr není nastavený, je automatické škálování ve výchozím nastavení povolené.
Slovník značek klíčových hodnot, které mají dát tento koncový bod.
Slovník vlastností hodnoty klíče, které mají dát tomuto koncovému bodu. Tyto vlastnosti nelze po nasazení změnit, je však možné přidat nové páry hodnot klíčů.
Seznam objektů modelu, které se mají zabalit s aktualizovanou službou
- inference_config
- InferenceConfig
Objekt InferenceConfig, který slouží k poskytnutí požadovaných vlastností nasazení modelu.
- gpu_cores
- int
Počet jader GPU, která se mají přidělit pro tuto verzi v koncovém bodu. Výchozí hodnota je 0.
- period_seconds
- int
Jak často (v sekundách) se má sonda aktivity provádět. Výchozí hodnota je 10 sekund. Minimální hodnota je 1.
- initial_delay_seconds
- int
Počet sekund po spuštění kontejneru, než se zahájí sondy aktivity. Výchozí hodnota je 310.
- timeout_seconds
- int
Počet sekund, po jejichž uplynutí vyprší časový limit sondy aktivity. Výchozí hodnota je 2 sekundy. Minimální hodnota je 1.
- success_threshold
- int
Minimální po sobě jdoucí úspěch sondy živosti, která se má po neúspěchu považovat za úspěšnou. Výchozí hodnota je 1. Minimální hodnota je 1.
- failure_threshold
- int
Když se pod spustí a sonda živosti selže, Kubernetes se pokusí o selháníThreshold times, než to vzdát. Výchozí hodnota je 3. Minimální hodnota je 1.
- is_default
- bool
Jestli se má tato verze v koncovém bodu nastavit jako výchozí. Výchozí hodnota je False.
- is_control_version_type
- bool
Jestli se má tato verze nastavit jako verze řízení v koncovém bodu. Výchozí hodnota je False.
- cpu_cores_limit
- float
Maximální počet jader procesoru, která může tato webová služba používat. Může to být desetinná čárka.
- memory_gb_limit
- float
Maximální velikost paměti (v GB) může tato webová služba používat. Může to být desetinná čárka.
Výjimky
Váš názor
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu: https://aka.ms/ContentUserFeedback.
Odeslat a zobrazit názory pro