ml Pakiet

Pakiety

automl

Zawiera klasy zautomatyzowanego uczenia maszynowego dla zestawu SDKKv2 usługi Azure Machine Learning.

Główne obszary obejmują zarządzanie zadaniami rozwiązania AutoML.

constants

Ten pakiet definiuje stałe używane w zestawie SDKKv2 usługi Azure Machine Learning.

data_transfer
dsl
entities

Zawiera jednostki i obiekty zestawu SDK dla zestawu SDK usługi Azure Machine Learning SDKv2.

Główne obszary obejmują zarządzanie obiektami obliczeniowymi, tworzenie i zarządzanie obszarami roboczymi i zadaniami oraz przesyłanie/uzyskiwanie dostępu do modelu, uruchamianie i uruchamianie danych wyjściowych/rejestrowania itp.

identity

Zawiera konfigurację tożsamości dla zestawu SDKKv2 usługi Azure Machine Learning.

operations

Zawiera obsługiwane operacje dla zestawu SDKKv2 usługi Azure Machine Learning.

Operacje to klasy zawierają logikę interakcji z usługami zaplecza, zwykle automatycznie generowanymi wywołaniami operacji.

parallel
sweep

Moduły

exceptions

Zawiera moduł wyjątków w zestawie SDKKv2 usługi Azure Machine Learning.

Obejmuje to wyliczenia i klasy wyjątków.

Klasy

AmlTokenConfiguration

Konfiguracja tożsamości tokenu usługi AzureML.

Input

Inicjowanie obiektu wejściowego.

MLClient

Klasa klienta do interakcji z usługami Azure ML.

Ten klient służy do zarządzania zasobami usługi Azure ML, takimi jak obszary robocze, zadania, modele itd.

ManagedIdentityConfiguration

Konfiguracja poświadczeń tożsamości zarządzanej.

MpiDistribution

Konfiguracja dystrybucji MPI.

Output
PyTorchDistribution

Konfiguracja dystrybucji PyTorch.

RayDistribution

Uwaga

Jest to klasa eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.

Konfiguracja rozkładu promieni.

TensorFlowDistribution

Konfiguracja dystrybucji tensorFlow.

UserIdentityConfiguration

Konfiguracja tożsamości użytkownika.

Funkcje

command

Tworzy obiekt Command, który może być używany wewnątrz funkcji dsl.pipeline lub używany jako autonomiczne zadanie polecenia.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

Parametry

name
Optional[str]

Nazwa zadania polecenia lub składnika.

description
Optional[str]

Opis polecenia. Domyślnie wartość Brak.

tags
Optional[dict[str, str]]

Tag słownika. Tagi można dodawać, usuwać i aktualizować. Domyślnie wartość Brak.

properties
Optional[dict[str, str]]

Słownik właściwości zadania. Domyślnie wartość Brak.

display_name
Optional[str]

Nazwa wyświetlana zadania. Wartość domyślna to losowo wygenerowana nazwa.

command
Optional[str]

Polecenie do wykonania. Domyślnie wartość Brak.

experiment_name
Optional[str]

Nazwa eksperymentu, w ramach którego zostanie utworzone zadanie. Wartość domyślna to bieżąca nazwa katalogu.

environment
Optional[Union[str, Environment]]

Środowisko, w których zostanie uruchomione zadanie.

environment_variables
Optional[dict[str, str]]

Słownik nazw i wartości zmiennych środowiskowych. Te zmienne środowiskowe są ustawiane w procesie, w którym jest wykonywany skrypt użytkownika. Domyślnie wartość Brak.

distribution
Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

Konfiguracja zadań rozproszonych. Domyślnie wartość Brak.

compute
Optional[str]

Docelowy obiekt obliczeniowy, na który zostanie uruchomione zadanie. Wartość domyślna to obliczenia domyślne.

inputs
Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

Mapowanie nazw wejściowych na wejściowe źródła danych używane w zadaniu. Domyślnie wartość Brak.

outputs
Optional[dict[str, Union[str, Output]]]

Mapowanie nazw wyjściowych na wyjściowe źródła danych używane w zadaniu. Domyślnie wartość Brak.

instance_count
Optional[int]

Liczba wystąpień lub węzłów do użycia przez docelowy obiekt obliczeniowy. Wartość domyślna to 1.

instance_type
Optional[str]

Typ maszyny wirtualnej do użycia przez docelowy obiekt obliczeniowy.

locations
Optional[list[str]]

Lista lokalizacji, w których zostanie uruchomione zadanie.

docker_args
Optional[str]

Dodatkowe argumenty, które mają zostać przekazane do polecenia uruchamiania platformy Docker. Spowoduje to zastąpienie wszystkich parametrów, które zostały już ustawione przez system lub w tej sekcji. Ten parametr jest obsługiwany tylko w przypadku typów obliczeniowych usługi Azure ML. Domyślnie wartość Brak.

shm_size
Optional[str]

Rozmiar bloku pamięci udostępnionej kontenera platformy Docker. Powinno to być w formacie (liczba)(jednostka), gdzie liczba musi być większa niż 0, a jednostka może być jedną z b(bajtów), k(kilobajtów), m(megabajtów) lub g(gigabajtów).

timeout
Optional[int]

Liczba w sekundach, po której zadanie zostanie anulowane.

code
Optional[Union[str, PathLike]]

Kod źródłowy do uruchomienia zadania. Może to być ścieżka lokalna lub "http:", "https:" lub "azureml:" adres URL wskazujący lokalizację zdalną.

identity
Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Tożsamość, która będzie używana przez zadanie polecenia podczas uruchamiania w środowisku obliczeniowym.

is_deterministic
bool

Określa, czy polecenie zwróci te same dane wyjściowe, biorąc pod uwagę te same dane wejściowe. Wartość domyślna to True. Jeśli wartość True, jeśli składnik polecenia jest deterministyczny i został uruchomiony wcześniej w bieżącym obszarze roboczym z tymi samymi danymi wejściowymi i ustawieniami, będzie ponownie używać wyników z wcześniej przesłanego zadania, gdy jest używany jako węzeł lub krok w potoku. W tym scenariuszu nie będą używane żadne zasoby obliczeniowe.

services
Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

Usługi interaktywne dla węzła. Domyślnie wartość Brak. Jest to parametr eksperymentalny i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.

job_tier
Optional[str]

Warstwa zadań. Akceptowane wartości to "Spot", "Basic", "Standard" lub "Premium".

priority
Optional[str]

Priorytet zadania obliczeniowego. Akceptowane wartości to "niska", "średnia" i "wysoka". Wartość domyślna to "medium".

Zwraca

Obiekt Polecenia.

Typ zwracany

Przykłady

Tworzenie zadania polecenia przy użyciu metody konstruktora command().


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

load_batch_deployment

Skonstruuj obiekt wdrożenia wsadowego z pliku yaml.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obiektu wdrożenia wsadowego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.

relative_origin
str

Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Skonstruowany obiekt wdrożenia wsadowego.

Typ zwracany

load_batch_endpoint

Skonstruuj obiekt punktu końcowego wsadowego z pliku yaml.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obiektu punktu końcowego wsadowego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.

relative_origin
str
wartość domyślna: None

Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Skonstruowany obiekt punktu końcowego wsadowego.

Typ zwracany

load_component

Załaduj składnik z lokalnego lub zdalnego do funkcji składnika.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
wartość domyślna: None

Lokalne źródło yaml składnika. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.

relative_origin
str

Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Obiekt składników

Typ zwracany

Przykłady

Ładowanie obiektu Component z pliku YAML, zastępowanie jego wersji do "1.0.2" i zdalne rejestrowanie go.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

load_compute

Skonstruuj obiekt obliczeniowy z pliku yaml.

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obliczeniowego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.

relative_origin
Optional[str]

Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
Optional[List[Dict]]

Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Załadowany obiekt obliczeniowy.

Typ zwracany

Przykłady

Ładowanie obiektu obliczeniowego z pliku YAML i zastępowanie jego opisu.


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

load_data

Skonstruuj obiekt danych z pliku yaml.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obiektu danych. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.

relative_origin
str

Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Skonstruowany obiekt Data lub DataImport.

Typ zwracany

Wyjątki

Zgłoszone, jeśli nie można pomyślnie zweryfikować danych. Szczegóły zostaną podane w komunikacie o błędzie.

load_datastore

Skonstruuj obiekt magazynu danych z pliku yaml.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml magazynu danych. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.

relative_origin
str

Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Załadowany obiekt magazynu danych.

Typ zwracany

Wyjątki

Zgłoszony, jeśli nie można pomyślnie zweryfikować magazynu danych. Szczegóły zostaną podane w komunikacie o błędzie.

load_environment

Skonstruuj obiekt środowiska z pliku yaml.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml środowiska. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.

relative_origin
str

Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Skonstruowany obiekt środowiska.

Typ zwracany

Wyjątki

Podniesione, jeśli nie można pomyślnie zweryfikować środowiska. Szczegóły zostaną podane w komunikacie o błędzie.

load_job

Tworzy obiekt zadania z pliku YAML.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Ścieżka do lokalnego pliku YAML lub już otwartego obiektu pliku zawierającego konfigurację zadania. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio.

relative_origin
Optional[str]

Katalog główny yaML. Ten katalog będzie używany jako źródło do deducing względnych lokalizacji plików przywoływane w analizowanym języku YAML. Domyślnie jest to ten sam katalog co źródło, jeśli źródło jest danymi wejściowymi pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
Optional[list[dict]]

Pola parametrów do zastępowania wartości w pliku YAML.

Zwraca

Załadowany obiekt zadania.

Typ zwracany

Job

Wyjątki

Zgłoszone, jeśli nie można pomyślnie zweryfikować zadania. Szczegóły zostaną podane w komunikacie o błędzie.

Przykłady

Ładowanie zadania z pliku konfiguracji YAML.


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

load_model

Tworzy obiekt Modelu z pliku YAML.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Ścieżka do lokalnego pliku YAML lub już otwartego obiektu pliku zawierającego konfigurację zadania. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio.

relative_origin
Optional[str]

Katalog główny yaML. Ten katalog będzie używany jako źródło do deducing względnych lokalizacji plików przywoływane w analizowanym języku YAML. Domyślnie jest to ten sam katalog co źródło, jeśli źródło jest danymi wejściowymi pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.

params_override
Optional[list[dict]]

Pola parametrów do zastępowania wartości w pliku YAML.

Zwraca

Załadowany obiekt modelu.

Typ zwracany

Wyjątki

Zgłoszone, jeśli nie można pomyślnie zweryfikować zadania. Szczegóły zostaną podane w komunikacie o błędzie.

Przykłady

Ładowanie modelu z pliku konfiguracji YAML, zastępowanie parametrów nazwy i wersji.


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

load_model_package

Uwaga

Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.

Tworzy obiekt ModelPackage z pliku YAML.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Ścieżka do lokalnego pliku YAML lub już otwartego obiektu pliku zawierającego konfigurację zadania. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio.

relative_origin
Optional[str]

Katalog główny dla kodu YAML. Ten katalog będzie używany jako źródło do deducing względnych lokalizacji plików, do których odwołuje się parsed YAML. Domyślnie jest to ten sam katalog co źródło, jeśli źródło jest danymi wejściowymi pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.

params_override
Optional[list[dict]]

Pola parametrów do zastępowania wartości w pliku YAML.

Zwraca

Załadowany obiekt ModelPackage.

Typ zwracany

Wyjątki

Zgłoszone, jeśli nie można pomyślnie zweryfikować zadania. Szczegóły zostaną podane w komunikacie o błędzie.

Przykłady

Ładowanie pakietu ModelPackage z pliku konfiguracji YAML.


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

load_online_deployment

Skonstruuj obiekt wdrożenia online z pliku yaml.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obiektu wdrożenia online. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.

relative_origin
str

Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Skonstruowany obiekt wdrożenia online.

Typ zwracany

Wyjątki

Podniesione, jeśli nie można pomyślnie zweryfikować wdrożenia online. Szczegóły zostaną podane w komunikacie o błędzie.

load_online_endpoint

Konstruowanie obiektu punktu końcowego online z pliku yaml.

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obiektu punktu końcowego online. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.

relative_origin
str

Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Skonstruowany obiekt punktu końcowego online.

Typ zwracany

Wyjątki

Zgłoszone, jeśli nie można pomyślnie zweryfikować punktu końcowego online. Szczegóły zostaną podane w komunikacie o błędzie.

load_registry

Załaduj obiekt rejestru z pliku yaml.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml rejestru. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.

relative_origin
str

Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Załadowany obiekt rejestru.

Typ zwracany

load_workspace

Załaduj obiekt obszaru roboczego z pliku yaml.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obszaru roboczego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.

relative_origin
str

Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Załadowany obiekt obszaru roboczego.

Typ zwracany

load_workspace_connection

Skonstruuj obiekt połączenia obszaru roboczego z pliku yaml.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obiektu połączenia obszaru roboczego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.

relative_origin
str

Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Skonstruowany obiekt połączenia obszaru roboczego.

Typ zwracany

load_workspace_hub

Uwaga

Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.

Załaduj obiekt WorkspaceHub z pliku yaml.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Wymagane

Lokalne źródło yaml obszaru roboczegoHub. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.

relative_origin
str

Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.

params_override
List[Dict]

Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]

Zwraca

Załadowany obiekt WorkspaceHub.

Typ zwracany

spark

Tworzy obiekt Spark, który może być używany wewnątrz funkcji dsl.pipeline lub używany jako autonomiczne zadanie platformy Spark.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

Parametry

experiment_name
Optional[str]

Nazwa eksperymentu, w ramach których zostanie utworzone zadanie.

name
Optional[str]

Nazwa zadania.

display_name
Optional[str]

Nazwa wyświetlana zadania.

description
Optional[str]

Opis zadania. Wartość domyślna to None (Brak).

tags
Optional[dict[str, str]]

Słownik tagów zadania. Tagi można dodawać, usuwać i aktualizować. Domyślnie wartość Brak.

code

Kod źródłowy do uruchomienia zadania. Może to być ścieżka lokalna lub "http:", "https:" lub "azureml:" adres URL wskazujący lokalizację zdalną.

entry
Optional[Union[dict[str, str], SparkJobEntry]]

Plik lub punkt wejścia klasy.

py_files
Optional[list[str]]

Lista plików .zip, jajko lub py do umieszczenia w aplikacji PYTHONPATH for Python. Domyślnie wartość Brak.

jars
Optional[list[str]]

Lista . Pliki JAR do uwzględnienia w ścieżkach klas sterownika i funkcji wykonawczej. Domyślnie wartość Brak.

files
Optional[list[str]]

Lista plików, które mają zostać umieszczone w katalogu roboczym każdego wykonawcy. Domyślnie wartość Brak.

archives
Optional[list[str]]

Lista archiwów, które mają zostać wyodrębnione do katalogu roboczego każdego wykonawcy. Domyślnie wartość Brak.

identity
Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Tożsamość, która będzie używana przez zadanie platformy Spark podczas uruchamiania w środowisku obliczeniowym.

driver_cores
Optional[int]

Liczba rdzeni do użycia w procesie sterownika tylko w trybie klastra.

driver_memory
Optional[str]

Ilość pamięci do użycia dla procesu sterownika, sformatowana jako ciągi z sufiksem jednostki rozmiaru ("k", "m", "g" lub "t") (np. "512m", "2g").

executor_cores
Optional[int]

Liczba rdzeni do użycia w poszczególnych funkcjach wykonawczej.

executor_memory
Optional[str]

Ilość pamięci do użycia w procesie funkcji wykonawczej, sformatowana jako ciągi z sufiksem jednostki rozmiaru ("k", "m", "g" lub "t") (np. "512m", "2g").

executor_instances
Optional[int]

Początkowa liczba funkcji wykonawczych.

dynamic_allocation_enabled
Optional[bool]

Czy używać dynamicznej alokacji zasobów, która skaluje liczbę funkcji wykonawczych zarejestrowanych w tej aplikacji w górę i w dół na podstawie obciążenia.

dynamic_allocation_min_executors
Optional[int]

Dolna granica liczby funkcji wykonawczych, jeśli jest włączona alokacja dynamiczna.

dynamic_allocation_max_executors
Optional[int]

Górna granica liczby funkcji wykonawczych, jeśli jest włączona alokacja dynamiczna.

conf
Optional[dict[str, str]]

Słownik ze wstępnie zdefiniowanymi konfiguracjami platformy Spark kluczem i wartościami. Domyślnie wartość Brak.

environment
Optional[Union[str, Environment]]

Środowisko usługi Azure ML do uruchomienia zadania.

inputs
Optional[dict[str, Input]]

Mapowanie nazw wejściowych na dane wejściowe używane w zadaniu. Domyślnie wartość Brak.

outputs
Optional[dict[str, Output]]

Mapowanie nazw wyjściowych na dane wyjściowe używane w zadaniu. Domyślnie wartość Brak.

args
Optional[str]

Argumenty zadania.

compute
Optional[str]

Zasób obliczeniowy uruchamiany przez zadanie.

resources
Optional[Union[dict, SparkResourceConfiguration]]

Konfiguracja zasobu obliczeniowego dla zadania.

Zwraca

Obiekt Spark.

Typ zwracany

Przykłady

Tworzenie potoku platformy Spark przy użyciu dekoratora potoku DSL


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )