ml Pakiet
Pakiety
automl |
Zawiera klasy zautomatyzowanego uczenia maszynowego dla zestawu SDKKv2 usługi Azure Machine Learning. Główne obszary obejmują zarządzanie zadaniami rozwiązania AutoML. |
constants |
Ten pakiet definiuje stałe używane w zestawie SDKKv2 usługi Azure Machine Learning. |
data_transfer | |
dsl | |
entities |
Zawiera jednostki i obiekty zestawu SDK dla zestawu SDK usługi Azure Machine Learning SDKv2. Główne obszary obejmują zarządzanie obiektami obliczeniowymi, tworzenie i zarządzanie obszarami roboczymi i zadaniami oraz przesyłanie/uzyskiwanie dostępu do modelu, uruchamianie i uruchamianie danych wyjściowych/rejestrowania itp. |
identity |
Zawiera konfigurację tożsamości dla zestawu SDKKv2 usługi Azure Machine Learning. |
operations |
Zawiera obsługiwane operacje dla zestawu SDKKv2 usługi Azure Machine Learning. Operacje to klasy zawierają logikę interakcji z usługami zaplecza, zwykle automatycznie generowanymi wywołaniami operacji. |
parallel | |
sweep |
Moduły
exceptions |
Zawiera moduł wyjątków w zestawie SDKKv2 usługi Azure Machine Learning. Obejmuje to wyliczenia i klasy wyjątków. |
Klasy
AmlTokenConfiguration |
Konfiguracja tożsamości tokenu usługi AzureML. |
Input |
Inicjowanie obiektu wejściowego. |
MLClient |
Klasa klienta do interakcji z usługami Azure ML. Ten klient służy do zarządzania zasobami usługi Azure ML, takimi jak obszary robocze, zadania, modele itd. |
ManagedIdentityConfiguration |
Konfiguracja poświadczeń tożsamości zarządzanej. |
MpiDistribution |
Konfiguracja dystrybucji MPI. |
Output | |
PyTorchDistribution |
Konfiguracja dystrybucji PyTorch. |
RayDistribution |
Uwaga Jest to klasa eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental. Konfiguracja rozkładu promieni. |
TensorFlowDistribution |
Konfiguracja dystrybucji tensorFlow. |
UserIdentityConfiguration |
Konfiguracja tożsamości użytkownika. |
Funkcje
command
Tworzy obiekt Command, który może być używany wewnątrz funkcji dsl.pipeline lub używany jako autonomiczne zadanie polecenia.
command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command
Parametry
Tag słownika. Tagi można dodawać, usuwać i aktualizować. Domyślnie wartość Brak.
Nazwa wyświetlana zadania. Wartość domyślna to losowo wygenerowana nazwa.
Nazwa eksperymentu, w ramach którego zostanie utworzone zadanie. Wartość domyślna to bieżąca nazwa katalogu.
- environment
- Optional[Union[str, Environment]]
Środowisko, w których zostanie uruchomione zadanie.
Słownik nazw i wartości zmiennych środowiskowych. Te zmienne środowiskowe są ustawiane w procesie, w którym jest wykonywany skrypt użytkownika. Domyślnie wartość Brak.
- distribution
- Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]
Konfiguracja zadań rozproszonych. Domyślnie wartość Brak.
Docelowy obiekt obliczeniowy, na który zostanie uruchomione zadanie. Wartość domyślna to obliczenia domyślne.
Mapowanie nazw wejściowych na wejściowe źródła danych używane w zadaniu. Domyślnie wartość Brak.
Mapowanie nazw wyjściowych na wyjściowe źródła danych używane w zadaniu. Domyślnie wartość Brak.
Liczba wystąpień lub węzłów do użycia przez docelowy obiekt obliczeniowy. Wartość domyślna to 1.
Dodatkowe argumenty, które mają zostać przekazane do polecenia uruchamiania platformy Docker. Spowoduje to zastąpienie wszystkich parametrów, które zostały już ustawione przez system lub w tej sekcji. Ten parametr jest obsługiwany tylko w przypadku typów obliczeniowych usługi Azure ML. Domyślnie wartość Brak.
Rozmiar bloku pamięci udostępnionej kontenera platformy Docker. Powinno to być w formacie (liczba)(jednostka), gdzie liczba musi być większa niż 0, a jednostka może być jedną z b(bajtów), k(kilobajtów), m(megabajtów) lub g(gigabajtów).
Kod źródłowy do uruchomienia zadania. Może to być ścieżka lokalna lub "http:", "https:" lub "azureml:" adres URL wskazujący lokalizację zdalną.
- identity
- Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Tożsamość, która będzie używana przez zadanie polecenia podczas uruchamiania w środowisku obliczeniowym.
- is_deterministic
- bool
Określa, czy polecenie zwróci te same dane wyjściowe, biorąc pod uwagę te same dane wejściowe. Wartość domyślna to True. Jeśli wartość True, jeśli składnik polecenia jest deterministyczny i został uruchomiony wcześniej w bieżącym obszarze roboczym z tymi samymi danymi wejściowymi i ustawieniami, będzie ponownie używać wyników z wcześniej przesłanego zadania, gdy jest używany jako węzeł lub krok w potoku. W tym scenariuszu nie będą używane żadne zasoby obliczeniowe.
- services
- Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]
Usługi interaktywne dla węzła. Domyślnie wartość Brak. Jest to parametr eksperymentalny i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Warstwa zadań. Akceptowane wartości to "Spot", "Basic", "Standard" lub "Premium".
Priorytet zadania obliczeniowego. Akceptowane wartości to "niska", "średnia" i "wysoka". Wartość domyślna to "medium".
Zwraca
Obiekt Polecenia.
Typ zwracany
Przykłady
Tworzenie zadania polecenia przy użyciu metody konstruktora command().
from azure.ai.ml import Input, Output, command
train_func = command(
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
command='echo "hello world"',
distribution={"type": "Pytorch", "process_count_per_instance": 2},
inputs={
"training_data": Input(type="uri_folder"),
"max_epochs": 20,
"learning_rate": 1.8,
"learning_rate_schedule": "time-based",
},
outputs={"model_output": Output(type="uri_folder")},
)
load_batch_deployment
Skonstruuj obiekt wdrożenia wsadowego z pliku yaml.
load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obiektu wdrożenia wsadowego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Skonstruowany obiekt wdrożenia wsadowego.
Typ zwracany
load_batch_endpoint
Skonstruuj obiekt punktu końcowego wsadowego z pliku yaml.
load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obiektu punktu końcowego wsadowego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Skonstruowany obiekt punktu końcowego wsadowego.
Typ zwracany
load_component
Załaduj składnik z lokalnego lub zdalnego do funkcji składnika.
load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml składnika. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Obiekt składników
Typ zwracany
Przykłady
Ładowanie obiektu Component z pliku YAML, zastępowanie jego wersji do "1.0.2" i zdalne rejestrowanie go.
from azure.ai.ml import load_component
component = load_component(
source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
params_override=[{"version": "1.0.2"}],
)
registered_component = ml_client.components.create_or_update(component)
load_compute
Skonstruuj obiekt obliczeniowy z pliku yaml.
load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obliczeniowego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.
Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Załadowany obiekt obliczeniowy.
Typ zwracany
Przykłady
Ładowanie obiektu obliczeniowego z pliku YAML i zastępowanie jego opisu.
from azure.ai.ml import load_compute
compute = load_compute(
"../tests/test_configs/compute/compute-vm.yaml",
params_override=[{"description": "loaded from compute-vm.yaml"}],
)
load_data
Skonstruuj obiekt danych z pliku yaml.
load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obiektu danych. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Skonstruowany obiekt Data lub DataImport.
Typ zwracany
Wyjątki
Zgłoszone, jeśli nie można pomyślnie zweryfikować danych. Szczegóły zostaną podane w komunikacie o błędzie.
load_datastore
Skonstruuj obiekt magazynu danych z pliku yaml.
load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml magazynu danych. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Załadowany obiekt magazynu danych.
Typ zwracany
Wyjątki
Zgłoszony, jeśli nie można pomyślnie zweryfikować magazynu danych. Szczegóły zostaną podane w komunikacie o błędzie.
load_environment
Skonstruuj obiekt środowiska z pliku yaml.
load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml środowiska. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Wyjątek jest zgłaszany, jeśli plik nie istnieje. Jeśli źródło jest otwartym plikiem, plik będzie odczytywany bezpośrednio, a wyjątek jest zgłaszany, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło, które ma być używane podczas deducing względnych lokalizacji plików przywoływane w analizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to plik lub ścieżka pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Pola do zastąpienia pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Skonstruowany obiekt środowiska.
Typ zwracany
Wyjątki
Podniesione, jeśli nie można pomyślnie zweryfikować środowiska. Szczegóły zostaną podane w komunikacie o błędzie.
load_job
Tworzy obiekt zadania z pliku YAML.
load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Ścieżka do lokalnego pliku YAML lub już otwartego obiektu pliku zawierającego konfigurację zadania. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio.
Katalog główny yaML. Ten katalog będzie używany jako źródło do deducing względnych lokalizacji plików przywoływane w analizowanym języku YAML. Domyślnie jest to ten sam katalog co źródło, jeśli źródło jest danymi wejściowymi pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Zwraca
Załadowany obiekt zadania.
Typ zwracany
Wyjątki
Zgłoszone, jeśli nie można pomyślnie zweryfikować zadania. Szczegóły zostaną podane w komunikacie o błędzie.
Przykłady
Ładowanie zadania z pliku konfiguracji YAML.
from azure.ai.ml import load_job
job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")
load_model
Tworzy obiekt Modelu z pliku YAML.
load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Ścieżka do lokalnego pliku YAML lub już otwartego obiektu pliku zawierającego konfigurację zadania. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio.
Katalog główny yaML. Ten katalog będzie używany jako źródło do deducing względnych lokalizacji plików przywoływane w analizowanym języku YAML. Domyślnie jest to ten sam katalog co źródło, jeśli źródło jest danymi wejściowymi pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest danymi wejściowymi strumienia bez wartości nazwy.
Zwraca
Załadowany obiekt modelu.
Typ zwracany
Wyjątki
Zgłoszone, jeśli nie można pomyślnie zweryfikować zadania. Szczegóły zostaną podane w komunikacie o błędzie.
Przykłady
Ładowanie modelu z pliku konfiguracji YAML, zastępowanie parametrów nazwy i wersji.
from azure.ai.ml import load_model
model = load_model(
source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
params_override=[{"name": "new_model_name"}, {"version": "1"}],
)
load_model_package
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Tworzy obiekt ModelPackage z pliku YAML.
load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Ścieżka do lokalnego pliku YAML lub już otwartego obiektu pliku zawierającego konfigurację zadania. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio.
Katalog główny dla kodu YAML. Ten katalog będzie używany jako źródło do deducing względnych lokalizacji plików, do których odwołuje się parsed YAML. Domyślnie jest to ten sam katalog co źródło, jeśli źródło jest danymi wejściowymi pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.
Zwraca
Załadowany obiekt ModelPackage.
Typ zwracany
Wyjątki
Zgłoszone, jeśli nie można pomyślnie zweryfikować zadania. Szczegóły zostaną podane w komunikacie o błędzie.
Przykłady
Ładowanie pakietu ModelPackage z pliku konfiguracji YAML.
from azure.ai.ml import load_model_package
model_package = load_model_package(
"./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
)
load_online_deployment
Skonstruuj obiekt wdrożenia online z pliku yaml.
load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obiektu wdrożenia online. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.
Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Skonstruowany obiekt wdrożenia online.
Typ zwracany
Wyjątki
Podniesione, jeśli nie można pomyślnie zweryfikować wdrożenia online. Szczegóły zostaną podane w komunikacie o błędzie.
load_online_endpoint
Konstruowanie obiektu punktu końcowego online z pliku yaml.
load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obiektu punktu końcowego online. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.
Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Skonstruowany obiekt punktu końcowego online.
Typ zwracany
Wyjątki
Zgłoszone, jeśli nie można pomyślnie zweryfikować punktu końcowego online. Szczegóły zostaną podane w komunikacie o błędzie.
load_registry
Załaduj obiekt rejestru z pliku yaml.
load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml rejestru. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.
Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Załadowany obiekt rejestru.
Typ zwracany
load_workspace
Załaduj obiekt obszaru roboczego z pliku yaml.
load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obszaru roboczego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.
Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Załadowany obiekt obszaru roboczego.
Typ zwracany
load_workspace_connection
Skonstruuj obiekt połączenia obszaru roboczego z pliku yaml.
load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obiektu połączenia obszaru roboczego. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.
Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Skonstruowany obiekt połączenia obszaru roboczego.
Typ zwracany
load_workspace_hub
Uwaga
Jest to metoda eksperymentalna i może ulec zmianie w dowolnym momencie. Aby uzyskać więcej informacji, zobacz https://aka.ms/azuremlexperimental.
Załaduj obiekt WorkspaceHub z pliku yaml.
load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Lokalne źródło yaml obszaru roboczegoHub. Musi być ścieżką do pliku lokalnego lub już otwartym plikiem. Jeśli źródło jest ścieżką, zostanie otwarte i odczytane. Jeśli plik nie istnieje, zostanie zgłoszony wyjątek. Jeśli źródło jest otwartym plikiem, plik zostanie odczytany bezpośrednio i zostanie zgłoszony wyjątek, jeśli plik nie jest czytelny.
- relative_origin
- str
Źródło do użycia podczas deducing względnych lokalizacji plików przywoływane w przeanalizowanym yaml. Domyślnie jest to katalog wejściowego źródła, jeśli jest to dane wejściowe pliku lub ścieżki pliku. Wartość domyślna to "./", jeśli źródło jest wejściem strumienia bez wartości nazwy.
Pola do zastąpienia w pliku yaml. Format to [{"field1": "value1"}, {"field2": "value2"}]
Zwraca
Załadowany obiekt WorkspaceHub.
Typ zwracany
spark
Tworzy obiekt Spark, który może być używany wewnątrz funkcji dsl.pipeline lub używany jako autonomiczne zadanie platformy Spark.
spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark
Parametry
Słownik tagów zadania. Tagi można dodawać, usuwać i aktualizować. Domyślnie wartość Brak.
- code
Kod źródłowy do uruchomienia zadania. Może to być ścieżka lokalna lub "http:", "https:" lub "azureml:" adres URL wskazujący lokalizację zdalną.
Lista plików .zip, jajko lub py do umieszczenia w aplikacji PYTHONPATH for Python. Domyślnie wartość Brak.
Lista . Pliki JAR do uwzględnienia w ścieżkach klas sterownika i funkcji wykonawczej. Domyślnie wartość Brak.
Lista plików, które mają zostać umieszczone w katalogu roboczym każdego wykonawcy. Domyślnie wartość Brak.
Lista archiwów, które mają zostać wyodrębnione do katalogu roboczego każdego wykonawcy. Domyślnie wartość Brak.
- identity
- Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Tożsamość, która będzie używana przez zadanie platformy Spark podczas uruchamiania w środowisku obliczeniowym.
Ilość pamięci do użycia dla procesu sterownika, sformatowana jako ciągi z sufiksem jednostki rozmiaru ("k", "m", "g" lub "t") (np. "512m", "2g").
Ilość pamięci do użycia w procesie funkcji wykonawczej, sformatowana jako ciągi z sufiksem jednostki rozmiaru ("k", "m", "g" lub "t") (np. "512m", "2g").
Czy używać dynamicznej alokacji zasobów, która skaluje liczbę funkcji wykonawczych zarejestrowanych w tej aplikacji w górę i w dół na podstawie obciążenia.
Dolna granica liczby funkcji wykonawczych, jeśli jest włączona alokacja dynamiczna.
Górna granica liczby funkcji wykonawczych, jeśli jest włączona alokacja dynamiczna.
Słownik ze wstępnie zdefiniowanymi konfiguracjami platformy Spark kluczem i wartościami. Domyślnie wartość Brak.
- environment
- Optional[Union[str, Environment]]
Środowisko usługi Azure ML do uruchomienia zadania.
Mapowanie nazw wejściowych na dane wejściowe używane w zadaniu. Domyślnie wartość Brak.
Mapowanie nazw wyjściowych na dane wyjściowe używane w zadaniu. Domyślnie wartość Brak.
- resources
- Optional[Union[dict, SparkResourceConfiguration]]
Konfiguracja zasobu obliczeniowego dla zadania.
Zwraca
Obiekt Spark.
Typ zwracany
Przykłady
Tworzenie potoku platformy Spark przy użyciu dekoratora potoku DSL
from azure.ai.ml import Input, Output, dsl, spark
from azure.ai.ml.constants import AssetTypes, InputOutputModes
# define the spark task
first_step = spark(
code="/src",
entry={"file": "add_greeting_column.py"},
py_files=["utils.zip"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
args="--file_input ${{inputs.file_input}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
second_step = spark(
code="/src",
entry={"file": "count_by_row.py"},
jars=["scala_project.jar"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
# Define pipeline
@dsl.pipeline(description="submit a pipeline with spark job")
def spark_pipeline_from_builder(data):
add_greeting_column = first_step(file_input=data)
count_by_row = second_step(file_input=data)
return {"output": count_by_row.outputs.output}
pipeline = spark_pipeline_from_builder(
data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
)
Azure SDK for Python
Opinia
https://aka.ms/ContentUserFeedback.
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź:Prześlij i wyświetl opinię dla