Module Klasa
Reprezentuje jednostkę obliczeniową używaną w potoku usługi Azure Machine Learning.
Moduł to kolekcja plików, które będą uruchamiane na obiekcie docelowym obliczeniowym i opis interfejsu. Kolekcja plików może być skryptem, plikami binarnymi lub innymi plikami wymaganymi do wykonania w docelowym obiekcie obliczeniowym. Interfejs modułu opisuje dane wejściowe, dane wyjściowe i definicje parametrów. Nie wiąże ich z określonymi wartościami ani danymi. Moduł ma skojarzona z nim migawkę, która przechwytuje kolekcję plików zdefiniowanych dla modułu.
Inicjowanie modułu.
- Dziedziczenie
-
builtins.objectModule
Konstruktor
Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)Parametry
- _module_provider
- <xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider>
(Tylko użycie wewnętrzne). Dostawca modułu.
- _module_version_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>
(Tylko użycie wewnętrzne). Dostawca ModuleVersion.
- _module_provider
- <xref:<xref:_AevaMlModuleProvider object>>
Dostawca modułu.
- _module_version_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider>
Dostawca ModuleVersion.
Uwagi
Moduł działa jako kontener jego wersji. W poniższym przykładzie element ModuleVersion jest tworzony na podstawie publish_python_script metody i ma dwa dane wejściowe i dwa dane wyjściowe. Element Create ModuleVersion jest wersją domyślną (is_default jest ustawiona na wartość True).
out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
label="Sum of two numbers")
out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
label="Product of two numbers")
entry_version = module.publish_python_script("calculate.py", "initial",
inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
version="1", source_directory="./calc")
Pełna próbka jest dostępna z witryny https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Ten moduł może być używany podczas definiowania potoku w różnych krokach przy użyciu elementu ModuleStep.
W poniższym przykładzie pokazano, jak połączyć dane używane w potoku do danych wejściowych i wyjściowych modułu ModuleVersion przy użyciu polecenia PipelineData:
middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}
Pełna próbka jest dostępna z witryny https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Mapowanie można następnie użyć podczas tworzenia modułuKrok:
middle_step = ModuleStep(module=module,
inputs_map= middle_step_input_wiring,
outputs_map= middle_step_output_wiring,
runconfig=RunConfiguration(), compute_target=aml_compute,
arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
"--output_sum", middle_sum, "--output_product", middle_prod])
Pełna próbka jest dostępna z witryny https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb
Rozwiązanie używanej wersji modułu odbywa się po przesłaniu i następuje następujący proces:
- Usuń wszystkie wyłączone wersje
- Jeśli określona wersja została określona, użyj jej, w przeciwnym razie
- Jeśli do modułu zdefiniowano domyślną wersję, użyj tej opcji.
- Jeśli wszystkie wersje są zgodne z semantycznym przechowywaniem wersji bez liter, weź najwyższą wartość, inne
- Weź wersję modułu, która została ostatnio zaktualizowana
Należy pamiętać, że ponieważ dane wejściowe i wyjściowe węzła mapowane na dane wejściowe i wyjściowe modułu są definiowane podczas tworzenia potoku, jeśli rozpoznana wersja po przesłaniu ma inny interfejs niż ten, który został rozwiązany podczas tworzenia potoku, przesyłanie potoku zakończy się niepowodzeniem.
Podstawowy moduł można zaktualizować przy użyciu nowych wersji, zachowując tę samą wersję domyślną.
Moduły są unikatowo nazwane w obszarze roboczym.
Metody
| create |
Utwórz moduł. |
| deprecate |
Dla modułu ustaw wartość "Przestarzałe". |
| disable |
Dla modułu ustaw wartość "Wyłączone". |
| enable |
Dla modułu ustaw wartość "Aktywne". |
| get |
Pobierz moduł według nazwy lub identyfikatora; zgłasza wyjątek, jeśli nie podano żadnej z tych opcji. |
| get_default |
Pobierz domyślną wersję modułu. |
| get_default_version |
Pobierz domyślną wersję modułu. |
| get_versions |
Pobierz wszystkie wersje modułu. |
| module_def_builder |
Utwórz obiekt definicji modułu opisujący krok. |
| module_version_list |
Pobierz listę wersji modułu. |
| process_source_directory |
Przetwórz katalog źródłowy dla kroku i sprawdź, czy skrypt istnieje. |
| publish |
Utwórz element ModuleVersion i dodaj go do bieżącego modułu. |
| publish_adla_script |
Utwórz element ModuleVersion na podstawie usługi Azure Data Lake Analytics (ADLA) i dodaj go do bieżącego modułu. |
| publish_azure_batch |
Utwórz modułVersion używający usługi Azure Batch i dodaj go do bieżącego modułu. |
| publish_python_script |
Utwórz element ModuleVersion na podstawie skryptu języka Python i dodaj go do bieżącego modułu. |
| resolve |
Rozwiąż i zwróć odpowiedni element ModuleVersion. |
| set_default_version |
Ustaw domyślną wartość ModuleVersion modułu. |
| set_description |
Ustaw opis modułu. |
| set_name |
Ustaw nazwę modułu. |
create
Utwórz moduł.
static create(workspace, name, description, _workflow_provider=None)Parametry
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Tylko użycie wewnętrzne). Dostawca przepływu pracy.
Zwraca
Obiekt modułu
Typ zwracany
deprecate
Dla modułu ustaw wartość "Przestarzałe".
deprecate()disable
Dla modułu ustaw wartość "Wyłączone".
disable()enable
Dla modułu ustaw wartość "Aktywne".
enable()get
Pobierz moduł według nazwy lub identyfikatora; zgłasza wyjątek, jeśli nie podano żadnej z tych opcji.
static get(workspace, module_id=None, name=None, _workflow_provider=None)Parametry
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Tylko użycie wewnętrzne). Dostawca przepływu pracy.
Zwraca
Obiekt modułu
Typ zwracany
get_default
Pobierz domyślną wersję modułu.
get_default()Zwraca
Domyślna wersja modułu.
Typ zwracany
get_default_version
Pobierz domyślną wersję modułu.
get_default_version()Zwraca
Domyślna wersja modułu.
Typ zwracany
get_versions
Pobierz wszystkie wersje modułu.
static get_versions(workspace, name, _workflow_provider=None)Parametry
- _workflow_provider
- <xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>
(Tylko użycie wewnętrzne). Dostawca przepływu pracy.
Zwraca
Lista ModuleVersionDescriptor
Typ zwracany
module_def_builder
Utwórz obiekt definicji modułu opisujący krok.
static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)Parametry
- create_sequencing_ports
- bool
Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.
- step_type
- str
Typ kroku skojarzonego z tym modułem, np. "PythonScriptStep", "HyperDriveStep" itp.
- arguments
- list
Lista argumentów z adnotacjami do użycia podczas wywoływania tego modułu
Zwraca
Obiekt def modułu.
Typ zwracany
Wyjątki
module_version_list
Pobierz listę wersji modułu.
module_version_list()Zwraca
Lista ModuleVersionDescriptor
Typ zwracany
process_source_directory
Przetwórz katalog źródłowy dla kroku i sprawdź, czy skrypt istnieje.
static process_source_directory(name, source_directory, script_name)Parametry
Zwraca
Katalog źródłowy i ścieżki skrótu.
Typ zwracany
Wyjątki
publish
Utwórz element ModuleVersion i dodaj go do bieżącego modułu.
publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)Parametry
- execution_type
- str
Typ wykonania modułu.
Dopuszczalne wartości to esCloud, adlcloud i AzureBatchCloud
- create_sequencing_ports
- bool
Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.
- hash_paths
- list
Lista ścieżek do skrótu podczas sprawdzania zmian w zawartości kroku. Jeśli nie wykryto żadnych zmian, potok ponownie użyje zawartości kroku z poprzedniego uruchomienia. Domyślnie zawartość obiektu source_directory jest skrótem (z wyjątkiem plików wymienionych w pliku .amlignore lub .gitignore).
PRZESTARZAŁE: nie jest już potrzebne.
- arguments
- list
Argumenty do użycia podczas wywoływania modułu. Argumenty mogą być ciągami, odwołaniami wejściowymi (InputPortDef), odwołaniami wyjściowymi (OutputPortDef) i parametrami potoku (PipelineParameter).
- runconfig
- RunConfiguration
Opcjonalna konfiguracja RunConfiguration. Za pomocą polecenia RunConfiguration można określić dodatkowe wymagania dotyczące przebiegu, takie jak zależności conda i obraz platformy Docker.
Typ zwracany
Wyjątki
publish_adla_script
Utwórz element ModuleVersion na podstawie usługi Azure Data Lake Analytics (ADLA) i dodaj go do bieżącego modułu.
publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)Parametry
- create_sequencing_ports
- bool
Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.
- runtime_version
- str
Wersja środowiska uruchomieniowego aparatu usługi Azure Data Lake Analytics (ADLA).
- compute_target
- AdlaCompute, str
Obliczenia usługi ADLA do użycia dla tego zadania.
- arguments
- list
Argumenty do użycia podczas wywoływania modułu. Argumenty mogą być ciągami, odwołaniami wejściowymi (InputPortDef), odwołaniami wyjściowymi (OutputPortDef) i parametrami potoku (PipelineParameter).
Typ zwracany
publish_azure_batch
Utwórz modułVersion używający usługi Azure Batch i dodaj go do bieżącego modułu.
publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)Parametry
- create_sequencing_ports
- bool
Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.
- create_pool
- bool
Wskazuje, czy należy utworzyć pulę przed uruchomieniem zadań.
- pool_id
- str
(Obowiązkowe) Identyfikator puli, w której zostanie uruchomione zadanie.
- delete_batch_job_after_finish
- bool
Wskazuje, czy zadanie ma zostać usunięte z konta usługi Batch po zakończeniu.
- delete_batch_pool_after_finish
- bool
Wskazuje, czy należy usunąć pulę po zakończeniu zadania.
- is_positive_exit_code_failure
- bool
Wskazuje, czy zadanie kończy się niepowodzeniem, jeśli zadanie istnieje z kodem dodatnim.
- vm_image_urn
- str
Jeśli create_pool ma wartość True, a maszyna wirtualna używa polecenia VirtualMachineConfiguration, ten parametr wskazuje obraz maszyny wirtualnej do użycia. Format wartości: urn:publisher:offer:sku.
Przykład: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
- run_task_as_admin
- bool
Wskazuje, czy zadanie powinno być uruchamiane z uprawnieniami Administracja.
- target_compute_nodes
- int
Jeśli create_pool ma wartość True, wskazuje, ile węzłów obliczeniowych zostanie dodanych do puli.
- vm_size
- str
Jeśli create_pool ma wartość True, wskazuje rozmiar maszyny wirtualnej węzłów obliczeniowych.
- executable
- str
Nazwa polecenia/pliku wykonywalnego, który zostanie wykonany w ramach zadania.
- arguments
- list
Argumenty do użycia podczas wywoływania modułu. Argumenty mogą być ciągami, odwołaniami wejściowymi (InputPortDef), odwołaniami wyjściowymi (OutputPortDef) i parametrami potoku (PipelineParameter).
Typ zwracany
Wyjątki
publish_python_script
Utwórz element ModuleVersion na podstawie skryptu języka Python i dodaj go do bieżącego modułu.
publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)Parametry
- create_sequencing_ports
- bool
Wskazuje, czy porty sekwencjonowania zostaną utworzone dla modułu.
- hash_paths
- list
Lista ścieżek do skrótu podczas sprawdzania zmian w zawartości kroku. Jeśli nie wykryto żadnych zmian, potok ponownie użyje zawartości kroku z poprzedniego uruchomienia. Domyślnie zawartość obiektu source_directory jest skrótem (z wyjątkiem plików wymienionych w pliku .amlignore lub .gitignore).
PRZESTARZAŁE: nie jest już potrzebne.
- arguments
- list
Argumenty do użycia podczas wywoływania modułu. Argumenty mogą być ciągami, odwołaniami wejściowymi (InputPortDef), odwołaniami wyjściowymi (OutputPortDef) i parametrami potoku (PipelineParameter).
- runconfig
- RunConfiguration
Opcjonalna konfiguracja RunConfiguration. Za pomocą polecenia RunConfiguration można określić dodatkowe wymagania dotyczące przebiegu, takie jak zależności conda i obraz platformy Docker.
Typ zwracany
resolve
Rozwiąż i zwróć odpowiedni element ModuleVersion.
resolve(version=None)Parametry
- version
Zwraca
Wersja modułu do użycia.
Typ zwracany
set_default_version
Ustaw domyślną wartość ModuleVersion modułu.
set_default_version(version_id)Parametry
- version_id
Zwraca
Wersja domyślna.
Typ zwracany
Wyjątki
set_description
Ustaw opis modułu.
set_description(description)Parametry
Wyjątki
set_name
Ustaw nazwę modułu.
set_name(name)Parametry
Wyjątki
Atrybuty
default_version
description
id
name
status
Opinia
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź: https://aka.ms/ContentUserFeedback.
Prześlij i wyświetl opinię dla