azure.ai.ml package

Создает объект Command, который можно использовать в функции dsl.pipeline или в качестве автономного задания Command.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

Параметры

name: Optional[str]

Имя задания или компонента command.

description: Optional[str]

Описание команды. Значение по умолчанию — None (Нет).

tags: Optional[dict[str, str]]

Словарь тегов. Теги можно добавлять, удалять и обновлять. Значение по умолчанию — None (Нет).

properties: Optional[dict[str, str]]

Словарь свойств задания. Значение по умолчанию — None (Нет).

display_name: Optional[str]

Отображаемое имя задания. По умолчанию используется случайно созданное имя.

command: Optional[str]

Команда для выполнения. Значение по умолчанию — None (Нет).

experiment_name: Optional[str]

Имя эксперимента, под которым будет создано задание. По умолчанию используется текущее имя каталога.

environment: Optional[Union[str, Environment]]

Среда, в которой будет выполняться задание.

environment_variables: Optional[dict[str, str]]

Словарь имен и значений переменных среды. Эти переменные среды задаются для процесса, в котором выполняется пользовательский скрипт. Значение по умолчанию — None (Нет).

distribution: Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

Конфигурация для распределенных заданий. Значение по умолчанию — None (Нет).

compute: Optional[str]

Целевой объект вычислений, на который будет выполняться задание. По умолчанию используется вычисление по умолчанию.

inputs: Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

Сопоставление имен входных данных с источниками входных данных, используемыми в задании. Значение по умолчанию — None (Нет).

outputs: Optional[dict[str, Union[str, Output]]]

Сопоставление имен выходных данных с источниками выходных данных, используемыми в задании. Значение по умолчанию — None (Нет).

instance_count: Optional[int]

Количество экземпляров или узлов, используемых целевым объектом вычислений. По умолчанию равен 1.

instance_type: Optional[str]

Тип виртуальной машины, используемой целевым объектом вычислений.

locations: Optional[list[str]]

Список расположений, в которых будет выполняться задание.

docker_args: Optional[str]

Дополнительные аргументы для передачи команде запуска Docker. Это переопределит все параметры, которые уже были заданы системой или в этом разделе. Этот параметр поддерживается только для типов вычислений Машинного обучения Azure. Значение по умолчанию — None (Нет).

shm_size: Optional[str]

Размер блока общей памяти контейнера Docker. Оно должно быть в формате (число)(единица), где число должно быть больше 0, а единица измерения может быть одной из b(байтов), k (килобайт), m(мегабайт) или g(гигабайт).

timeout: Optional[int]

Число в секундах, по истечении которого задание будет отменено.

code: Optional[Union[str, PathLike]]

Исходный код для запуска задания. Может быть локальным путем или URL-адресом "http:", "https:" или "azureml:", указывающим на удаленное расположение.

identity: Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Удостоверение, которое будет использоваться командным заданием при выполнении на вычислительных ресурсах.

is_deterministic: bool

Указывает, будет ли команда возвращать те же выходные данные при одинаковых входных данных. Значение по умолчанию — True. При значении True, если компонент команды детерминирован и был запущен ранее в текущей рабочей области с теми же входными данными и параметрами, он будет повторно использовать результаты ранее отправленного задания при использовании в качестве узла или шага в конвейере. В этом сценарии вычислительные ресурсы не будут использоваться.

services: Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

Интерактивные службы для узла. Значение по умолчанию — None (Нет). Это экспериментальный параметр, который может измениться в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

job_tier: Optional[str]

Уровень заданий. Допустимые значения: Spot, Basic, Standard или Premium.

priority: Optional[str]

Приоритет задания в вычислении. Допустимые значения: "низкий", "средний" и "высокий". Значение по умолчанию — medium.

Возвращаемое значение

Объект Command.

Возвращаемый тип

Command

Примеры

Создание задания команды с помощью метода построителя command().


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

Создайте объект пакетного развертывания из файла YAML.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml объекта пакетного развертывания. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при дедукции относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат : [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Созданный объект пакетного развертывания.

Возвращаемый тип

BatchDeployment

Создайте объект пакетной конечной точки из файла YAML.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник YAML для объекта пакетной конечной точки. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

значение по умолчанию: None

Источник, используемый при дедукции относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат: [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Сконструированный объект пакетной конечной точки.

Возвращаемый тип

BatchEndpoint

Загрузка компонента из локальной или удаленной среды в функцию компонента.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

значение по умолчанию: None

Локальный источник yaml компонента. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при определении относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию имеет значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат: [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Объект Component

Возвращаемый тип

Union[CommandComponent, ParallelComponent, PipelineComponent]

Примеры

Загрузка объекта Component из файла YAML, переопределение его версии на "1.0.2" и его удаленная регистрация.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

Создайте вычислительный объект из файла YAML.

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml для вычислений. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: Optional[str]

Источник, используемый при определении относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию имеет значение "./", если источник является потоком входных данных без значения имени.

params_override: Optional[List[Dict]]

Поля для перезаписи поверх файла YAML. Формат: [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Загруженный вычислительный объект.

Возвращаемый тип

Compute

Примеры

Загрузка вычислительного объекта из файла YAML и переопределение его описания.


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

Создайте объект данных из файла YAML.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml объекта данных. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при определении относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию имеет значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат: [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Созданный объект Data или DataImport.

Возвращаемый тип

Data

Исключения

ValidationException

Возникает, если данные не могут быть успешно проверены. Подробные сведения будут указаны в сообщении об ошибке.

Создание объекта хранилища данных из файла YAML.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml хранилища данных. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при определении относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию имеет значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат: [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Загруженный объект хранилища данных.

Возвращаемый тип

Datastore

Исключения

ValidationException

Возникает, если хранилище данных не может быть успешно проверено. Подробные сведения будут указаны в сообщении об ошибке.

Создайте объект среды из файла YAML.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml среды. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при определении относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию имеет значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат: [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Сконструированный объект среды.

Возвращаемый тип

Environment

Исключения

ValidationException

Возникает, если не удается успешно проверить среду. Подробные сведения будут указаны в сообщении об ошибке.

Создает объект Job из файла YAML.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Путь к локальному файлу YAML или объекту уже открытого файла, содержащего конфигурацию задания. Если источником является путь, он будет открыт и прочитан. Если источником является открытый файл, он будет считываться напрямую.

relative_origin: Optional[str]

Корневой каталог для YAML. Этот каталог будет использоваться в качестве источника для определения относительных расположений файлов, на которые ссылается проанализированный YAML. По умолчанию используется тот же каталог, что и источник, если источником является входной файл или путь к файлу. По умолчанию имеет значение "./", если источник является потоком входных данных без значения имени.

params_override: Optional[list[dict]]

Поля параметров для перезаписи значений в файле YAML.

Возвращаемое значение

Загруженный объект Job.

Возвращаемый тип

Job

Исключения

ValidationException

Возникает, если задание не может быть успешно проверено. Подробные сведения будут указаны в сообщении об ошибке.

Примеры

Загрузка задания из файла конфигурации YAML.


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

Создает объект Model из файла YAML.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Путь к локальному файлу YAML или объекту уже открытого файла, содержащего конфигурацию задания. Если источником является путь, он будет открыт и прочитан. Если источником является открытый файл, он будет считываться напрямую.

relative_origin: Optional[str]

Корневой каталог для YAML. Этот каталог будет использоваться в качестве источника для определения относительных расположений файлов, на которые ссылается проанализированный YAML. По умолчанию используется тот же каталог, что и источник, если источником является входной файл или путь к файлу. По умолчанию имеет значение "./", если источник является потоком входных данных без значения имени.

params_override: Optional[list[dict]]

Поля параметров для перезаписи значений в файле YAML.

Возвращаемое значение

Загруженный объект Model.

Возвращаемый тип

Model

Исключения

ValidationException

Возникает, если задание не может быть успешно проверено. Подробные сведения будут указаны в сообщении об ошибке.

Примеры

Загрузка модели из файла конфигурации YAML, переопределение параметров имени и версии.


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

Примечание

Это экспериментальный метод, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Создает объект ModelPackage из YAML-файла.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Путь к локальному YAML-файлу или уже открытому объекту файла, содержа содержамую конфигурацию задания. Если источником является путь, он будет открыт и прочитан. Если источником является открытый файл, он будет считываться напрямую.

relative_origin: Optional[str]

Корневой каталог для YAML. Этот каталог будет использоваться в качестве источника для определения относительных расположений файлов, на которые ссылается проанализированный YAML. По умолчанию используется тот же каталог, что и источник, если источником является входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: Optional[list[dict]]

Поля параметров для перезаписи значений в YAML-файле.

Возвращаемое значение

Загруженный объект ModelPackage.

Возвращаемый тип

ModelPackage

Исключения

ValidationException

Возникает, если задание не может быть успешно проверено. Подробные сведения будут указаны в сообщении об ошибке.

Примеры

Загрузка ModelPackage из файла конфигурации YAML.


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

Создайте объект развертывания в сети из файла YAML.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml объекта оперативного развертывания. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при дедукции относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат : [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Созданный объект развертывания в сети.

Возвращаемый тип

OnlineDeployment

Исключения

ValidationException

Возникает, если не удается проверить развертывание по сети. Подробные сведения будут указаны в сообщении об ошибке.

Создайте объект конечной точки в сети из файла YAML.

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml объекта конечной точки в сети. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при дедукции относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат : [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Созданный объект конечной точки в сети.

Возвращаемый тип

OnlineEndpoint

Исключения

ValidationException

Возникает, если конечная точка в сети не может быть успешно проверена. Подробные сведения будут указаны в сообщении об ошибке.

Загрузка объекта реестра из yaml-файла.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml реестра. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при дедукции относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат : [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Загруженный объект реестра.

Возвращаемый тип

Registry

Загрузка объекта рабочей области из yaml-файла.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml рабочей области. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при дедукции относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат : [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Загруженный объект рабочей области.

Возвращаемый тип

Workspace

Создайте объект подключения к рабочей области из файла YAML.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml объекта подключения к рабочей области. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при дедукции относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат : [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Созданный объект подключения к рабочей области.

Возвращаемый тип

WorkspaceConnection

Примечание

Это экспериментальный метод, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Загрузите объект WorkspaceHub из файла YAML.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

Параметры

source: Union[<xref:PathLike>, str, TextIOWrapper]

Обязательно

Локальный источник yaml для WorkspaceHub. Должен быть либо путем к локальному файлу, либо к уже открытому файлу. Если источником является путь, он будет открыт и прочитан. Если файл не существует, возникает исключение. Если источником является открытый файл, файл будет считываться напрямую, а если файл недоступен для чтения, возникает исключение.

relative_origin: str

Источник, используемый при дедукции относительных расположений файлов, на которые ссылается проанализированный yaml. По умолчанию используется каталог входного источника, если это входной файл или путь к файлу. По умолчанию используется значение "./", если источник является потоком входных данных без значения имени.

params_override: List[Dict]

Поля для перезаписи поверх файла YAML. Формат : [{"field1": "value1"}, {"field2": "value2"}]

Возвращаемое значение

Загруженный объект WorkspaceHub.

Возвращаемый тип

WorkspaceHub

Создает объект Spark, который можно использовать в функции dsl.pipeline или в качестве автономного задания Spark.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

Параметры

experiment_name: Optional[str]

Имя эксперимента, в рамках задания будет создано.

name: Optional[str]

Имя задания.

display_name: Optional[str]

Отображаемое имя задания.

description: Optional[str]

Описание задания. Значение по умолчанию — None (Нет).

tags: Optional[dict[str, str]]

Словарь тегов для задания. Теги можно добавлять, удалять и обновлять. Значение по умолчанию — None (Нет).

code

Исходный код для запуска задания. Может быть локальным путем или URL-адресом "http:", "https:" или "azureml:", указывающим на удаленное расположение.

entry: Optional[Union[dict[str, str], SparkJobEntry]]

Точка входа в файл или класс.

py_files: Optional[list[str]]

Список .zip, ФАЙЛОВ .EGG или .PY для размещения в PYTHONPATH для приложений Python. Значение по умолчанию — None (Нет).

jars: Optional[list[str]]

Список . JAR-файлы для включения в пути к классам драйвера и исполнителя. Значение по умолчанию — None (Нет).

files: Optional[list[str]]

Список файлов, помещаемых в рабочий каталог каждого исполнителя. Значение по умолчанию — None (Нет).

archives: Optional[list[str]]

Список архивов, извлекаемых в рабочий каталог каждого исполнителя. Значение по умолчанию — None (Нет).

identity: Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Удостоверение, которое будет использоваться заданием Spark при выполнении на вычислительных ресурсах.

driver_cores: Optional[int]

Количество ядер, используемых для процесса драйвера, только в режиме кластера.

driver_memory: Optional[str]

Объем памяти, используемый для процесса драйвера, отформатированный в виде строк с суффиксом единицы измерения размера ("k", "m", "g" или "t") (например, "512m", "2g").

executor_cores: Optional[int]

Число ядер, используемых для каждого исполнителя.

executor_memory: Optional[str]

Объем памяти для каждого процесса исполнителя, отформатированный в виде строк с суффиксом единицы размера ("k", "m", "g" или "t") (например, "512m", "2g").

executor_instances: Optional[int]

Начальное число исполнителей.

dynamic_allocation_enabled: Optional[bool]

Следует ли использовать динамическое выделение ресурсов, которое масштабирует количество исполнителей, зарегистрированных в этом приложении, в зависимости от рабочей нагрузки.

dynamic_allocation_min_executors: Optional[int]

Нижняя граница для числа исполнителей, если включено динамическое выделение.

dynamic_allocation_max_executors: Optional[int]

Верхняя граница для числа исполнителей, если включено динамическое выделение.

conf: Optional[dict[str, str]]

Словарь с предварительно определенным ключом и значениями конфигураций Spark. Значение по умолчанию — None (Нет).

environment: Optional[Union[str, Environment]]

Среда Машинного обучения Azure, в которой выполняется задание.

inputs: Optional[dict[str, Input]]

Сопоставление имен входных данных, используемых в задании. Значение по умолчанию — None (Нет).

outputs: Optional[dict[str, Output]]

Сопоставление имен выходных данных с выходными данными, используемыми в задании. Значение по умолчанию — None (Нет).

args: Optional[str]

Аргументы для задания.

compute: Optional[str]

Вычислительный ресурс, на котором выполняется задание.

resources: Optional[Union[dict, SparkResourceConfiguration]]

Конфигурация вычислительного ресурса для задания.

Возвращаемое значение

Объект Spark.

Возвращаемый тип

Spark

Примеры

Создание конвейера Spark с помощью декоратора конвейера DSL


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )

automl	Содержит классы автоматизированного машинного обучения для Пакета SDK 2 машинного обучения Azure. Основные области включают управление задачами AutoML.
constants	Этот пакет определяет константы, используемые в пакете SDK 2 машинного обучения Azure.
data_transfer
dsl
entities	Содержит сущности и объекты пакета SDK для Пакета SDK Для Машинного обучения Azure версии 2. Основные области включают в себя управление целевыми объектами вычислений, создание и управление рабочими областями и заданиями, а также отправка и доступ к модели, запуск и выполнение выходных данных и ведения журнала и т. д.
identity	Содержит конфигурацию удостоверений для Пакета SDK 2 Машинного обучения Azure.
operations	Содержит поддерживаемые операции для Пакета SDK 2 машинного обучения Azure. Операции — это классы, содержащие логику для взаимодействия с внутренними службами, обычно автоматически создаваемые вызовы операций.
parallel
sweep

AmlTokenConfiguration	Конфигурация удостоверения маркера AzureML.
Input	Инициализация объекта Input.
MLClient	Класс клиента для взаимодействия со службами машинного обучения Azure. Этот клиент используется для управления ресурсами Машинного обучения Azure, такими как рабочие области, задания, модели и т. д.
ManagedIdentityConfiguration	Конфигурация учетных данных управляемого удостоверения.
MpiDistribution	Конфигурация распределения MPI.
Output
PyTorchDistribution	Конфигурация распределения PyTorch.
RayDistribution	Примечание Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental. Конфигурация распределения лучей.
TensorFlowDistribution	Конфигурация распределения TensorFlow.
UserIdentityConfiguration	Конфигурация удостоверения пользователя.

ml Пакет

Пакеты

Модули

Классы

Функции

command

Параметры

Возвращаемое значение

Возвращаемый тип

Примеры

load_batch_deployment

Параметры

Возвращаемое значение

Возвращаемый тип

load_batch_endpoint

Параметры

Возвращаемое значение

Возвращаемый тип

load_component

Параметры

Возвращаемое значение

Возвращаемый тип

Примеры

load_compute

Параметры

Возвращаемое значение

Возвращаемый тип

Примеры

load_data

Параметры

Возвращаемое значение

Возвращаемый тип

Исключения

load_datastore

Параметры

Возвращаемое значение

Возвращаемый тип

Исключения

load_environment

Параметры

Возвращаемое значение

Возвращаемый тип

Исключения

load_job

Параметры

Возвращаемое значение

Возвращаемый тип

Исключения

Примеры

load_model

Параметры

Возвращаемое значение

Возвращаемый тип

Исключения

Примеры

load_model_package

Параметры

Возвращаемое значение

Возвращаемый тип

Исключения

Примеры

load_online_deployment

Параметры

Возвращаемое значение

Возвращаемый тип

Исключения

load_online_endpoint

Параметры

Возвращаемое значение

Возвращаемый тип

Исключения

load_registry

Параметры

Возвращаемое значение

Возвращаемый тип

load_workspace

Параметры

Возвращаемое значение

Возвращаемый тип

load_workspace_connection