Поделиться через

data_transfer Пакет

  • Ссылка

Классы

DataTransferCopy

Примечание

Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Базовый класс для узла копирования передачи данных.

Не следует создавать экземпляр этого класса напрямую. Вместо этого следует создать функцию построителя: copy_data.
DataTransferCopyComponent

Примечание

Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Версия компонента копирования DataTransfer, используемая для определения компонента копирования передачи данных.
DataTransferExport

Примечание

Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Базовый класс для узла экспорта передачи данных.

Не следует создавать экземпляр этого класса напрямую. Вместо этого следует создать из функции построителя: export_data.
DataTransferExportComponent

Примечание

Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Версия компонента экспорта DataTransfer, используемая для определения компонента экспорта передачи данных.
DataTransferImport

Примечание

Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Базовый класс для узла импорта передачи данных.

Не следует создавать экземпляр этого класса напрямую. Вместо этого следует создать функцию построителя: import_data.
DataTransferImportComponent

Примечание

Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Версия компонента импорта DataTransfer, используемая для определения компонента импорта передачи данных.
Database

Определите класс базы данных для компонента DataTransfer или задания.
FileSystem

Определите класс файловой системы компонента DataTransfer или задания.

Например, source_s3 = FileSystem(path='s3://my_bucket/my_folder', connection='azureml:my_s3_connection')

Функции

copy_data

Примечание

Это экспериментальный метод, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Создайте объект DataTransferCopy, который можно использовать в dsl.pipeline в качестве функции.

copy_data(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, display_name: str | None = None, experiment_name: str | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, is_deterministic: bool = True, data_copy_mode: str | None = None, **kwargs: Any) -> DataTransferCopy

Параметры Keyword-Only

Имя Описание
name
str

Имя задания.
description
str

Описание задания.
tags
dict[str, str]

Словарь тегов. Теги можно добавлять, удалять и обновлять.
display_name
str

Отображаемое имя задания.
experiment_name
str

Имя эксперимента, в который будет создано задание.
compute
str

Вычислительный ресурс, на котором выполняется задание.
inputs
dict

Сопоставление входных привязок данных, используемых в задании.
outputs
dict

Сопоставление выходных привязок данных, используемых в задании.
is_deterministic
bool

Укажите, будет ли команда возвращать одни и те же выходные данные при одинаковых входных данных. Если команда (компонент) детерминирована, при использовании ее в качестве узла или шага в конвейере она будет повторно использовать результаты предыдущего отправленного задания в текущей рабочей области с теми же входными данными и параметрами. В этом случае на этом шаге не будут использоваться вычислительные ресурсы. Значение по умолчанию — True, если вы хотите избежать такого поведения повторного использования, укажите is_deterministic=False.
data_copy_mode
str

режим копирования данных в задаче копирования, возможное значение — "merge_with_overwrite", "fail_if_conflict".

Возвращаемое значение

Тип Описание
DataTransferCopyComponent

Объект DataTransferCopy.

export_data

Примечание

Это экспериментальный метод, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Создайте объект DataTransferExport, который можно использовать внутри dsl.pipeline.

export_data(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, display_name: str | None = None, experiment_name: str | None = None, compute: str | None = None, sink: Dict | Database | FileSystem | None = None, inputs: Dict | None = None, **kwargs: Any) -> DataTransferExport

Параметры Keyword-Only

Имя Описание
name
str

Имя задания.
description
str

Описание задания.
tags
dict[str, str]

Словарь тегов. Теги можно добавлять, удалять и обновлять.
display_name
str

Отображаемое имя задания.
experiment_name
str

Имя эксперимента, в который будет создано задание.
compute
str

Вычислительный ресурс, на котором выполняется задание.
sink
Union[ Dict, Database, FileSystem]

Приемник внешних данных и баз данных.
inputs
dict

Сопоставление входных привязок данных, используемых в задании.

Возвращаемое значение

Тип Описание
<xref:azure.ai.ml.entities._job.pipeline._component_translatable.DataTransferExport>

Объект DataTransferExport.

Исключения

Тип Описание
ValidationException

Если приемник не указан или экспорт файловой системы не поддерживается.

import_data

Примечание

Это экспериментальный метод, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Создайте объект DataTransferImport, который можно использовать в dsl.pipeline.

import_data(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, display_name: str | None = None, experiment_name: str | None = None, compute: str | None = None, source: Dict | Database | FileSystem | None = None, outputs: Dict | None = None, **kwargs: Any) -> DataTransferImport

Параметры Keyword-Only

Имя Описание
name
str

Имя задания.
description
str

Описание задания.
tags
dict[str, str]

Словарь тегов. Теги можно добавлять, удалять и обновлять.
display_name
str

Отображаемое имя задания.
experiment_name
str

Имя эксперимента, в который будет создано задание.
compute
str

Вычислительный ресурс, на котором выполняется задание.
source
Union[Dict, Database, FileSystem]

Источник данных файловой системы или базы данных.
outputs
dict

Сопоставление выходных привязок данных, используемых в задании. По умолчанию будет порт вывода с ключом sink и типом mltable.

Возвращаемое значение

Тип Описание
<xref:azure.ai.ml.entities._job.pipeline._component_translatable.DataTransferImport>

Объект DataTransferImport.