DataReference 클래스

  • 참조

데이터 저장소의 데이터에 대한 참조를 나타냅니다.

DataReference는 데이터 저장소의 경로를 나타내며 실행 시 데이터를 사용할 수 있는 방법과 위치를 설명하는 데 사용될 수 있습니다. 더 이상 Azure Machine Learning의 데이터 액세스 및 배달에 권장되는 액세스 방식이 아닙니다. 데이터 집합은 데이터 관리 기능이 추가된 통합 인터페이스를 통해 Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure Database for PostgreSQL의 데이터 액세스를 지원합니다. 기계 학습 프로젝트에서 데이터를 읽는 데 데이터 집합을 사용하는 것이 좋습니다.

두 가지 일반적인 시나리오에서 Azure ML 데이터 집합을 사용하는 방법에 대한 자세한 내용은 다음 문서를 참조하세요.

클래스 DataReference 생성자입니다.

상속
builtins.object
DataReference

생성자

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

매개 변수

datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
필수

참조할 데이터 저장소입니다.

data_reference_name
str
기본값: None

데이터 참조의 이름입니다.

path_on_datastore
str
기본값: None

데이터 참조에 대한 지원 스토리지의 상대 경로입니다.

mode
str
기본값: mount

데이터 참조에 대한 작업입니다. 지원되는 값은 'mount'(기본값) 및 'download'입니다.

스크립트가 입력 데이터에 대한 특정(예: 하드 코딩된) 경로를 예상하는 경우 'download' 모드를 사용합니다. 이 경우 DataReference를 선언할 때 path_on_compute 매개 변수로 경로를 지정합니다. Azure Machine Learning은 스크립트를 실행하기 전에 해당 경로로 지정된 데이터를 다운로드합니다.

'mount' 모드를 사용하면 탑재된 데이터로 임시 디렉터리가 만들어지고 환경 변수 $AZUREML_DATAREFERENCE_<data_reference_name>이 임시 디렉터리 경로로 설정됩니다. 파이프라인 단계(예: PythonScriptStep)에 대한 인수 목록에 DataReference를 전달하면 런타임 시 참조가 로컬 데이터 경로로 확장됩니다.

path_on_compute
str
기본값: None

데이터 참조에 대한 컴퓨팅 대상의 경로입니다.

overwrite
bool
기본값: False

기존 데이터를 덮어쓸지 여부를 나타냅니다.

datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
필수

참조할 데이터 저장소입니다.

data_reference_name
str
필수

데이터 참조의 이름입니다.

path_on_datastore
str
필수

데이터 참조에 대한 지원 스토리지의 상대 경로입니다.

mode
str
필수

데이터 참조에 대한 작업입니다. 지원되는 값 'mount'(기본값) 및 'download'.

스크립트가 입력 데이터에 대한 특정(예: 하드 코딩된) 경로를 예상하는 경우 'download' 모드를 사용합니다. 이 경우 DataReference를 선언할 때 path_on_compute 매개 변수로 경로를 지정합니다. Azure Machine Learning은 스크립트를 실행하기 전에 해당 경로로 지정된 데이터를 다운로드합니다.

'mount' 모드를 사용하면 탑재된 데이터로 임시 디렉터리가 만들어지고 환경 변수 $AZUREML_DATAREFERENCE_<data_reference_name>이 임시 디렉터리 경로로 설정됩니다. 파이프라인 단계(예: PythonScriptStep)에 대한 인수 목록에 DataReference를 전달하면 런타임 시 참조가 로컬 데이터 경로로 확장됩니다.

path_on_compute
str
필수

데이터 참조에 대한 컴퓨팅 대상의 경로입니다.

overwrite
bool
필수

기존 데이터를 덮어쓸지 여부를 나타냅니다.

설명

DataReference는 데이터 위치와 대상 컴퓨팅 바인딩(탑재 또는 업로드)에서 데이터가 사용되는 방식을 모두 정의합니다. 데이터 저장소의 데이터 경로는 루트 /, 데이터 저장소 내의 디렉터리 또는 데이터 저장소의 파일일 수 있습니다.

메서드

as_download

데이터 참조 작업을 다운로드로 전환합니다.

DataReference 다운로드는 Azure Blob 및 Azure 파일 공유만 지원합니다. Azure Blob, Azure 파일 공유, Azure Data Lake Gen1 및 Azure Data Lake Gen2에서 데이터를 다운로드하려면 Azure Machine Learning Dataset을 사용하는 것이 좋습니다. 데이터 세트를 만들고 사용하는 방법에 대한 자세한 내용은 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets를 참조하세요.
as_mount

탑재할 데이터 참조 작업을 전환합니다.

DataReference 탑재는 Azure Blob만 지원합니다. Azure Blob, Azure 파일 공유, Azure Data Lake Gen1 및 Azure Data Lake Gen2에 데이터를 탑재하려면 Azure Machine Learning Dataset을 사용하는 것이 좋습니다. 데이터 세트를 만들고 사용하는 방법에 대한 자세한 내용은 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets를 참조하세요.
as_upload

업로드할 데이터 참조 작업을 전환합니다.

데이터 업로드를 지원하는 컴퓨팅 및 데이터 저장소에 대한 자세한 내용은 https://aka.ms/datastore-matrix를 참조하세요.
create

DataPath 및 DataPathComputeBinding을 사용하여 DataReference를 만듭니다.
path

지정된 경로를 기반으로 DataReference 인스턴스를 만듭니다.
to_config

DataReference 개체를 DataReferenceConfiguration 개체로 변환합니다.

as_download

데이터 참조 작업을 다운로드로 전환합니다.

DataReference 다운로드는 Azure Blob 및 Azure 파일 공유만 지원합니다. Azure Blob, Azure 파일 공유, Azure Data Lake Gen1 및 Azure Data Lake Gen2에서 데이터를 다운로드하려면 Azure Machine Learning Dataset을 사용하는 것이 좋습니다. 데이터 세트를 만들고 사용하는 방법에 대한 자세한 내용은 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets를 참조하세요.

as_download(path_on_compute=None, overwrite=False)

매개 변수

path_on_compute
str
기본값: None

데이터 참조에 대한 컴퓨팅의 경로입니다.

overwrite
bool
기본값: False

기존 데이터를 덮어쓸지 여부입니다.

반환

새 데이터 참조 개체입니다.

반환 형식

DataReference

as_mount

탑재할 데이터 참조 작업을 전환합니다.

DataReference 탑재는 Azure Blob만 지원합니다. Azure Blob, Azure 파일 공유, Azure Data Lake Gen1 및 Azure Data Lake Gen2에 데이터를 탑재하려면 Azure Machine Learning Dataset을 사용하는 것이 좋습니다. 데이터 세트를 만들고 사용하는 방법에 대한 자세한 내용은 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets를 참조하세요.

as_mount()

반환

새 데이터 참조 개체입니다.

반환 형식

DataReference

as_upload

업로드할 데이터 참조 작업을 전환합니다.

데이터 업로드를 지원하는 컴퓨팅 및 데이터 저장소에 대한 자세한 내용은 https://aka.ms/datastore-matrix를 참조하세요.

as_upload(path_on_compute=None, overwrite=False)

매개 변수

path_on_compute
str
기본값: None

데이터 참조에 대한 컴퓨팅의 경로입니다.

overwrite
bool
기본값: False

기존 데이터를 덮어쓸지 여부입니다.

반환

새 데이터 참조 개체입니다.

반환 형식

DataReference

create

DataPath 및 DataPathComputeBinding을 사용하여 DataReference를 만듭니다.

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

매개 변수

data_reference_name
str
기본값: None

만들 데이터 참조의 이름입니다.

datapath
DataPath
기본값: None

[필수] 사용할 데이터 경로입니다.

datapath_compute_binding
DataPathComputeBinding
기본값: None

[필수] 사용할 데이터 경로 컴퓨팅 바인딩입니다.

반환

DataReference 개체입니다.

반환 형식

DataReference

path

지정된 경로를 기반으로 DataReference 인스턴스를 만듭니다.

path(path=None, data_reference_name=None)

매개 변수

path
str
기본값: None

데이터 저장소의 경로입니다.

data_reference_name
str
기본값: None

데이터 참조의 이름입니다.

반환

데이터 참조 개체입니다.

반환 형식

DataReference

to_config

DataReference 개체를 DataReferenceConfiguration 개체로 변환합니다.

to_config()

반환

새 DataReferenceConfiguration 개체입니다.

반환 형식

DataReferenceConfiguration