次の方法で共有

DataReference クラス

  • リファレンス

データストア内のデータへの参照を表します。

DataReference はデータストア内のパスを表し、実行時にデータを使用できる方法と場所を記述するために使用できます。 これは、Azure Machine Learning でのデータ アクセスおよび配信の推奨される方法ではなくなりました。 データセットは、追加されたデータ管理機能と統合インターフェイスを介して、Azure BLOB Storage、Azure Files、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure SQL Database、および Azure Database for PostgreSQL からデータにアクセスすることをサポートします。 機械学習プロジェクトでデータを読み取るには、データセットを使用することをお勧めします。

2 つの一般的なシナリオで Azure ML データセットを使用する方法の詳細については、次の記事を参照してください。

クラス DataReference コンストラクター。

継承
builtins.object
DataReference

コンストラクター

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

パラメーター

名前 説明
datastore
必須
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

参照するデータストア。
data_reference_name
str

データ参照の名前。

既定値: None
path_on_datastore
str

データ参照用バッキング ストレージの相対パス。

既定値: None
mode
str

データ参照に対する操作。 サポートされている値は、「mount」(既定値) および「download」です。

スクリプトで入力データの特定のパス (ハードコーディングされたパスなど) が期待されている場合は、「download」モードを使用します。 この場合、DataReference を宣言するときに、path_on_compute パラメーターを使用してパスを指定します。 Azure Machine Learning では、スクリプトを実行する前に、そのパスで指定されたデータをダウンロードします。

「mount」モードでは、マウントされたデータを使用して一時ディレクトリが作成され、環境変数 $ AZUREML_DATAREFERENCE_<data_reference_name> に一時ディレクトリへのパスが設定されます。 パイプライン ステップ (PythonScriptStep など) の引数リストに DataReference を渡すと、実行時に参照がローカル データ パスに展開されます。

既定値: mount
path_on_compute
str

コンピューティング先でのデータ参照のパス。

既定値: None
overwrite
bool

既存のデータを上書きするかどうかを示します。

既定値: False
datastore
必須
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

参照するデータストア。
data_reference_name
必須
str

データ参照の名前。
path_on_datastore
必須
str

データ参照用バッキング ストレージの相対パス。
mode
必須
str

データ参照に対する操作。 サポートされている値 'mount' (既定値) と 'download' です。

スクリプトで入力データの特定のパス (ハードコーディングされたパスなど) が期待されている場合は、「download」モードを使用します。 この場合、DataReference を宣言するときに、path_on_compute パラメーターを使用してパスを指定します。 Azure Machine Learning では、スクリプトを実行する前に、そのパスで指定されたデータをダウンロードします。

「mount」モードでは、マウントされたデータを使用して一時ディレクトリが作成され、環境変数 $ AZUREML_DATAREFERENCE_<data_reference_name> に一時ディレクトリへのパスが設定されます。 パイプライン ステップ (PythonScriptStep など) の引数リストに DataReference を渡すと、実行時に参照がローカル データ パスに展開されます。
path_on_compute
必須
str

コンピューティング先でのデータ参照のパス。
overwrite
必須
bool

既存のデータを上書きするかどうかを示します。

注釈

DataReference は、データの場所と、ターゲット コンピューティング バインディング (マウントまたはアップロード) でのデータの使用方法の両方を定義します。 データストア内のデータへのパスには、ルート/、データストア内のディレクトリ、またはデータストア内のファイルを指定できます。

メソッド

as_download

データ参照操作をダウンロードに切り替えます。

DataReference のダウンロードでは、Azure Blob と Azure File Share のみがサポートされています。 Azure Blob、Azure File Share、Azure Data Lake Gen1、Azure Data Lake Gen2 からデータをダウンロードするには、Azure Machine Learning Dataset を使用することをお勧めします。 データセットを作成して使用する方法の詳細については、https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsを参照してください。
as_mount

データ参照操作をマウントに切り替えます。

DataReference マウントでは Azure Blob のみをサポートしています。 Azure Blob、Azure File Share、Azure Data Lake Gen1、Azure Data Lake Gen2 にデータをマウントするには、Azure Machine Learning Datasetを使用することをお勧めします。 データセットを作成して使用する方法の詳細については、https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsを参照してください。
as_upload

データ参照操作をアップロードに切り替えます。

データのアップロードをサポートしているコンプーティングとデータストアの詳細については、https://aka.ms/datastore-matrixを参照してください。
create

データパスと DataPathComputeBinding を使用して DataReference を作成します。
path

指定したパスに基づいて DataReference インスタンスを作成します。
to_config

DataReference オブジェクトを DataReferenceConfiguration オブジェクトに変換します。

as_download

データ参照操作をダウンロードに切り替えます。

DataReference のダウンロードでは、Azure Blob と Azure File Share のみがサポートされています。 Azure Blob、Azure File Share、Azure Data Lake Gen1、Azure Data Lake Gen2 からデータをダウンロードするには、Azure Machine Learning Dataset を使用することをお勧めします。 データセットを作成して使用する方法の詳細については、https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsを参照してください。

as_download(path_on_compute=None, overwrite=False)

パラメーター

名前 説明
path_on_compute
str

コンピューティングでのデータ参照のパス。

既定値: None
overwrite
bool

既存のデータを上書きするかどうかを示します。

既定値: False

戻り値

型 説明
DataReference

新しいデータ参照オブジェクト。

as_mount

データ参照操作をマウントに切り替えます。

DataReference マウントでは Azure Blob のみをサポートしています。 Azure Blob、Azure File Share、Azure Data Lake Gen1、Azure Data Lake Gen2 にデータをマウントするには、Azure Machine Learning Datasetを使用することをお勧めします。 データセットを作成して使用する方法の詳細については、https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsを参照してください。

as_mount()

戻り値

型 説明
DataReference

新しいデータ参照オブジェクト。

as_upload

データ参照操作をアップロードに切り替えます。

データのアップロードをサポートしているコンプーティングとデータストアの詳細については、https://aka.ms/datastore-matrixを参照してください。

as_upload(path_on_compute=None, overwrite=False)

パラメーター

名前 説明
path_on_compute
str

コンピューティングでのデータ参照のパス。

既定値: None
overwrite
bool

既存のデータを上書きするかどうかを示します。

既定値: False

戻り値

型 説明
DataReference

新しいデータ参照オブジェクト。

create

データパスと DataPathComputeBinding を使用して DataReference を作成します。

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

パラメーター

名前 説明
data_reference_name
str

作成するデータ参照の名前。

既定値: None
datapath
DataPath

[必須] 必要使用するデータパス。

既定値: None
datapath_compute_binding
DataPathComputeBinding

[必須] 使用するデータパス コンピューティング バインディング。

既定値: None

戻り値

型 説明
DataReference

DataReference オブジェクト。

path

指定したパスに基づいて DataReference インスタンスを作成します。

path(path=None, data_reference_name=None)

パラメーター

名前 説明
path
str

データストアのパス。

既定値: None
data_reference_name
str

データ参照の名前。

既定値: None

戻り値

型 説明
DataReference

データ参照オブジェクト。

to_config

DataReference オブジェクトを DataReferenceConfiguration オブジェクトに変換します。

to_config()

戻り値

型 説明
DataReferenceConfiguration

新しい DataReferenceConfiguration オブジェクト。