Bagikan melalui

Datastore Kelas

  • Referensi

Menunjukkan abstraksi penyimpanan melalui akun penyimpanan Azure Machine Learning.

Penyimpanan data dilampirkan ke ruang kerja dan digunakan untuk menyimpan informasi koneksi ke layanan penyimpanan Azure sehingga Anda dapat merujuknya berdasarkan nama dan tidak perlu mengingat informasi koneksi dan rahasia yang digunakan untuk tersambung ke layanan penyimpanan.

Contoh layanan penyimpanan Azure yang didukung yang dapat didaftarkan sebagai penyimpanan data adalah:

  • Azure Blob Container

  • Azure File Share

  • Azure Data Lake

  • Azure Data Lake Gen2

  • Azure SQL Database

  • Azure Database untuk PostgreSQL

  • Sistem File Databricks

  • Azure Database untuk MySQL

Gunakan kelas ini untuk melakukan operasi manajemen, termasuk mendaftar, membuat daftar, mendapatkan, dan menghapus penyimpanan data. Penyimpanan data untuk setiap layanan dibuat dengan metode register* dari kelas ini. Saat menggunakan penyimpanan data untuk mengakses data, Anda harus memiliki izin untuk mengakses data tersebut, yang bergantung pada informasi masuk yang terdaftar di penyimpanan data.

Untuk informasi selengkapnya tentang penyimpanan data dan bagaimana penyimpanan data dapat digunakan dalam pembelajaran mesin, lihat artikel berikut:

Mendapatkan datastore berdasarkan nama. Panggilan ini akan membuat permintaan ke layanan datastore.

Warisan
builtins.object
Datastore

Konstruktor

Datastore(workspace, name=None)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja.
name
str, <xref:optional>

Nama datastore, default ke None, yang mendapatkan datastore default.

Nilai default: None

Keterangan

Untuk berinteraksi dengan data di datastore Anda untuk tugas pembelajaran mesin, seperti pelatihan, buat himpunan data Azure Machine Learning. Himpunan data menyediakan fungsi yang memuat data tabular ke dalam pandas atau Spark DataFrame. Himpunan data juga menyediakan kemampuan untuk mengunduh atau memasang file dalam format apa pun dari Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, dan Azure Database for PostgreSQL. Pelajari selengkapnya tentang cara berlatih dengan himpunan data.

Contoh berikut menunjukkan cara membuat Datastore yang tersambung ke Azure Blob Container.


   # from azureml.exceptions import UserErrorException
   #
   # blob_datastore_name='MyBlobDatastore'
   # account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   # container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   # account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
   #
   # try:
   #     blob_datastore = Datastore.get(ws, blob_datastore_name)
   #     print("Found Blob Datastore with name: %s" % blob_datastore_name)
   # except UserErrorException:
   #     blob_datastore = Datastore.register_azure_blob_container(
   #         workspace=ws,
   #         datastore_name=blob_datastore_name,
   #         account_name=account_name, # Storage account name
   #         container_name=container_name, # Name of Azure blob container
   #         account_key=account_key) # Storage account key
   #     print("Registered blob datastore with name: %s" % blob_datastore_name)
   #
   # blob_data_ref = DataReference(
   #     datastore=blob_datastore,
   #     data_reference_name="blob_test_data",
   #     path_on_datastore="testdata")

Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Metode

get

Mendapatkan datastore berdasarkan nama. Ini sama dengan memanggil konstruktor.
get_default

Mendapatkan datastore default untuk ruang kerja.
register_azure_blob_container

Mendaftarkan Azure Blob Container ke datastore.

Akses data berbasis info masuk (GA) dan identitas (Pratinjau) didukung, Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.
register_azure_data_lake

Menginisialisasi Datastore Azure Data Lake baru.

Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis info masuk. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

Lihat di bawah untuk contoh cara mendaftarkan Azure Data Lake Gen1 sebagai Datastore.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Menginisialisasi Datastore Azure Data Lake Gen2 baru.

Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis info masuk. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.
register_azure_file_share

Mendaftarkan Berbagi Azure ke datastore.

Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan
register_azure_my_sql

Menginisialisasi Datastore Azure MySQL baru.

Datastore MySQL hanya dapat digunakan untuk membuat DataReference sebagai input dan output ke DataTransferStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini.

Lihat di bawah untuk contoh cara mendaftarkan database Azure MySQL sebagai Datastore.
register_azure_postgre_sql

Menginisialisasi Datastore Azure PostgreSQL baru.

Lihat di bawah untuk contoh cara mendaftarkan database Azure PostgreSQL sebagai Datastore.
register_azure_sql_database

Menginisialisasi Datastore database Azure SQL baru.

Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau), Anda dapat memilih untuk menggunakan Perwakilan Layanan atau nama pengguna + kata sandi. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

Lihat di bawah untuk contoh cara mendaftarkan database Azure SQL sebagai Datastore.
register_dbfs

Menginisialisasi datastore Sistem File Databricks (DBFS) baru.

Datastore DBFS hanya dapat digunakan untuk membuat DataReference sebagai input dan PipelineData sebagai output ke DatabricksStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini..
register_hdfs

Catatan

Ini adalah metode eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.

Menginisialisasi penyimpanan data HDFS baru.
set_as_default

Mengatur datastore default.
unregister

Membatalkan pendaftaran datastore. layanan penyimpanan yang mendasarinya tidak akan dihapus.

get

Mendapatkan datastore berdasarkan nama. Ini sama dengan memanggil konstruktor.

static get(workspace, datastore_name)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja.
datastore_name
Diperlukan
str, <xref:optional>

Nama datastore, default ke None, yang mendapatkan datastore default.

Mengembalikan

Jenis Deskripsi
AzureFileDatastore,
AzureBlobDatastore,
AzureDataLakeDatastore,
AzureDataLakeGen2Datastore,
AzureSqlDatabaseDatastore,
AzurePostgreSqlDatastore,
AzureMySqlDatastore,
DBFSDatastore

Datastore yang sesuai untuk nama tersebut.

get_default

Mendapatkan datastore default untuk ruang kerja.

static get_default(workspace)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja.

Mengembalikan

Jenis Deskripsi
AzureFileDatastore,
AzureBlobDatastore

Datastore default untuk ruang kerja

register_azure_blob_container

Mendaftarkan Azure Blob Container ke datastore.

Akses data berbasis info masuk (GA) dan identitas (Pratinjau) didukung, Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja.
datastore_name
Diperlukan
str

Nama datastore, tidak peka huruf besar/kecil, hanya dapat berisi karakter alfanumerik dan _.
container_name
Diperlukan
str

Nama kontainer blob azure.
account_name
Diperlukan
str

Nama akun penyimpanan.
sas_token
str, <xref:optional>

Token SAS akun, default ke None. Untuk baca data, kami memerlukan minimal izin Daftar & Baca untuk Kontainer & Objek dan untuk penulisan data, kami juga memerlukan izin Tulis & Tambahkan.

Nilai default: None
account_key
str, <xref:optional>

Kunci akses akun penyimpanan Anda, default ke None.

Nilai default: None
protocol
str, <xref:optional>

Protokol yang digunakan untuk tersambung ke kontainer blob. Jika None, default ke https.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir akun penyimpanan. Jika None, default ke core.windows.net.

Nilai default: None
overwrite
bool, <xref:optional>

menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya, default ke False

Nilai default: False
create_if_not_exists
bool, <xref:optional>

membuat kontainer blob jika tidak ada, default ke False

Nilai default: False
skip_validation
bool, <xref:optional>

melewatkan validasi kunci penyimpanan, default ke False

Nilai default: False
blob_cache_timeout
int, <xref:optional>

Saat blob ini dipasang, atur batas waktu cache hingga beberapa detik ini. Jika None, default ke tidak ada batas waktu (yaitu blob akan di-cache selama durasi pekerjaan saat dibaca).

Nilai default: None
grant_workspace_access
bool, <xref:optional>

Default ke False. Atur ke True untuk mengakses data di balik jaringan virtual dari Studio Pembelajaran Mesin. Hal ini membuat akses data dari Studio Pembelajaran Mesin menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses penyimpanan pengguna untuk ikut serta. Minta administrator untuk melakukan konfigurasi untuk Anda jika Anda tidak memiliki izin yang diperlukan. Pelajari selengkapnya 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Nilai default: False
subscription_id
str, <xref:optional>

Id langganan akun penyimpanan, default ke None.

Nilai default: None
resource_group
str, <xref:optional>

Grup sumber daya akun penyimpanan, default ke None.

Nilai default: None

Mengembalikan

Jenis Deskripsi
AzureBlobDatastore

Datastore blob.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, hal ini dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.

register_azure_data_lake

Menginisialisasi Datastore Azure Data Lake baru.

Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis info masuk. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

Lihat di bawah untuk contoh cara mendaftarkan Azure Data Lake Gen1 sebagai Datastore.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja milik datastore ini.
datastore_name
Diperlukan
str

Nama datastore.
store_name
Diperlukan
str

Nama penyimpanan ADLS.
tenant_id
str, <xref:optional>

ID Direktori/ID Penyewa dari perwakilan layanan yang digunakan untuk mengakses data.

Nilai default: None
client_id
str, <xref:optional>

ID Klien/ID Aplikasi dari perwakilan layanan yang digunakan untuk mengakses data.

Nilai default: None
client_secret
str, <xref:optional>

Rahasia Klien dari perwakilan layanan yang digunakan untuk mengakses data.

Nilai default: None
resource_url
str, <xref:optional>

URL sumber daya, yang menentukan operasi apa yang akan dilakukan di penyimpanan Data Lake, jika None, default ke https://datalake.azure.net/ yang memungkinkan kita melakukan operasi sistem file.

Nilai default: None
authority_url
str, <xref:optional>

URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.

Nilai default: None
subscription_id
str, <xref:optional>

ID langganan milik penyimpanan ADLS.

Nilai default: None
resource_group
str, <xref:optional>

Grup sumber daya milik penyimpanan ADLS.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
grant_workspace_access
bool, <xref:optional>

Default ke False. Atur ke True untuk mengakses data di balik jaringan virtual dari Studio Pembelajaran Mesin. Hal ini membuat akses data dari Studio Pembelajaran Mesin menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi Pemilik atau Administrator Akses Pengguna penyimpanan untuk ikut serta. Minta administrator untuk melakukan konfigurasi untuk Anda jika Anda tidak memiliki izin yang diperlukan. Pelajari selengkapnya 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureDataLakeDatastore

Mengembalikan Datastore Azure Data Lake.

Keterangan

Jika Anda melampirkan penyimpanan wilayah yang berbeda dari wilayah ruang kerja, hal itu dapat mengakibatkan latensi yang lebih tinggi dan menambah biaya penggunaan jaringan.

Catatan

Datastore Azure Data Lake mendukung transfer data dan menjalankan pekerjaan U-Sql menggunakan Alur Azure Machine Learning.

Anda juga dapat menggunakannya sebagai sumber data untuk Himpunan Data Azure Machine Learning yang dapat diunduh atau dipasang pada komputasi apa pun yang didukung.

register_azure_data_lake_gen2

Menginisialisasi Datastore Azure Data Lake Gen2 baru.

Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis info masuk. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja milik datastore ini.
datastore_name
Diperlukan
str

Nama datastore.
filesystem
Diperlukan
str

Nama filesystem Data Lake Gen2.
account_name
Diperlukan
str

Nama akun penyimpanan.
tenant_id
str, <xref:optional>

ID Direktori/ID Penyewa dari perwakilan layanan.

Nilai default: None
client_id
str, <xref:optional>

ID Klien/ID Aplikasi perwakilan layanan.

Nilai default: None
client_secret
str, <xref:optional>

Rahasia perwakilan layanan.

Nilai default: None
resource_url
str, <xref:optional>

URL sumber daya, yang menentukan operasi apa yang akan dilakukan di penyimpanan data lake, default ke https://storage.azure.com/ yang memungkinkan kita untuk melakukan operasi filesystem.

Nilai default: None
authority_url
str, <xref:optional>

URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.

Nilai default: None
protocol
str, <xref:optional>

Protokol yang digunakan untuk tersambung ke kontainer blob. Jika None, default ke https.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir akun penyimpanan. Jika None, default ke core.windows.net.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
subscription_id
str, <xref:optional>

ID langganan milik penyimpanan ADLS.

Nilai default: None
resource_group
str, <xref:optional>

Grup sumber daya milik penyimpanan ADLS.

Nilai default: None
grant_workspace_access
bool, <xref:optional>

Default ke False. Atur ke True untuk mengakses data di balik jaringan virtual dari Studio Pembelajaran Mesin. Hal ini membuat akses data dari Studio Pembelajaran Mesin menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses penyimpanan pengguna untuk ikut serta. Minta administrator untuk melakukan konfigurasi untuk Anda jika Anda tidak memiliki izin yang diperlukan. Pelajari selengkapnya 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureDataLakeGen2Datastore

Mengembalikan Datastore Azure Data Lake Gen2.

Keterangan

Jika Anda melampirkan penyimpanan wilayah yang berbeda dari wilayah ruang kerja, hal itu dapat mengakibatkan latensi yang lebih tinggi dan menambah biaya penggunaan jaringan.

register_azure_file_share

Mendaftarkan Berbagi Azure ke datastore.

Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja milik datastore ini.
datastore_name
Diperlukan
str

Nama datastore, tidak peka huruf besar/kecil, hanya dapat berisi karakter alfanumerik dan _.
file_share_name
Diperlukan
str

Nama kontainer file azure.
account_name
Diperlukan
str

Nama akun penyimpanan.
sas_token
str, <xref:optional>

Token SAS akun, default ke None. Untuk baca data, kami memerlukan minimal izin Daftar & Baca untuk Kontainer & Objek dan untuk penulisan data, kami juga memerlukan izin Tulis & Tambahkan.

Nilai default: None
account_key
str, <xref:optional>

Kunci akses akun penyimpanan Anda, default ke None.

Nilai default: None
protocol
str, <xref:optional>

Protokol yang digunakan untuk tersambung ke berbagi. Jika None, default ke https.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir berbagi. Jika None, default ke core.windows.net.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
create_if_not_exists
bool, <xref:optional>

Apakah akan membuat berbagi jika tidak ada. Defaultnya adalah False.

Nilai default: False
skip_validation
bool, <xref:optional>

Apakah akan melewatkan validasi kunci penyimpanan. Defaultnya adalah False.

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureFileDatastore

Datastore file.

Keterangan

Jika Anda melampirkan penyimpanan wilayah yang berbeda dari wilayah ruang kerja, hal itu dapat mengakibatkan latensi yang lebih tinggi dan menambah biaya penggunaan jaringan.

register_azure_my_sql

Menginisialisasi Datastore Azure MySQL baru.

Datastore MySQL hanya dapat digunakan untuk membuat DataReference sebagai input dan output ke DataTransferStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini.

Lihat di bawah untuk contoh cara mendaftarkan database Azure MySQL sebagai Datastore.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja milik datastore ini.
datastore_name
Diperlukan
str

Nama datastore.
server_name
Diperlukan
str

Nama server MySQL.
database_name
Diperlukan
str

Nama database MySQL.
user_id
Diperlukan
str

ID Pengguna server MySQL.
user_password
Diperlukan
str

Kata sandi pengguna server MySQL.
port_number
str

Nomor port server MySQL.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir server MySQL. Jika None, default ke mysql.database.azure.com.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureMySqlDatastore

Mengembalikan Datastore database MySQL.

Keterangan

Jika Anda melampirkan penyimpanan wilayah yang berbeda dari wilayah ruang kerja, hal itu dapat mengakibatkan latensi yang lebih tinggi dan menambah biaya penggunaan jaringan.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Menginisialisasi Datastore Azure PostgreSQL baru.

Lihat di bawah untuk contoh cara mendaftarkan database Azure PostgreSQL sebagai Datastore.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja milik datastore ini.
datastore_name
Diperlukan
str

Nama datastore.
server_name
Diperlukan
str

Nama server PostgreSQL.
database_name
Diperlukan
str

Nama database PostgreSQL.
user_id
Diperlukan
str

ID Pengguna server PostgreSQL.
user_password
Diperlukan
str

Kata Sandi Pengguna server PostgreSQL.
port_number
str

Nomor Port server PostgreSQL

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir server PostgreSQL. Jika None, default ke postgres.database.azure.com.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
enforce_ssl
bool

Menunjukkan persyaratan SSL server PostgreSQL. Default ke True.

Nilai default: True

Mengembalikan

Jenis Deskripsi
AzurePostgreSqlDatastore

Mengembalikan Datastore database PostgreSQL.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, hal ini dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Menginisialisasi Datastore database Azure SQL baru.

Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau), Anda dapat memilih untuk menggunakan Perwakilan Layanan atau nama pengguna + kata sandi. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

Lihat di bawah untuk contoh cara mendaftarkan database Azure SQL sebagai Datastore.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja milik datastore ini.
datastore_name
Diperlukan
str

Nama datastore.
server_name
Diperlukan
str

Nama server SQL. Untuk nama domain yang sepenuhnya memenuhi syarat seperti "sample.database.windows.net", nilai server_name harus "sample", dan nilai titik akhir harus "database.windows.net".
database_name
Diperlukan
str

Nama database SQL.
tenant_id
str

ID Direktori/ID Penyewa dari perwakilan layanan.

Nilai default: None
client_id
str

ID Klien/ID Aplikasi perwakilan layanan.

Nilai default: None
client_secret
str

Rahasia perwakilan layanan.

Nilai default: None
resource_url
str, <xref:optional>

URL sumber daya, yang menentukan operasi apa yang akan dilakukan di penyimpanan database SQL, jika None, default ke https://database.windows.net/.

Nilai default: None
authority_url
str, <xref:optional>

URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir server SQL. Jika None, default ke database.windows.net.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
username
str

Nama pengguna dari pengguna database untuk mengakses database.

Nilai default: None
password
str

Kata sandi pengguna database untuk mengakses database.

Nilai default: None
skip_validation
Diperlukan
bool, <xref:optional>

Apakah akan melewatkan validasi koneksi ke database SQL. Default ke False.
subscription_id
str, <xref:optional>

ID langganan milik penyimpanan ADLS.

Nilai default: None
resource_group
str, <xref:optional>

Grup sumber daya milik penyimpanan ADLS.

Nilai default: None
grant_workspace_access
bool, <xref:optional>

Default ke False. Atur ke True untuk mengakses data di balik jaringan virtual dari Studio Pembelajaran Mesin. Hal ini membuat akses data dari Studio Pembelajaran Mesin menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses penyimpanan pengguna untuk ikut serta. Minta administrator untuk melakukan konfigurasi untuk Anda jika Anda tidak memiliki izin yang diperlukan. Pelajari selengkapnya 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureSqlDatabaseDatastore

Mengembalikan Datastore database SQL.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, hal ini dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Menginisialisasi datastore Sistem File Databricks (DBFS) baru.

Datastore DBFS hanya dapat digunakan untuk membuat DataReference sebagai input dan PipelineData sebagai output ke DatabricksStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini..

static register_dbfs(workspace, datastore_name)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja milik datastore ini.
datastore_name
Diperlukan
str

Nama datastore.

Mengembalikan

Jenis Deskripsi
DBFSDatastore

Mengembalikan Datastore DBFS.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, hal ini dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.

register_hdfs

Catatan

Ini adalah metode eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.

Menginisialisasi penyimpanan data HDFS baru.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

ruang kerja milik datastore ini
datastore_name
Diperlukan
str

nama penyimpanan data
protocol
Diperlukan
str atau <xref:_restclient.models.enum>

Protokol yang digunakan ketika berkomunikasi dengan kluster HDFS. http ataupun https. Nilai yang mungkin termasuk: 'http', 'https'
namenode_address
Diperlukan
str

Alamat IP ataupun nama host DNS dari simpul nama HDFS. Secara opsional mencakup port.
hdfs_server_certificate
Diperlukan
str, <xref:optional>

Jalur ke sertifikat penandatanganan TLS dari simpul nama HDFS, jika menggunakan TLS dengan sertifikat yang ditandatangani sendiri.
kerberos_realm
Diperlukan
str

Kerberos Realm.
kerberos_kdc_address
Diperlukan
str

Alamat IP ataupun nama host DNS dari Kerberos KDC.
kerberos_principal
Diperlukan
str

Prinsipal Kerberos yang akan digunakan untuk autentikasi serta otorisasi.
kerberos_keytab
Diperlukan
str, <xref:optional>

Jalur ke file tab kunci yang berisi kunci yang sesuai dengan prinsipal Kerberos. Berikan kunci ini, atau kata sandi.
kerberos_password
Diperlukan
str, <xref:optional>

Kata sandi yang sesuai dengan prinsipal Kerberos. Berikan kata sandi ini, atau jalur ke file keytab.
overwrite
Diperlukan
bool, <xref:optional>

menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Default ke False.

set_as_default

Mengatur datastore default.

set_as_default()

Parameter

Nama Deskripsi
datastore_name
Diperlukan
str

Nama datastore.

unregister

Membatalkan pendaftaran datastore. layanan penyimpanan yang mendasarinya tidak akan dihapus.

unregister()