Datastore Kelas

Mewakili abstraksi penyimpanan melalui akun penyimpanan Azure Machine Learning.

Penyimpanan data dilampirkan ke ruang kerja dan digunakan untuk menyimpan informasi koneksi ke layanan penyimpanan Azure sehingga Anda dapat merujuknya berdasarkan nama dan tidak perlu mengingat informasi koneksi dan rahasia yang digunakan untuk menyambungkan ke layanan penyimpanan.

Contoh layanan penyimpanan Azure yang didukung yang dapat didaftarkan sebagai penyimpanan data adalah:

  • Kontainer Azure Blob

  • Berbagi File Azure

  • Azure Data Lake

  • Azure Data Lake Gen2

  • Azure SQL Database

  • Azure Database for PostgreSQL

  • Sistem File Databricks

  • Azure Database for MySQL

Gunakan kelas ini untuk melakukan operasi manajemen, termasuk mendaftar, mencantumkan, mendapatkan, dan menghapus datastore. Datastore untuk setiap layanan dibuat dengan register* metode kelas ini. Saat menggunakan datastore untuk mengakses data, Anda harus memiliki izin untuk mengakses data tersebut, yang bergantung pada kredensial yang terdaftar di datastore.

Untuk informasi selengkapnya tentang datastore dan bagaimana mereka dapat digunakan dalam pembelajaran mesin, lihat artikel berikut:

Dapatkan datastore berdasarkan nama. Panggilan ini akan membuat permintaan ke layanan datastore.

Konstruktor

Datastore(workspace, name=None)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja.
name
str, <xref:optional>

Nama datastore, default ke None, yang mendapatkan datastore default.

Nilai default: None

Keterangan

Untuk berinteraksi dengan data di penyimpanan data Anda untuk tugas pembelajaran mesin, seperti pelatihan, buat himpunan data Azure Machine Learning. Himpunan data menyediakan fungsi yang memuat data tabular ke dalam panda atau Spark DataFrame. Himpunan data juga menyediakan kemampuan untuk mengunduh atau memasang file dengan format apa pun dari penyimpanan Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, dan Azure Database for PostgreSQL. Pelajari selengkapnya tentang cara berlatih dengan himpunan data.

Contoh berikut menunjukkan cara membuat Datastore yang tersambung ke Azure Blob Container.


   # from azureml.exceptions import UserErrorException
   #
   # blob_datastore_name='MyBlobDatastore'
   # account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   # container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   # account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
   #
   # try:
   #     blob_datastore = Datastore.get(ws, blob_datastore_name)
   #     print("Found Blob Datastore with name: %s" % blob_datastore_name)
   # except UserErrorException:
   #     blob_datastore = Datastore.register_azure_blob_container(
   #         workspace=ws,
   #         datastore_name=blob_datastore_name,
   #         account_name=account_name, # Storage account name
   #         container_name=container_name, # Name of Azure blob container
   #         account_key=account_key) # Storage account key
   #     print("Registered blob datastore with name: %s" % blob_datastore_name)
   #
   # blob_data_ref = DataReference(
   #     datastore=blob_datastore,
   #     data_reference_name="blob_test_data",
   #     path_on_datastore="testdata")

Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Metode

get

Dapatkan datastore berdasarkan nama. Ini sama dengan memanggil konstruktor.
get_default

Dapatkan datastore default untuk ruang kerja.
register_azure_blob_container

Daftarkan Kontainer Blob Azure ke datastore.

Akses data berbasis kredensial (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan. Jika tidak ada kredensial yang disimpan dengan datastore, token AAD pengguna akan digunakan dalam buku catatan atau program python lokal jika langsung memanggil salah satu fungsi ini: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.
register_azure_data_lake

Menginisialisasi Azure Data Lake Datastore baru.

Akses data berbasis kredensial (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis kredensial. Jika tidak ada kredensial yang disimpan dengan datastore, token AAD pengguna akan digunakan dalam buku catatan atau program python lokal jika langsung memanggil salah satu fungsi ini: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

Silakan lihat di bawah ini untuk contoh cara mendaftarkan Azure Data Lake Gen1 sebagai Datastore.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Menginisialisasi Datastore Azure Data Lake Gen2 baru.

Akses data berbasis kredensial (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis kredensial. Jika tidak ada kredensial yang disimpan dengan datastore, token AAD pengguna akan digunakan dalam buku catatan atau program python lokal jika langsung memanggil salah satu fungsi ini: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.
register_azure_file_share

Daftarkan Azure File Share ke datastore.

Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan
register_azure_my_sql

Menginisialisasi Datastore Azure MySQL baru.

Datastore MySQL hanya dapat digunakan untuk membuat DataReference sebagai input dan output ke DataTransferStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini.

Silakan lihat di bawah ini untuk contoh cara mendaftarkan database Azure MySQL sebagai Datastore.
register_azure_postgre_sql

Menginisialisasi Datastore Azure PostgreSQL baru.

Silakan lihat di bawah ini untuk contoh cara mendaftarkan database Azure PostgreSQL sebagai Datastore.
register_azure_sql_database

Menginisialisasi Datastore database Azure SQL baru.

Akses data berbasis kredensial (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat memilih untuk menggunakan Perwakilan Layanan atau nama pengguna + kata sandi. Jika tidak ada kredensial yang disimpan dengan datastore, token AAD pengguna akan digunakan dalam buku catatan atau program python lokal jika langsung memanggil salah satu fungsi ini: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

Silakan lihat di bawah ini untuk contoh cara mendaftarkan database Azure SQL sebagai Datastore.
register_dbfs

Menginisialisasi datastore Databricks File System (DBFS) baru.

Datastore DBFS hanya dapat digunakan untuk membuat DataReference sebagai input dan PipelineData sebagai output ke DatabricksStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini..
register_hdfs

Nota

Ini adalah metode eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/acr/connected-registry untuk mengetahui informasi selengkapnya.

Menginisialisasi datastore HDFS baru.
set_as_default

Atur datastore default.
unregister

Membatalkan pendaftaran datastore. layanan penyimpanan yang mendasar tidak akan dihapus.

get

Dapatkan datastore berdasarkan nama. Ini sama dengan memanggil konstruktor.

static get(workspace, datastore_name)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja.
datastore_name
Diperlukan
str, <xref:optional>

Nama datastore, default ke None, yang mendapatkan datastore default.

Mengembalikan

Jenis Deskripsi
AzureFileDatastore,
AzureBlobDatastore,
AzureDataLakeDatastore,
AzureDataLakeGen2Datastore,
AzureSqlDatabaseDatastore,
AzurePostgreSqlDatastore,
AzureMySqlDatastore,
DBFSDatastore

Datastore yang sesuai untuk nama tersebut.

get_default

Dapatkan datastore default untuk ruang kerja.

static get_default(workspace)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja.

Mengembalikan

Jenis Deskripsi
AzureFileDatastore,
AzureBlobDatastore

Datastore default untuk ruang kerja

register_azure_blob_container

Daftarkan Kontainer Blob Azure ke datastore.

Akses data berbasis kredensial (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan. Jika tidak ada kredensial yang disimpan dengan datastore, token AAD pengguna akan digunakan dalam buku catatan atau program python lokal jika langsung memanggil salah satu fungsi ini: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja.
datastore_name
Diperlukan
str

Nama datastore, tidak peka huruf besar/kecil, hanya dapat berisi karakter alfanumerik dan _.
container_name
Diperlukan
str

Nama kontainer blob azure.
account_name
Diperlukan
str

Nama akun penyimpanan.
sas_token
str, <xref:optional>

Token SAS akun, default ke Tidak Ada. Untuk baca data, kami memerlukan minimal izin Daftar & Baca untuk Kontainer & Objek dan untuk penulisan data, kami juga memerlukan izin Tulis & Tambahkan.

Nilai default: None
account_key
str, <xref:optional>

Akses kunci akun penyimpanan Anda, default ke Tidak Ada.

Nilai default: None
protocol
str, <xref:optional>

Protokol yang digunakan untuk menyambungkan ke kontainer blob. Jika Tidak Ada, default ke https.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir akun penyimpanan. Jika Tidak Ada, default ke core.windows.net.

Nilai default: None
overwrite
bool, <xref:optional>

menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya, default ke False

Nilai default: False
create_if_not_exists
bool, <xref:optional>

buat kontainer blob jika tidak ada, default ke False

Nilai default: False
skip_validation
bool, <xref:optional>

melewati validasi kunci penyimpanan, default ke False

Nilai default: False
blob_cache_timeout
int, <xref:optional>

Ketika blob ini dipasang, atur batas waktu cache ke detik ini. Jika Tidak Ada, default ke tidak ada batas waktu (yaitu blob akan di-cache selama durasi pekerjaan saat dibaca).

Nilai default: None
grant_workspace_access
bool, <xref:optional>

Default ke False. Atur ke True untuk mengakses data di belakang jaringan virtual dari Machine Learning Studio.Ini membuat akses data dari Azure Machine Learning Studio menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses pengguna penyimpanan untuk ikut serta. Minta administrator Anda untuk mengonfigurasinya jika Anda tidak memiliki izin yang diperlukan. Pelajari lebih lanjut 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Nilai default: False
subscription_id
str, <xref:optional>

Id langganan akun penyimpanan, default ke Tidak Ada.

Nilai default: None
resource_group
str, <xref:optional>

Grup sumber daya akun penyimpanan, default ke Tidak Ada.

Nilai default: None

Mengembalikan

Jenis Deskripsi
AzureBlobDatastore

Datastore blob.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, itu dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.

register_azure_data_lake

Menginisialisasi Azure Data Lake Datastore baru.

Akses data berbasis kredensial (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis kredensial. Jika tidak ada kredensial yang disimpan dengan datastore, token AAD pengguna akan digunakan dalam buku catatan atau program python lokal jika langsung memanggil salah satu fungsi ini: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

Silakan lihat di bawah ini untuk contoh cara mendaftarkan Azure Data Lake Gen1 sebagai Datastore.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja tempat penyimpanan data ini berada.
datastore_name
Diperlukan
str

Nama datastore.
store_name
Diperlukan
str

Nama penyimpanan ADLS.
tenant_id
str, <xref:optional>

ID Direktori/ID Penyewa perwakilan layanan yang digunakan untuk mengakses data.

Nilai default: None
client_id
str, <xref:optional>

ID Klien/ID Aplikasi dari perwakilan layanan yang digunakan untuk mengakses data.

Nilai default: None
client_secret
str, <xref:optional>

Rahasia Klien dari perwakilan layanan yang digunakan untuk mengakses data.

Nilai default: None
resource_url
str, <xref:optional>

URL sumber daya, yang menentukan operasi apa yang akan dilakukan di penyimpanan Data Lake, jika Tidak Ada, default yang https://datalake.azure.net/ memungkinkan kami melakukan operasi sistem file.

Nilai default: None
authority_url
str, <xref:optional>

URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.

Nilai default: None
subscription_id
str, <xref:optional>

ID langganan tempat penyimpanan ADLS berada.

Nilai default: None
resource_group
str, <xref:optional>

Grup sumber daya tempat penyimpanan ADLS berada.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
grant_workspace_access
bool, <xref:optional>

Default ke False. Atur ke True untuk mengakses data di belakang jaringan virtual dari Machine Learning Studio.Ini membuat akses data dari Azure Machine Learning Studio menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi Pemilik atau Administrator Akses Pengguna penyimpanan untuk ikut serta. Minta administrator Anda untuk mengonfigurasinya jika Anda tidak memiliki izin yang diperlukan. Pelajari lebih lanjut 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureDataLakeDatastore

Mengembalikan Azure Data Lake Datastore.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, itu dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.

Nota

Azure Data Lake Datastore mendukung transfer data dan menjalankan pekerjaan U-Sql menggunakan Alur Azure Machine Learning.

Anda juga dapat menggunakannya sebagai sumber data untuk Himpunan Data Azure Machine Learning yang dapat diunduh atau dipasang pada komputasi yang didukung.

register_azure_data_lake_gen2

Menginisialisasi Datastore Azure Data Lake Gen2 baru.

Akses data berbasis kredensial (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis kredensial. Jika tidak ada kredensial yang disimpan dengan datastore, token AAD pengguna akan digunakan dalam buku catatan atau program python lokal jika langsung memanggil salah satu fungsi ini: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja tempat penyimpanan data ini berada.
datastore_name
Diperlukan
str

Nama datastore.
filesystem
Diperlukan
str

Nama sistem file Data Lake Gen2.
account_name
Diperlukan
str

Nama akun penyimpanan.
tenant_id
str, <xref:optional>

ID Direktori/ID Penyewa perwakilan layanan.

Nilai default: None
client_id
str, <xref:optional>

ID Klien/ID Aplikasi dari perwakilan layanan.

Nilai default: None
client_secret
str, <xref:optional>

Rahasia perwakilan layanan.

Nilai default: None
resource_url
str, <xref:optional>

URL sumber daya, yang menentukan operasi apa yang akan dilakukan pada penyimpanan data lake, default https://storage.azure.com/ yang memungkinkan kami melakukan operasi sistem file.

Nilai default: None
authority_url
str, <xref:optional>

URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.

Nilai default: None
protocol
str, <xref:optional>

Protokol yang digunakan untuk menyambungkan ke kontainer blob. Jika Tidak Ada, default ke https.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir akun penyimpanan. Jika Tidak Ada, default ke core.windows.net.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
subscription_id
str, <xref:optional>

ID langganan tempat penyimpanan ADLS berada.

Nilai default: None
resource_group
str, <xref:optional>

Grup sumber daya tempat penyimpanan ADLS berada.

Nilai default: None
grant_workspace_access
bool, <xref:optional>

Default ke False. Atur ke True untuk mengakses data di belakang jaringan virtual dari Machine Learning Studio.Ini membuat akses data dari Azure Machine Learning Studio menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses pengguna penyimpanan untuk ikut serta. Minta administrator Anda untuk mengonfigurasinya jika Anda tidak memiliki izin yang diperlukan. Pelajari lebih lanjut 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureDataLakeGen2Datastore

Mengembalikan Datastore Azure Data Lake Gen2.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, itu dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.

register_azure_file_share

Daftarkan Azure File Share ke datastore.

Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja tempat penyimpanan data ini berada.
datastore_name
Diperlukan
str

Nama datastore, tidak peka huruf besar/kecil, hanya dapat berisi karakter alfanumerik dan _.
file_share_name
Diperlukan
str

Nama kontainer file azure.
account_name
Diperlukan
str

Nama akun penyimpanan.
sas_token
str, <xref:optional>

Token SAS akun, default ke Tidak Ada. Untuk baca data, kami memerlukan minimal izin Daftar & Baca untuk Kontainer & Objek dan untuk penulisan data, kami juga memerlukan izin Tulis & Tambahkan.

Nilai default: None
account_key
str, <xref:optional>

Akses kunci akun penyimpanan Anda, default ke Tidak Ada.

Nilai default: None
protocol
str, <xref:optional>

Protokol yang digunakan untuk menyambungkan ke berbagi file. Jika Tidak Ada, default ke https.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir berbagi file. Jika Tidak Ada, default ke core.windows.net.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
create_if_not_exists
bool, <xref:optional>

Apakah akan membuat berbagi file jika tidak ada. Defaultnya adalah False.

Nilai default: False
skip_validation
bool, <xref:optional>

Apakah akan melewati validasi kunci penyimpanan. Defaultnya adalah False.

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureFileDatastore

Datastore file.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, itu dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.

register_azure_my_sql

Menginisialisasi Datastore Azure MySQL baru.

Datastore MySQL hanya dapat digunakan untuk membuat DataReference sebagai input dan output ke DataTransferStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini.

Silakan lihat di bawah ini untuk contoh cara mendaftarkan database Azure MySQL sebagai Datastore.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja tempat penyimpanan data ini berada.
datastore_name
Diperlukan
str

Nama datastore.
server_name
Diperlukan
str

Nama server MySQL.
database_name
Diperlukan
str

Nama database MySQL.
user_id
Diperlukan
str

ID Pengguna server MySQL.
user_password
Diperlukan
str

Kata sandi pengguna server MySQL.
port_number
str

Nomor port server MySQL.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir server MySQL. Jika Tidak Ada, default ke mysql.database.azure.com.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureMySqlDatastore

Mengembalikan Datastore database MySQL.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, itu dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Menginisialisasi Datastore Azure PostgreSQL baru.

Silakan lihat di bawah ini untuk contoh cara mendaftarkan database Azure PostgreSQL sebagai Datastore.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja tempat penyimpanan data ini berada.
datastore_name
Diperlukan
str

Nama datastore.
server_name
Diperlukan
str

Nama server PostgreSQL.
database_name
Diperlukan
str

Nama dari database PostgreSQL.
user_id
Diperlukan
str

ID Pengguna server PostgreSQL.
user_password
Diperlukan
str

Kata Sandi Pengguna server PostgreSQL.
port_number
str

Nomor Port server PostgreSQL

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir server PostgreSQL. Jika Tidak Ada, default ke postgres.database.azure.com.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
enforce_ssl
bool

Menunjukkan persyaratan SSL server PostgreSQL. Defaultnya diatur ke True.

Nilai default: True

Mengembalikan

Jenis Deskripsi
AzurePostgreSqlDatastore

Mengembalikan Datastore database PostgreSQL.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, itu dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Menginisialisasi Datastore database Azure SQL baru.

Akses data berbasis kredensial (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat memilih untuk menggunakan Perwakilan Layanan atau nama pengguna + kata sandi. Jika tidak ada kredensial yang disimpan dengan datastore, token AAD pengguna akan digunakan dalam buku catatan atau program python lokal jika langsung memanggil salah satu fungsi ini: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.

Silakan lihat di bawah ini untuk contoh cara mendaftarkan database Azure SQL sebagai Datastore.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja tempat penyimpanan data ini berada.
datastore_name
Diperlukan
str

Nama datastore.
server_name
Diperlukan
str

Nama server SQL. Untuk nama domain yang sepenuhnya memenuhi syarat seperti "sample.database.windows.net", nilai server_name harus "sampel", dan nilai titik akhir harus "database.windows.net".
database_name
Diperlukan
str

Nama database SQL.
tenant_id
str

ID Direktori/ID Penyewa perwakilan layanan.

Nilai default: None
client_id
str

ID Klien/ID Aplikasi dari perwakilan layanan.

Nilai default: None
client_secret
str

Rahasia perwakilan layanan.

Nilai default: None
resource_url
str, <xref:optional>

URL sumber daya, yang menentukan operasi apa yang akan dilakukan pada penyimpanan database SQL, jika Tidak Ada, default ke https://database.windows.net/.

Nilai default: None
authority_url
str, <xref:optional>

URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.

Nilai default: None
endpoint
str, <xref:optional>

Titik akhir server SQL. Jika Tidak Ada, default ke database.windows.net.

Nilai default: None
overwrite
bool, <xref:optional>

Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.

Nilai default: False
username
str

Nama pengguna pengguna database untuk mengakses database.

Nilai default: None
password
str

Kata sandi pengguna database untuk mengakses database.

Nilai default: None
skip_validation
Diperlukan
bool, <xref:optional>

Apakah akan melewati validasi menyambungkan ke database SQL. Default ke False.
subscription_id
str, <xref:optional>

ID langganan tempat penyimpanan ADLS berada.

Nilai default: None
resource_group
str, <xref:optional>

Grup sumber daya tempat penyimpanan ADLS berada.

Nilai default: None
grant_workspace_access
bool, <xref:optional>

Default ke False. Atur ke True untuk mengakses data di belakang jaringan virtual dari Machine Learning Studio.Ini membuat akses data dari Azure Machine Learning Studio menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses pengguna penyimpanan untuk ikut serta. Minta administrator Anda untuk mengonfigurasinya jika Anda tidak memiliki izin yang diperlukan. Pelajari lebih lanjut 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'

Nilai default: False

Mengembalikan

Jenis Deskripsi
AzureSqlDatabaseDatastore

Mengembalikan Datastore database SQL.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, itu dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Menginisialisasi datastore Databricks File System (DBFS) baru.

Datastore DBFS hanya dapat digunakan untuk membuat DataReference sebagai input dan PipelineData sebagai output ke DatabricksStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini..

static register_dbfs(workspace, datastore_name)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

Ruang kerja tempat penyimpanan data ini berada.
datastore_name
Diperlukan
str

Nama datastore.

Mengembalikan

Jenis Deskripsi
DBFSDatastore

Mengembalikan Datastore DBFS.

Keterangan

Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, itu dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.

register_hdfs

Nota

Ini adalah metode eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/acr/connected-registry untuk mengetahui informasi selengkapnya.

Menginisialisasi datastore HDFS baru.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parameter

Nama Deskripsi
workspace
Diperlukan
Workspace

ruang kerja tempat datastore ini berada
datastore_name
Diperlukan
str

nama datastore
protocol
Diperlukan
str atau <xref:_restclient.models.enum>

Protokol yang digunakan saat berkomunikasi dengan kluster HDFS. http atau https. Nilai yang mungkin termasuk: 'http', 'https'
namenode_address
Diperlukan
str

Alamat IP atau nama host DNS dari namenode HDFS. Secara opsional menyertakan port.
hdfs_server_certificate
Diperlukan
str, <xref:optional>

Jalur ke sertifikat penandatanganan TLS dari namenode HDFS, jika menggunakan TLS dengan sertifikasi yang ditandatangani sendiri.
kerberos_realm
Diperlukan
str

Kerajaan Kerberos.
kerberos_kdc_address
Diperlukan
str

Alamat IP atau nama host DNS Kerberos KDC.
kerberos_principal
Diperlukan
str

Perwakilan Kerberos yang akan digunakan untuk autentikasi dan otorisasi.
kerberos_keytab
Diperlukan
str, <xref:optional>

Jalur ke file keytab yang berisi kunci yang sesuai dengan perwakilan Kerberos. Berikan ini, atau kata sandi.
kerberos_password
Diperlukan
str, <xref:optional>

Kata sandi yang sesuai dengan prinsipal Kerberos. Sediakan ini, atau jalur ke file keytab.
overwrite
Diperlukan
bool, <xref:optional>

menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Default ke False.

set_as_default

Atur datastore default.

set_as_default()

Parameter

Nama Deskripsi
datastore_name
Diperlukan
str

Nama datastore.

unregister

Membatalkan pendaftaran datastore. layanan penyimpanan yang mendasar tidak akan dihapus.

unregister()