Datastore Kelas
Menunjukkan abstraksi penyimpanan melalui akun penyimpanan Azure Machine Learning.
Penyimpanan data dilampirkan ke ruang kerja dan digunakan untuk menyimpan informasi koneksi ke layanan penyimpanan Azure sehingga Anda dapat merujuknya berdasarkan nama dan tidak perlu mengingat informasi koneksi dan rahasia yang digunakan untuk tersambung ke layanan penyimpanan.
Contoh layanan penyimpanan Azure yang didukung yang dapat didaftarkan sebagai penyimpanan data adalah:
Azure Blob Container
Azure File Share
Azure Data Lake
Azure Data Lake Gen2
Azure SQL Database
Azure Database untuk PostgreSQL
Sistem File Databricks
Azure Database untuk MySQL
Gunakan kelas ini untuk melakukan operasi manajemen, termasuk mendaftar, membuat daftar, mendapatkan, dan menghapus penyimpanan data.
Penyimpanan data untuk setiap layanan dibuat dengan metode register* dari kelas ini. Saat menggunakan penyimpanan data untuk mengakses data, Anda harus memiliki izin untuk mengakses data tersebut, yang bergantung pada informasi masuk yang terdaftar di penyimpanan data.
Untuk informasi selengkapnya tentang penyimpanan data dan bagaimana penyimpanan data dapat digunakan dalam pembelajaran mesin, lihat artikel berikut:
Mendapatkan datastore berdasarkan nama. Panggilan ini akan membuat permintaan ke layanan datastore.
- Warisan
-
builtins.objectDatastore
Konstruktor
Datastore(workspace, name=None)Parameter
- name
- str, <xref:optional>
Nama datastore, default ke None, yang mendapatkan datastore default.
Keterangan
Untuk berinteraksi dengan data di datastore Anda untuk tugas pembelajaran mesin, seperti pelatihan, buat himpunan data Azure Machine Learning. Himpunan data menyediakan fungsi yang memuat data tabular ke dalam pandas atau Spark DataFrame. Himpunan data juga menyediakan kemampuan untuk mengunduh atau memasang file dalam format apa pun dari Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, dan Azure Database for PostgreSQL. Pelajari selengkapnya tentang cara berlatih dengan himpunan data.
Contoh berikut menunjukkan cara membuat Datastore yang tersambung ke Azure Blob Container.
from azureml.exceptions import UserErrorException
blob_datastore_name='MyBlobDatastore'
account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
try:
blob_datastore = Datastore.get(ws, blob_datastore_name)
print("Found Blob Datastore with name: %s" % blob_datastore_name)
except UserErrorException:
blob_datastore = Datastore.register_azure_blob_container(
workspace=ws,
datastore_name=blob_datastore_name,
account_name=account_name, # Storage account name
container_name=container_name, # Name of Azure blob container
account_key=account_key) # Storage account key
print("Registered blob datastore with name: %s" % blob_datastore_name)
blob_data_ref = DataReference(
datastore=blob_datastore,
data_reference_name="blob_test_data",
path_on_datastore="testdata")
Sampel lengkap tersedia dari https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb
Metode
| get |
Mendapatkan datastore berdasarkan nama. Ini sama dengan memanggil konstruktor. |
| get_default |
Mendapatkan datastore default untuk ruang kerja. |
| register_azure_blob_container |
Mendaftarkan Azure Blob Container ke datastore. Akses data berbasis info masuk (GA) dan identitas (Pratinjau) didukung, Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini. |
| register_azure_data_lake |
Menginisialisasi Datastore Azure Data Lake baru. Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis info masuk. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini. Lihat di bawah untuk contoh cara mendaftarkan Azure Data Lake Gen1 sebagai Datastore. |
| register_azure_data_lake_gen2 |
Menginisialisasi Datastore Azure Data Lake Gen2 baru. Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis info masuk. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini. |
| register_azure_file_share |
Mendaftarkan Berbagi Azure ke datastore. Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan |
| register_azure_my_sql |
Menginisialisasi Datastore Azure MySQL baru. Datastore MySQL hanya dapat digunakan untuk membuat DataReference sebagai input dan output ke DataTransferStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini. Lihat di bawah untuk contoh cara mendaftarkan database Azure MySQL sebagai Datastore. |
| register_azure_postgre_sql |
Menginisialisasi Datastore Azure PostgreSQL baru. Lihat di bawah untuk contoh cara mendaftarkan database Azure PostgreSQL sebagai Datastore. |
| register_azure_sql_database |
Menginisialisasi Datastore database Azure SQL baru. Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau), Anda dapat memilih untuk menggunakan Perwakilan Layanan atau nama pengguna + kata sandi. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini. Lihat di bawah untuk contoh cara mendaftarkan database Azure SQL sebagai Datastore. |
| register_dbfs |
Menginisialisasi datastore Sistem File Databricks (DBFS) baru. Datastore DBFS hanya dapat digunakan untuk membuat DataReference sebagai input dan PipelineData sebagai output ke DatabricksStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini.. |
| register_hdfs |
Catatan Ini adalah metode eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya. Menginisialisasi penyimpanan data HDFS baru. |
| set_as_default |
Mengatur datastore default. |
| unregister |
Membatalkan pendaftaran datastore. layanan penyimpanan yang mendasarinya tidak akan dihapus. |
get
Mendapatkan datastore berdasarkan nama. Ini sama dengan memanggil konstruktor.
static get(workspace, datastore_name)Parameter
- datastore_name
- str, <xref:optional>
Nama datastore, default ke None, yang mendapatkan datastore default.
Mengembalikan
Datastore yang sesuai untuk nama tersebut.
Tipe hasil
get_default
Mendapatkan datastore default untuk ruang kerja.
static get_default(workspace)Parameter
Mengembalikan
Datastore default untuk ruang kerja
Tipe hasil
register_azure_blob_container
Mendaftarkan Azure Blob Container ke datastore.
Akses data berbasis info masuk (GA) dan identitas (Pratinjau) didukung, Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.
static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)Parameter
- datastore_name
- str
Nama datastore, tidak peka huruf besar/kecil, hanya dapat berisi karakter alfanumerik dan _.
- sas_token
- str, <xref:optional>
Token SAS akun, default ke None. Untuk baca data, kami memerlukan minimal izin Daftar & Baca untuk Kontainer & Objek dan untuk penulisan data, kami juga memerlukan izin Tulis & Tambahkan.
- account_key
- str, <xref:optional>
Kunci akses akun penyimpanan Anda, default ke None.
- protocol
- str, <xref:optional>
Protokol yang digunakan untuk tersambung ke kontainer blob. Jika None, default ke https.
- endpoint
- str, <xref:optional>
Titik akhir akun penyimpanan. Jika None, default ke core.windows.net.
- overwrite
- bool, <xref:optional>
menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya, default ke False
- create_if_not_exists
- bool, <xref:optional>
membuat kontainer blob jika tidak ada, default ke False
- skip_validation
- bool, <xref:optional>
melewatkan validasi kunci penyimpanan, default ke False
- blob_cache_timeout
- int, <xref:optional>
Saat blob ini dipasang, atur batas waktu cache hingga beberapa detik ini. Jika None, default ke tidak ada batas waktu (yaitu blob akan di-cache selama durasi pekerjaan saat dibaca).
- grant_workspace_access
- bool, <xref:optional>
Default ke False. Atur ke True untuk mengakses data di balik jaringan virtual dari Studio Pembelajaran Mesin. Hal ini membuat akses data dari Studio Pembelajaran Mesin menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses penyimpanan pengguna untuk ikut serta. Minta administrator untuk melakukan konfigurasi untuk Anda jika Anda tidak memiliki izin yang diperlukan. Pelajari selengkapnya 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
- subscription_id
- str, <xref:optional>
Id langganan akun penyimpanan, default ke None.
- resource_group
- str, <xref:optional>
Grup sumber daya akun penyimpanan, default ke None.
Mengembalikan
Datastore blob.
Tipe hasil
Keterangan
Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, hal ini dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.
register_azure_data_lake
Menginisialisasi Datastore Azure Data Lake baru.
Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis info masuk. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.
Lihat di bawah untuk contoh cara mendaftarkan Azure Data Lake Gen1 sebagai Datastore.
adlsgen1_datastore_name='adlsgen1datastore'
store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal
adls_datastore = Datastore.register_azure_data_lake(
workspace=ws,
datastore_name=aslsgen1_datastore_name,
subscription_id=subscription_id, # subscription id of ADLS account
resource_group=resource_group, # resource group of ADLS account
store_name=store_name, # ADLS account name
tenant_id=tenant_id, # tenant id of service principal
client_id=client_id, # client id of service principal
client_secret=client_secret) # the secret of service principal
static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)Parameter
- tenant_id
- str, <xref:optional>
ID Direktori/ID Penyewa dari perwakilan layanan yang digunakan untuk mengakses data.
- client_id
- str, <xref:optional>
ID Klien/ID Aplikasi dari perwakilan layanan yang digunakan untuk mengakses data.
- client_secret
- str, <xref:optional>
Rahasia Klien dari perwakilan layanan yang digunakan untuk mengakses data.
- resource_url
- str, <xref:optional>
URL sumber daya, yang menentukan operasi apa yang akan dilakukan di penyimpanan Data Lake, jika None, default ke https://datalake.azure.net/ yang memungkinkan kita melakukan operasi sistem file.
- authority_url
- str, <xref:optional>
URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.
- overwrite
- bool, <xref:optional>
Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.
- grant_workspace_access
- bool, <xref:optional>
Default ke False. Atur ke True untuk mengakses data di balik jaringan virtual dari Studio Pembelajaran Mesin. Hal ini membuat akses data dari Studio Pembelajaran Mesin menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi Pemilik atau Administrator Akses Pengguna penyimpanan untuk ikut serta. Minta administrator untuk melakukan konfigurasi untuk Anda jika Anda tidak memiliki izin yang diperlukan. Pelajari selengkapnya 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Mengembalikan
Mengembalikan Datastore Azure Data Lake.
Tipe hasil
Keterangan
Jika Anda melampirkan penyimpanan wilayah yang berbeda dari wilayah ruang kerja, hal itu dapat mengakibatkan latensi yang lebih tinggi dan menambah biaya penggunaan jaringan.
Catatan
Datastore Azure Data Lake mendukung transfer data dan menjalankan pekerjaan U-Sql menggunakan Alur Azure Machine Learning.
Anda juga dapat menggunakannya sebagai sumber data untuk Himpunan Data Azure Machine Learning yang dapat diunduh atau dipasang pada komputasi apa pun yang didukung.
register_azure_data_lake_gen2
Menginisialisasi Datastore Azure Data Lake Gen2 baru.
Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau) didukung, Anda dapat mendaftarkan datastore dengan Perwakilan Layanan untuk akses data berbasis info masuk. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.
static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)Parameter
- resource_url
- str, <xref:optional>
URL sumber daya, yang menentukan operasi apa yang akan dilakukan di penyimpanan data lake, default ke https://storage.azure.com/ yang memungkinkan kita untuk melakukan operasi filesystem.
- authority_url
- str, <xref:optional>
URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.
- protocol
- str, <xref:optional>
Protokol yang digunakan untuk tersambung ke kontainer blob. Jika None, default ke https.
- endpoint
- str, <xref:optional>
Titik akhir akun penyimpanan. Jika None, default ke core.windows.net.
- overwrite
- bool, <xref:optional>
Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.
- grant_workspace_access
- bool, <xref:optional>
Default ke False. Atur ke True untuk mengakses data di balik jaringan virtual dari Studio Pembelajaran Mesin. Hal ini membuat akses data dari Studio Pembelajaran Mesin menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses penyimpanan pengguna untuk ikut serta. Minta administrator untuk melakukan konfigurasi untuk Anda jika Anda tidak memiliki izin yang diperlukan. Pelajari selengkapnya 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Mengembalikan
Mengembalikan Datastore Azure Data Lake Gen2.
Tipe hasil
Keterangan
Jika Anda melampirkan penyimpanan wilayah yang berbeda dari wilayah ruang kerja, hal itu dapat mengakibatkan latensi yang lebih tinggi dan menambah biaya penggunaan jaringan.
register_azure_file_share
Mendaftarkan Berbagi Azure ke datastore.
Anda dapat memilih untuk menggunakan Token SAS atau Kunci Akun Penyimpanan
static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)Parameter
- datastore_name
- str
Nama datastore, tidak peka huruf besar/kecil, hanya dapat berisi karakter alfanumerik dan _.
- sas_token
- str, <xref:optional>
Token SAS akun, default ke None. Untuk baca data, kami memerlukan minimal izin Daftar & Baca untuk Kontainer & Objek dan untuk penulisan data, kami juga memerlukan izin Tulis & Tambahkan.
- account_key
- str, <xref:optional>
Kunci akses akun penyimpanan Anda, default ke None.
- protocol
- str, <xref:optional>
Protokol yang digunakan untuk tersambung ke berbagi. Jika None, default ke https.
- endpoint
- str, <xref:optional>
Titik akhir berbagi. Jika None, default ke core.windows.net.
- overwrite
- bool, <xref:optional>
Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.
- create_if_not_exists
- bool, <xref:optional>
Apakah akan membuat berbagi jika tidak ada. Defaultnya adalah False.
- skip_validation
- bool, <xref:optional>
Apakah akan melewatkan validasi kunci penyimpanan. Defaultnya adalah False.
Mengembalikan
Datastore file.
Tipe hasil
Keterangan
Jika Anda melampirkan penyimpanan wilayah yang berbeda dari wilayah ruang kerja, hal itu dapat mengakibatkan latensi yang lebih tinggi dan menambah biaya penggunaan jaringan.
register_azure_my_sql
Menginisialisasi Datastore Azure MySQL baru.
Datastore MySQL hanya dapat digunakan untuk membuat DataReference sebagai input dan output ke DataTransferStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini.
Lihat di bawah untuk contoh cara mendaftarkan database Azure MySQL sebagai Datastore.
static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)Parameter
- endpoint
- str, <xref:optional>
Titik akhir server MySQL. Jika None, default ke mysql.database.azure.com.
- overwrite
- bool, <xref:optional>
Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.
Mengembalikan
Mengembalikan Datastore database MySQL.
Tipe hasil
Keterangan
Jika Anda melampirkan penyimpanan wilayah yang berbeda dari wilayah ruang kerja, hal itu dapat mengakibatkan latensi yang lebih tinggi dan menambah biaya penggunaan jaringan.
mysql_datastore_name="mysqldatastore"
server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.
mysql_datastore = Datastore.register_azure_my_sql(
workspace=ws,
datastore_name=mysql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_postgre_sql
Menginisialisasi Datastore Azure PostgreSQL baru.
Lihat di bawah untuk contoh cara mendaftarkan database Azure PostgreSQL sebagai Datastore.
static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)Parameter
- endpoint
- str, <xref:optional>
Titik akhir server PostgreSQL. Jika None, default ke postgres.database.azure.com.
- overwrite
- bool, <xref:optional>
Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.
- enforce_ssl
- bool
Menunjukkan persyaratan SSL server PostgreSQL. Default ke True.
Mengembalikan
Mengembalikan Datastore database PostgreSQL.
Tipe hasil
Keterangan
Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, hal ini dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.
psql_datastore_name="postgresqldatastore"
server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password
psql_datastore = Datastore.register_azure_postgre_sql(
workspace=ws,
datastore_name=psql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_sql_database
Menginisialisasi Datastore database Azure SQL baru.
Akses data berbasis info masuk (GA) dan berbasis identitas (Pratinjau), Anda dapat memilih untuk menggunakan Perwakilan Layanan atau nama pengguna + kata sandi. Jika tidak ada info masuk yang disimpan dengan datastore, token AAD pengguna akan digunakan di notebook atau program python lokal jika langsung memanggil salah satu fungsi berikut: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identitas target komputasi akan digunakan dalam pekerjaan yang dikirimkan oleh Experiment.submit untuk autentikasi akses data. Pelajari selengkapnya di sini.
Lihat di bawah untuk contoh cara mendaftarkan database Azure SQL sebagai Datastore.
static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)Parameter
- server_name
- str
Nama server SQL. Untuk nama domain yang sepenuhnya memenuhi syarat seperti "sample.database.windows.net", nilai server_name harus "sample", dan nilai titik akhir harus "database.windows.net".
- resource_url
- str, <xref:optional>
URL sumber daya, yang menentukan operasi apa yang akan dilakukan di penyimpanan database SQL, jika None, default ke https://database.windows.net/.
- authority_url
- str, <xref:optional>
URL otoritas yang digunakan untuk mengautentikasi pengguna, default ke https://login.microsoftonline.com.
- endpoint
- str, <xref:optional>
Titik akhir server SQL. Jika None, default ke database.windows.net.
- overwrite
- bool, <xref:optional>
Apakah akan menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Defaultnya adalah False.
- skip_validation
- bool, <xref:optional>
Apakah akan melewatkan validasi koneksi ke database SQL. Default ke False.
- grant_workspace_access
- bool, <xref:optional>
Default ke False. Atur ke True untuk mengakses data di balik jaringan virtual dari Studio Pembelajaran Mesin. Hal ini membuat akses data dari Studio Pembelajaran Mesin menggunakan identitas terkelola ruang kerja untuk autentikasi, dan menambahkan identitas terkelola ruang kerja sebagai Pembaca penyimpanan. Anda harus menjadi pemilik atau administrator akses penyimpanan pengguna untuk ikut serta. Minta administrator untuk melakukan konfigurasi untuk Anda jika Anda tidak memiliki izin yang diperlukan. Pelajari selengkapnya 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Mengembalikan
Mengembalikan Datastore database SQL.
Tipe hasil
Keterangan
Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, hal ini dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.
sql_datastore_name="azuresqldatastore"
server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.
sql_datastore = Datastore.register_azure_sql_database(
workspace=ws,
datastore_name=sql_datastore_name,
server_name=server_name, # name should not contain fully qualified domain endpoint
database_name=database_name,
username=username,
password=password,
endpoint='database.windows.net')
register_dbfs
Menginisialisasi datastore Sistem File Databricks (DBFS) baru.
Datastore DBFS hanya dapat digunakan untuk membuat DataReference sebagai input dan PipelineData sebagai output ke DatabricksStep di alur Azure Machine Learning. Detail selengkapnya dapat ditemukan di sini..
static register_dbfs(workspace, datastore_name)Parameter
Mengembalikan
Mengembalikan Datastore DBFS.
Tipe hasil
Keterangan
Jika Anda melampirkan penyimpanan dari wilayah yang berbeda dari wilayah ruang kerja, hal ini dapat mengakibatkan latensi yang lebih tinggi dan biaya penggunaan jaringan tambahan.
register_hdfs
Catatan
Ini adalah metode eksperimental, dan dapat berubah kapan saja. Lihat https://aka.ms/azuremlexperimental untuk mengetahui informasi selengkapnya.
Menginisialisasi penyimpanan data HDFS baru.
static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)Parameter
- protocol
- str atau <xref:_restclient.models.enum>
Protokol yang digunakan ketika berkomunikasi dengan kluster HDFS. http ataupun https. Nilai yang mungkin termasuk: 'http', 'https'
- namenode_address
- str
Alamat IP ataupun nama host DNS dari simpul nama HDFS. Secara opsional mencakup port.
- hdfs_server_certificate
- str, <xref:optional>
Jalur ke sertifikat penandatanganan TLS dari simpul nama HDFS, jika menggunakan TLS dengan sertifikat yang ditandatangani sendiri.
- kerberos_principal
- str
Prinsipal Kerberos yang akan digunakan untuk autentikasi serta otorisasi.
- kerberos_keytab
- str, <xref:optional>
Jalur ke file tab kunci yang berisi kunci yang sesuai dengan prinsipal Kerberos. Berikan kunci ini, atau kata sandi.
- kerberos_password
- str, <xref:optional>
Kata sandi yang sesuai dengan prinsipal Kerberos. Berikan kata sandi ini, atau jalur ke file keytab.
- overwrite
- bool, <xref:optional>
menimpa datastore yang ada. Jika datastore tidak ada, datastore akan membuatnya. Default ke False.
set_as_default
Mengatur datastore default.
set_as_default()Parameter
unregister
Membatalkan pendaftaran datastore. layanan penyimpanan yang mendasarinya tidak akan dihapus.
unregister()Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk