Datastore Sınıf
Azure Machine Learning depolama hesabı üzerindeki bir depolama soyutlama değerini temsil eder.
Veri depoları çalışma alanlarına eklenir ve Azure depolama hizmetlerine bağlantı bilgilerini depolamak için kullanılır, böylece bunlara ada göre başvurabilirsiniz ve depolama hizmetlerine bağlanmak için kullanılan bağlantı bilgilerini ve gizli diziyi hatırlamanız gerekmez.
Veri deposu olarak kaydedilebilen desteklenen Azure depolama hizmetlerine örnek olarak şunlar verilebilir:
Azure Blob Kapsayıcısı
Azure Dosya Paylaşımı
Azure Data Lake
Azure Data Lake 2. Nesil
Azure SQL Veritabanı
PostgreSQL için Azure Veritabanı
Databricks Dosya Sistemi
MySQL için Azure Veritabanı
Veri depolarını kaydetme, listeleme, alma ve kaldırma gibi yönetim işlemlerini gerçekleştirmek için bu sınıfı kullanın.
Her hizmet için veri depoları bu sınıfın register* yöntemleriyle oluşturulur. Verilere erişmek için bir veri deposu kullanırken, veri deposuna kayıtlı kimlik bilgilerine bağlı olarak bu verilere erişim izniniz olmalıdır.
Veri depoları ve bunların makine öğrenmesinde nasıl kullanılabildikleri hakkında daha fazla bilgi için aşağıdaki makalelere bakın:
Ada göre bir veri deposu alın. Bu çağrı, veri deposu hizmetine bir istekte bulunur.
- Devralma
-
builtins.objectDatastore
Oluşturucu
Datastore(workspace, name=None)Parametreler
- name
- str, <xref:optional>
Veri deposunun adı varsayılan olarak Yok olur ve bu da varsayılan veri depolarını alır.
Açıklamalar
Eğitim gibi makine öğrenmesi görevleri için veri depolarınızdaki verilerle etkileşim kurmak için bir Azure Machine Learning veri kümesi oluşturun. Veri kümeleri, tablosal verileri pandas veya Spark DataFrame'e yükleyen işlevler sağlar. Veri kümeleri ayrıca Azure Blob depolama, Azure Dosyalar, Azure Data Lake Storage 1. Nesil, Azure Data Lake Storage 2. Nesil, Azure SQL Veritabanı ve PostgreSQL için Azure Veritabanı. Veri kümeleriyle eğitim hakkında daha fazla bilgi edinin.
Aşağıdaki örnekte, Azure Blob Kapsayıcısı'na bağlı bir Veri Deposunun nasıl oluşturulacağı gösterilmektedir.
from azureml.exceptions import UserErrorException
blob_datastore_name='MyBlobDatastore'
account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
try:
blob_datastore = Datastore.get(ws, blob_datastore_name)
print("Found Blob Datastore with name: %s" % blob_datastore_name)
except UserErrorException:
blob_datastore = Datastore.register_azure_blob_container(
workspace=ws,
datastore_name=blob_datastore_name,
account_name=account_name, # Storage account name
container_name=container_name, # Name of Azure blob container
account_key=account_key) # Storage account key
print("Registered blob datastore with name: %s" % blob_datastore_name)
blob_data_ref = DataReference(
datastore=blob_datastore,
data_reference_name="blob_test_data",
path_on_datastore="testdata")
Tam örnek şu kaynaktan edinilebilir: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb
Yöntemler
| get |
Ada göre bir veri deposu alın. Bu, oluşturucuyu çağırmakla aynıdır. |
| get_default |
Çalışma alanı için varsayılan veri depolarını alın. |
| register_azure_blob_container |
Veri deposuna bir Azure Blob Kapsayıcısı kaydedin. Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir; SAS Belirteci veya Depolama Hesabı Anahtarı'nı kullanmayı seçebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci doğrudan şu işlevlerden birini çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz. |
| register_azure_data_lake |
Yeni bir Azure Data Lake Datastore başlatın. Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir. Kimlik bilgisi tabanlı veri erişimi için hizmet sorumlusuna bir veri deposu kaydedebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci doğrudan şu işlevlerden birini çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz. Azure Data Lake 1. Nesil'i Datastore olarak kaydetme örneği için lütfen aşağıya bakın. |
| register_azure_data_lake_gen2 |
Yeni bir Azure Data Lake 2. Nesil Veri Deposu başlatın. Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir. Kimlik bilgisi tabanlı veri erişimi için hizmet sorumlusuna bir veri deposu kaydedebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci doğrudan şu işlevlerden birini çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz. |
| register_azure_file_share |
Azure Dosya Paylaşımı'nı veri deposuna kaydedin. SAS Belirteci veya Depolama Hesabı Anahtarı kullanmayı seçebilirsiniz |
| register_azure_my_sql |
Yeni bir Azure MySQL Veri Deposu başlatın. MySQL veri deposu yalnızca Azure Machine Learning işlem hatlarında DataTransferStep'e giriş ve çıkış olarak DataReference oluşturmak için kullanılabilir. Daha fazla ayrıntıya buradan ulaşabilirsiniz. Azure MySQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın. |
| register_azure_postgre_sql |
Yeni bir Azure PostgreSQL Veri Deposu başlatın. Azure PostgreSQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın. |
| register_azure_sql_database |
Yeni bir Azure SQL veritabanı Veri Deposu başlatın. Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir; Hizmet Sorumlusu veya kullanıcı adı + parola kullanmayı seçebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz. Azure SQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın. |
| register_dbfs |
Yeni bir Databricks Dosya Sistemi (DBFS) veri deposu başlatın. DBFS veri deposu yalnızca Giriş olarak DataReference ve Azure Machine Learning işlem hatlarında DatabricksStep çıkışı olarak PipelineData oluşturmak için kullanılabilir. Daha fazla ayrıntıya buradan ulaşabilirsiniz.. |
| register_hdfs |
Not Bu deneysel bir yöntemdir ve herhangi bir zamanda değişebilir. Daha fazla bilgi için lütfen bkz. https://aka.ms/azuremlexperimental. Yeni bir HDFS veri deposu başlatın. |
| set_as_default |
Varsayılan veri depoyu ayarlayın. |
| unregister |
Veri deposunun kaydını kaldırıyor. temel depolama hizmeti silinmez. |
get
Ada göre bir veri deposu alın. Bu, oluşturucuyu çağırmakla aynıdır.
static get(workspace, datastore_name)Parametreler
- datastore_name
- str, <xref:optional>
Veri deposunun adı varsayılan olarak Yok olur ve bu da varsayılan veri depolarını alır.
Döndürülenler
Bu ad için karşılık gelen veri deposu.
Dönüş türü
get_default
Çalışma alanı için varsayılan veri depolarını alın.
static get_default(workspace)Parametreler
Döndürülenler
Çalışma alanı için varsayılan veri deposu
Dönüş türü
register_azure_blob_container
Veri deposuna bir Azure Blob Kapsayıcısı kaydedin.
Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir; SAS Belirteci veya Depolama Hesabı Anahtarı'nı kullanmayı seçebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci doğrudan şu işlevlerden birini çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.
static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)Parametreler
- datastore_name
- str
Büyük/küçük harfe duyarlı olmayan veri deposunun adı yalnızca alfasayısal karakterler ve _içerebilir.
- sas_token
- str, <xref:optional>
Hesap SAS belirteci varsayılan olarak Yok olarak ayarlanır. Veri okuma için Kapsayıcılar & Nesneleri için Liste & Okuma izinleri ve veri yazma için de Yazma & Ekle izinleri gerekir.
- account_key
- str, <xref:optional>
Depolama hesabınızın erişim anahtarları varsayılan olarak Yok olarak ayarlanır.
- protocol
- str, <xref:optional>
Blob kapsayıcısına bağlanmak için kullanılacak protokol. Hiçbiri ise, varsayılan olarak https olur.
- endpoint
- str, <xref:optional>
Depolama hesabının uç noktası. Hiçbiri ise, varsayılan olarak core.windows.net olur.
- overwrite
- bool, <xref:optional>
varolan bir veri deposu üzerine yazar. Veri deposu yoksa, bir veri deposu oluşturur ve varsayılan olarak False olur
- create_if_not_exists
- bool, <xref:optional>
yoksa blob kapsayıcısını oluşturun, varsayılan değer False'tur
- skip_validation
- bool, <xref:optional>
depolama anahtarlarının doğrulamasını atlar, varsayılan değer False'tur
- blob_cache_timeout
- int, <xref:optional>
Bu blob bağlandığında önbellek zaman aşımını şu kadar saniye olarak ayarlayın. Hiçbiri ise, varsayılan olarak zaman aşımı yoktur (bloblar okunduğunda iş süresi boyunca önbelleğe alınır).
- grant_workspace_access
- bool, <xref:optional>
Varsayılan değer False'tur. Machine Learning Studio'dan sanal ağın arkasındaki verilere erişmek için True olarak ayarlayın.Bu, Machine Learning Studio'dan veri erişiminin kimlik doğrulaması için çalışma alanı yönetilen kimliğini kullanmasını sağlar ve çalışma alanı tarafından yönetilen kimliği depolamanın Okuyucusu olarak ekler. Kabul etmek için depolama alanının sahibi veya kullanıcı erişim yöneticisi olmanız gerekir. Gerekli izne sahip değilseniz yöneticinizden bunu sizin için yapılandırmasını isteyin. Daha fazla bilgi edinin 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
- subscription_id
- str, <xref:optional>
Depolama hesabının abonelik kimliği varsayılan olarak Yok olarak ayarlanır.
- resource_group
- str, <xref:optional>
Depolama hesabının kaynak grubu varsayılan olarak Yok olarak ayarlanır.
Döndürülenler
Blob veri deposu.
Dönüş türü
Açıklamalar
Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliıyorsanız, bu daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.
register_azure_data_lake
Yeni bir Azure Data Lake Datastore başlatın.
Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir. Kimlik bilgisi tabanlı veri erişimi için hizmet sorumlusuna bir veri deposu kaydedebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci doğrudan şu işlevlerden birini çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.
Azure Data Lake 1. Nesil'i Datastore olarak kaydetme örneği için lütfen aşağıya bakın.
adlsgen1_datastore_name='adlsgen1datastore'
store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal
adls_datastore = Datastore.register_azure_data_lake(
workspace=ws,
datastore_name=aslsgen1_datastore_name,
subscription_id=subscription_id, # subscription id of ADLS account
resource_group=resource_group, # resource group of ADLS account
store_name=store_name, # ADLS account name
tenant_id=tenant_id, # tenant id of service principal
client_id=client_id, # client id of service principal
client_secret=client_secret) # the secret of service principal
static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)Parametreler
- tenant_id
- str, <xref:optional>
Verilere erişmek için kullanılan hizmet sorumlusunun Dizin Kimliği/Kiracı Kimliği.
- client_id
- str, <xref:optional>
Verilere erişmek için kullanılan hizmet sorumlusunun İstemci Kimliği/Uygulama Kimliği.
- client_secret
- str, <xref:optional>
Verilere erişmek için kullanılan hizmet sorumlusunun İstemci Gizli Anahtarı.
- resource_url
- str, <xref:optional>
Data Lake deposunda gerçekleştirilecek işlemleri belirleyen kaynak URL'si ( Yok ise), varsayılan olarak https://datalake.azure.net/ dosya sistemi işlemlerini gerçekleştirmemize olanak tanır.
- authority_url
- str, <xref:optional>
Kullanıcının kimliğini doğrulamak için kullanılan yetkili URL'si varsayılan olarak kullanılır https://login.microsoftonline.com.
- subscription_id
- str, <xref:optional>
ADLS deposunun ait olduğu aboneliğin kimliği.
- overwrite
- bool, <xref:optional>
Var olan bir veri deposu üzerine yazıp yazılmayacağı. Veri deposu yoksa bir veri deposu oluşturur. Varsayılan değer False'tur.
- grant_workspace_access
- bool, <xref:optional>
Varsayılan değer False'tur. Machine Learning Studio'dan sanal ağın arkasındaki verilere erişmek için True olarak ayarlayın.Bu, Machine Learning Studio'dan veri erişiminin kimlik doğrulaması için çalışma alanı yönetilen kimliğini kullanmasını sağlar ve çalışma alanı tarafından yönetilen kimliği depolamanın Okuyucusu olarak ekler. Kabul etmek için depolama alanının Sahibi veya Kullanıcı Erişimi Yöneticisi olmanız gerekir. Gerekli izne sahip değilseniz yöneticinizden bunu sizin için yapılandırmasını isteyin. Daha fazla bilgi edinin 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Döndürülenler
Azure Data Lake Datastore döndürür.
Dönüş türü
Açıklamalar
Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliıyorsanız, bu daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.
Not
Azure Data Lake Datastore, Azure Machine Learning İşlem Hatlarını kullanarak veri aktarımını ve U-Sql işlerini çalıştırmayı destekler.
Azure Machine Learning Veri Kümesi için desteklenen herhangi bir işlemden indirilebilen veya bağlanabilen bir veri kaynağı olarak da kullanabilirsiniz.
register_azure_data_lake_gen2
Yeni bir Azure Data Lake 2. Nesil Veri Deposu başlatın.
Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir. Kimlik bilgisi tabanlı veri erişimi için hizmet sorumlusuna bir veri deposu kaydedebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci doğrudan şu işlevlerden birini çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.
static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)Parametreler
- tenant_id
- str, <xref:optional>
Hizmet sorumlusunun Dizin Kimliği/Kiracı Kimliği.
- client_id
- str, <xref:optional>
Hizmet sorumlusunun İstemci Kimliği/Uygulama Kimliği.
- resource_url
- str, <xref:optional>
Data Lake Store'da gerçekleştirilecek işlemleri belirleyen kaynak URL'si, varsayılan olarak https://storage.azure.com/ dosya sistemi işlemlerini gerçekleştirmemize olanak tanır.
- authority_url
- str, <xref:optional>
Kullanıcının kimliğini doğrulamak için kullanılan yetkili URL'si varsayılan olarak kullanılır https://login.microsoftonline.com.
- protocol
- str, <xref:optional>
Blob kapsayıcısına bağlanmak için kullanılacak protokol. Hiçbiri ise, varsayılan olarak https olur.
- endpoint
- str, <xref:optional>
Depolama hesabının uç noktası. Hiçbiri ise, varsayılan olarak core.windows.net olur.
- overwrite
- bool, <xref:optional>
Var olan bir veri deposu üzerine yazıp yazılmayacağı. Veri deposu yoksa bir veri deposu oluşturur. Varsayılan değer False'tur.
- subscription_id
- str, <xref:optional>
ADLS deposunun ait olduğu aboneliğin kimliği.
- grant_workspace_access
- bool, <xref:optional>
Varsayılan değer False'tur. Machine Learning Studio'dan sanal ağın arkasındaki verilere erişmek için True olarak ayarlayın.Bu, Machine Learning Studio'dan veri erişiminin kimlik doğrulaması için çalışma alanı yönetilen kimliğini kullanmasını sağlar ve çalışma alanı tarafından yönetilen kimliği depolamanın Okuyucusu olarak ekler. Kabul etmek için depolama alanının sahibi veya kullanıcı erişim yöneticisi olmanız gerekir. Gerekli izne sahip değilseniz yöneticinizden bunu sizin için yapılandırmasını isteyin. Daha fazla bilgi edinin 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Döndürülenler
Azure Data Lake 2. Nesil Veri deposu döndürür.
Dönüş türü
Açıklamalar
Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliıyorsanız, bu daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.
register_azure_file_share
Azure Dosya Paylaşımı'nı veri deposuna kaydedin.
SAS Belirteci veya Depolama Hesabı Anahtarı kullanmayı seçebilirsiniz
static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)Parametreler
- datastore_name
- str
Büyük/küçük harfe duyarlı olmayan veri deposunun adı yalnızca alfasayısal karakterler ve _içerebilir.
- sas_token
- str, <xref:optional>
Hesap SAS belirteci varsayılan olarak Yok olarak ayarlanır. Veri okuma için Kapsayıcılar & Nesneleri için Liste & Okuma izinleri ve veri yazma için de Yazma & Ekle izinleri gerekir.
- account_key
- str, <xref:optional>
Depolama hesabınızın erişim anahtarları varsayılan olarak Yok olarak ayarlanır.
- protocol
- str, <xref:optional>
Dosya paylaşımına bağlanmak için kullanılacak protokol. Hiçbiri ise, varsayılan olarak https olur.
- endpoint
- str, <xref:optional>
Dosya paylaşımının uç noktası. Hiçbiri ise, varsayılan olarak core.windows.net olur.
- overwrite
- bool, <xref:optional>
Var olan bir veri deposu üzerine yazıp yazılmayacağı. Veri deposu yoksa bir veri deposu oluşturur. Varsayılan değer False'tur.
- create_if_not_exists
- bool, <xref:optional>
Dosya paylaşımı yoksa oluşturulup oluşturulmayacağı. Varsayılan değer False'tur.
- skip_validation
- bool, <xref:optional>
Depolama anahtarlarını doğrulamanın atlanıp atlanmadığı. Varsayılan değer False'tur.
Döndürülenler
Dosya veri deposu.
Dönüş türü
Açıklamalar
Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliıyorsanız, bu daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.
register_azure_my_sql
Yeni bir Azure MySQL Veri Deposu başlatın.
MySQL veri deposu yalnızca Azure Machine Learning işlem hatlarında DataTransferStep'e giriş ve çıkış olarak DataReference oluşturmak için kullanılabilir. Daha fazla ayrıntıya buradan ulaşabilirsiniz.
Azure MySQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın.
static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)Parametreler
- endpoint
- str, <xref:optional>
MySQL sunucusunun uç noktası. Hiçbiri ise varsayılan olarak mysql.database.azure.com.
- overwrite
- bool, <xref:optional>
Var olan bir veri deposu üzerine yazıp yazılmayacağı. Veri deposu yoksa bir veri deposu oluşturur. Varsayılan değer False'tur.
Döndürülenler
MySQL veritabanı Veri deposu döndürür.
Dönüş türü
Açıklamalar
Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliıyorsanız, bu daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.
mysql_datastore_name="mysqldatastore"
server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.
mysql_datastore = Datastore.register_azure_my_sql(
workspace=ws,
datastore_name=mysql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_postgre_sql
Yeni bir Azure PostgreSQL Veri Deposu başlatın.
Azure PostgreSQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın.
static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)Parametreler
- endpoint
- str, <xref:optional>
PostgreSQL sunucusunun uç noktası. Hiçbiri ise, varsayılan olarak postgres.database.azure.com olur.
- overwrite
- bool, <xref:optional>
Var olan bir veri deposu üzerine yazıp yazılmayacağı. Veri deposu yoksa bir veri deposu oluşturur. Varsayılan değer False'tur.
- enforce_ssl
- bool
PostgreSQL sunucusunun SSL gereksinimini gösterir. Varsayılan değer True'dır.
Döndürülenler
PostgreSQL veritabanı Veri deposu döndürür.
Dönüş türü
Açıklamalar
Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliıyorsanız, bu daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.
psql_datastore_name="postgresqldatastore"
server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password
psql_datastore = Datastore.register_azure_postgre_sql(
workspace=ws,
datastore_name=psql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_sql_database
Yeni bir Azure SQL veritabanı Veri Deposu başlatın.
Kimlik bilgisi tabanlı (GA) ve kimlik tabanlı (Önizleme) veri erişimi desteklenir; Hizmet Sorumlusu veya kullanıcı adı + parola kullanmayı seçebilirsiniz. Veri deposuna hiçbir kimlik bilgisi kaydedilmezse, kullanıcıların AAD belirteci şu işlevlerden birini doğrudan çağırırsa not defterinde veya yerel Python programında kullanılır: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files işlem hedefinin kimliği, veri erişimi kimlik doğrulaması için Experiment.submit tarafından gönderilen işlerde kullanılır. Burada daha fazla bilgi edinebilirsiniz.
Azure SQL veritabanını Veri Deposu olarak kaydetme örneği için lütfen aşağıya bakın.
static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)Parametreler
- server_name
- str
SQL server adı. "sample.database.windows.net" gibi tam etki alanı adı için server_name değeri "örnek" ve uç nokta değeri "database.windows.net" olmalıdır.
- resource_url
- str, <xref:optional>
Sql veritabanı deposunda gerçekleştirilecek işlemleri belirleyen kaynak URL'si ( Yok ise) varsayılan olarak https://database.windows.net/kullanılır.
- authority_url
- str, <xref:optional>
Kullanıcının kimliğini doğrulamak için kullanılan yetkili URL'si varsayılan olarak kullanılır https://login.microsoftonline.com.
- endpoint
- str, <xref:optional>
SQL sunucusunun uç noktası. Hiçbiri ise, varsayılan olarak database.windows.net olur.
- overwrite
- bool, <xref:optional>
Var olan bir veri deposuna yazıp yazmayacağınız. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.
- username
- str
Veritabanına erişmek için veritabanı kullanıcısının kullanıcı adı.
- skip_validation
- bool, <xref:optional>
SQL veritabanına bağlanma doğrulamasının atlanıp atlanmadığı. Varsayılan değer False'tur.
- subscription_id
- str, <xref:optional>
ADLS deposunun ait olduğu aboneliğin kimliği.
- grant_workspace_access
- bool, <xref:optional>
Varsayılan değer False'tur. Machine Learning Studio'dan sanal ağın arkasındaki verilere erişmek için Bunu True olarak ayarlayın.Bu, Machine Learning Studio'dan veri erişiminin kimlik doğrulaması için çalışma alanı yönetilen kimliğini kullanmasını sağlar ve çalışma alanı yönetilen kimliğini depolamanın Okuyucusu olarak ekler. Kabul etmek için depolama alanının sahibi veya kullanıcı erişim yöneticisi olmanız gerekir. Gerekli izne sahip değilseniz yöneticinizden bunu sizin için yapılandırmasını isteyin. Daha fazla bilgi edinin 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Döndürülenler
SQL veritabanı Veri Deposu'nı döndürür.
Dönüş türü
Açıklamalar
Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.
sql_datastore_name="azuresqldatastore"
server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.
sql_datastore = Datastore.register_azure_sql_database(
workspace=ws,
datastore_name=sql_datastore_name,
server_name=server_name, # name should not contain fully qualified domain endpoint
database_name=database_name,
username=username,
password=password,
endpoint='database.windows.net')
register_dbfs
Yeni bir Databricks Dosya Sistemi (DBFS) veri deposu başlatın.
DBFS veri deposu yalnızca Giriş olarak DataReference ve Azure Machine Learning işlem hatlarında DatabricksStep çıkışı olarak PipelineData oluşturmak için kullanılabilir. Daha fazla ayrıntıya buradan ulaşabilirsiniz..
static register_dbfs(workspace, datastore_name)Parametreler
Döndürülenler
DBFS Veri Deposu'nı döndürür.
Dönüş türü
Açıklamalar
Çalışma alanı bölgesinden farklı bir bölgeden depolama alanı ekliiyorsanız daha yüksek gecikme süresine ve ek ağ kullanım maliyetlerine neden olabilir.
register_hdfs
Not
Bu deneysel bir yöntemdir ve herhangi bir zamanda değişebilir. Daha fazla bilgi için lütfen bkz. https://aka.ms/azuremlexperimental.
Yeni bir HDFS veri deposu başlatın.
static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)Parametreler
- protocol
- str veya <xref:_restclient.models.enum>
HDFS kümesiyle iletişim kurarken kullanılacak protokol. http veya https. Olası değerler şunlardır: 'http', 'https'
- namenode_address
- str
HDFS ad düğümünün IP adresi veya DNS ana bilgisayar adı. İsteğe bağlı olarak bir bağlantı noktası içerir.
- hdfs_server_certificate
- str, <xref:optional>
OTOMATIK olarak imzalanan bir sertifikayla TLS kullanılıyorsa HDFS ad düğümünün TLS imzalama sertifikasının yolu.
- kerberos_principal
- str
Kimlik doğrulaması ve yetkilendirme için kullanılacak Kerberos sorumlusu.
- kerberos_keytab
- str, <xref:optional>
Kerberos sorumlusuna karşılık gelen anahtarları içeren anahtar sekmesi dosyasının yolu. Bunu veya parolayı belirtin.
- kerberos_password
- str, <xref:optional>
Kerberos sorumlusuna karşılık gelen parola. Bunu veya bir tuş sekmesi dosyasının yolunu belirtin.
- overwrite
- bool, <xref:optional>
varolan bir veri deposu üzerine yazar. Veri deposu yoksa bir tane oluşturur. Varsayılan değer False'tur.
set_as_default
Varsayılan veri depoyu ayarlayın.
set_as_default()Parametreler
unregister
Veri deposunun kaydını kaldırıyor. temel depolama hizmeti silinmez.
unregister()Geri Bildirim
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz. https://aka.ms/ContentUserFeedback.
Gönderin ve geri bildirimi görüntüleyin