Datastore Classe
Representa uma abstração de armazenamento numa conta de armazenamento do Azure Machine Learning.
Os arquivos de dados são anexados a áreas de trabalho e são utilizados para armazenar informações de ligação aos serviços de armazenamento do Azure para que possa fazer referência aos mesmos por nome e não tenha de memorizar as informações de ligação e o segredo utilizados para ligar aos serviços de armazenamento.
Exemplos de serviços de armazenamento do Azure suportados que podem ser registados como arquivos de dados são:
Contentor de Blobs do Azure
Partilha de Ficheiros do Azure
Azure Data Lake
Azure Data Lake Gen2
Base de Dados SQL do Azure
Base de Dados do Azure para PostgreSQL
Sistema de Ficheiros do Databricks
Base de Dados do Azure para MySQL
Utilize esta classe para realizar operações de gestão, incluindo registar, listar, obter e remover arquivos de dados.
Os arquivos de dados para cada serviço são criados com os register*
métodos desta classe. Ao utilizar um arquivo de dados para aceder aos dados, tem de ter permissão para aceder a esses dados, o que depende das credenciais registadas no arquivo de dados.
Para obter mais informações sobre arquivos de dados e como podem ser utilizados no machine learning, consulte os seguintes artigos:
Obter um arquivo de dados por nome. Esta chamada fará um pedido ao serviço do arquivo de dados.
- Herança
-
builtins.objectDatastore
Construtor
Datastore(workspace, name=None)
Parâmetros
- name
- str, <xref:optional>
O nome do arquivo de dados, predefinido, é Nenhum, que obtém o arquivo de dados predefinido.
Observações
Para interagir com dados nos seus arquivos de dados para tarefas de machine learning, como a preparação, crie um conjunto de dados do Azure Machine Learning. Os conjuntos de dados fornecem funções que carregam dados tabulares para um pandas ou Spark DataFrame. Os conjuntos de dados também permitem transferir ou montar ficheiros de qualquer formato a partir do Armazenamento de Blobs do Azure, Ficheiros do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Base de Dados SQL do Azure e Base de Dados do Azure para PostgreSQL. Saiba mais sobre como preparar com conjuntos de dados.
O exemplo seguinte mostra como criar um Arquivo de Dados ligado ao Contentor de Blobs do Azure.
from azureml.exceptions import UserErrorException
blob_datastore_name='MyBlobDatastore'
account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
try:
blob_datastore = Datastore.get(ws, blob_datastore_name)
print("Found Blob Datastore with name: %s" % blob_datastore_name)
except UserErrorException:
blob_datastore = Datastore.register_azure_blob_container(
workspace=ws,
datastore_name=blob_datastore_name,
account_name=account_name, # Storage account name
container_name=container_name, # Name of Azure blob container
account_key=account_key) # Storage account key
print("Registered blob datastore with name: %s" % blob_datastore_name)
blob_data_ref = DataReference(
datastore=blob_datastore,
data_reference_name="blob_test_data",
path_on_datastore="testdata")
O exemplo completo está disponível a partir de https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb
Métodos
get |
Obter um arquivo de dados por nome. Isto é o mesmo que chamar o construtor. |
get_default |
Obtenha o arquivo de dados predefinido para a área de trabalho. |
register_azure_blob_container |
Registe um Contentor de Blobs do Azure no arquivo de dados. O acesso a dados baseado em credenciais (GA) e baseado em identidades (Pré-visualização) é suportado. Pode optar por utilizar o Token de SAS ou a Chave da Conta de Armazenamento. Se não for guardada nenhuma credencial com o arquivo de dados, o token do AAD dos utilizadores será utilizado no bloco de notas ou no programa python local se chamar diretamente uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do destino de computação será utilizada em tarefas submetidas pelo Experiment.submit para autenticação de acesso a dados. Saiba mais aqui. |
register_azure_data_lake |
Inicializar um novo Arquivo de Dados do Azure Data Lake. O acesso a dados baseado em credenciais (GA) e baseado em identidades (Pré-visualização) é suportado. Pode registar um arquivo de dados com o Principal de Serviço para acesso a dados baseados em credenciais. Se não for guardada nenhuma credencial com o arquivo de dados, o token do AAD dos utilizadores será utilizado no bloco de notas ou no programa python local se chamar diretamente uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do destino de computação será utilizada em tarefas submetidas pelo Experiment.submit para autenticação de acesso a dados. Saiba mais aqui. Veja abaixo um exemplo de como registar um Azure Data Lake Gen1 como um Arquivo de Dados.
|
register_azure_data_lake_gen2 |
Inicializar um novo Arquivo de Dados do Azure Data Lake Gen2. O acesso a dados baseado em credenciais (GA) e baseado em identidades (Pré-visualização) é suportado. Pode registar um arquivo de dados com o Principal de Serviço para acesso a dados baseados em credenciais. Se não for guardada nenhuma credencial com o arquivo de dados, o token do AAD dos utilizadores será utilizado no bloco de notas ou no programa python local se chamar diretamente uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do destino de computação será utilizada em tarefas submetidas pelo Experiment.submit para autenticação de acesso a dados. Saiba mais aqui. |
register_azure_file_share |
Registe uma Partilha de Ficheiros do Azure no arquivo de dados. Pode optar por utilizar o Token de SAS ou a Chave da Conta de Armazenamento |
register_azure_my_sql |
Inicializar um novo Arquivo de Dados do Azure MySQL. O arquivo de dados mySQL só pode ser utilizado para criar DataReference como entrada e saída para DataTransferStep em pipelines do Azure Machine Learning. Pode encontrar mais detalhes aqui. Veja abaixo um exemplo de como registar uma base de dados MySQL do Azure como um Arquivo de Dados. |
register_azure_postgre_sql |
Inicializar um novo Arquivo de Dados do Azure PostgreSQL. Veja abaixo um exemplo de como registar uma base de dados PostgreSQL do Azure como um Arquivo de Dados. |
register_azure_sql_database |
Inicializar um novo arquivo de dados de base de dados SQL do Azure. O acesso a dados baseado em credenciais (GA) e baseado em identidades (Pré-visualização) é suportado. Pode optar por utilizar o Principal de Serviço ou o nome de utilizador + palavra-passe. Se não for guardada nenhuma credencial com o arquivo de dados, o token do AAD dos utilizadores será utilizado no bloco de notas ou no programa python local se chamar diretamente uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do destino de computação será utilizada em tarefas submetidas pelo Experiment.submit para autenticação de acesso a dados. Saiba mais aqui. Veja abaixo um exemplo de como registar uma base de dados SQL do Azure como um Arquivo de Dados. |
register_dbfs |
Inicializar um novo arquivo de dados do Sistema de Ficheiros do Databricks (DBFS). O arquivo de dados do DBFS só pode ser utilizado para criar DataReference como entrada e PipelineData como saída para o DatabricksStep nos pipelines do Azure Machine Learning. Pode encontrar mais detalhes aqui. |
register_hdfs |
Nota Este é um método experimental e pode mudar em qualquer altura. Para obter mais informações, veja https://aka.ms/azuremlexperimental. Inicializar um novo arquivo de dados HDFS. |
set_as_default |
Defina o arquivo de dados predefinido. |
unregister |
Anule o registo do arquivo de dados. o serviço de armazenamento subjacente não será eliminado. |
get
Obter um arquivo de dados por nome. Isto é o mesmo que chamar o construtor.
static get(workspace, datastore_name)
Parâmetros
- datastore_name
- str, <xref:optional>
O nome do arquivo de dados, predefinido, é Nenhum, que obtém o arquivo de dados predefinido.
Devoluções
O arquivo de dados correspondente para esse nome.
Tipo de retorno
get_default
Obtenha o arquivo de dados predefinido para a área de trabalho.
static get_default(workspace)
Parâmetros
Devoluções
O arquivo de dados predefinido para a área de trabalho
Tipo de retorno
register_azure_blob_container
Registe um Contentor de Blobs do Azure no arquivo de dados.
O acesso a dados baseado em credenciais (GA) e baseado em identidades (Pré-visualização) é suportado. Pode optar por utilizar o Token de SAS ou a Chave da Conta de Armazenamento. Se não for guardada nenhuma credencial com o arquivo de dados, o token do AAD dos utilizadores será utilizado no bloco de notas ou no programa python local se chamar diretamente uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do destino de computação será utilizada em tarefas submetidas pelo Experiment.submit para autenticação de acesso a dados. Saiba mais aqui.
static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)
Parâmetros
- datastore_name
- str
O nome do arquivo de dados, não sensível a maiúsculas e minúsculas, só pode conter carateres alfanuméricos e _.
- sas_token
- str, <xref:optional>
Um token de SAS de conta, predefinido como Nenhum. Para a leitura de dados, necessitamos de um mínimo de permissões de Lista & Leitura para Objetos de & de Contentores e para escrita de dados, além disso, precisamos de permissões de Escrita & Adicionar.
- account_key
- str, <xref:optional>
As chaves de acesso da sua conta de armazenamento são predefinidas para Nenhuma.
- protocol
- str, <xref:optional>
Protocolo a utilizar para ligar ao contentor de blobs. Se Não, a predefinição é https.
- endpoint
- str, <xref:optional>
O ponto final da conta de armazenamento. Se Não, a predefinição é core.windows.net.
- overwrite
- bool, <xref:optional>
substitui um arquivo de dados existente. Se o arquivo de dados não existir, irá criar um, predefinição, para Falso
- create_if_not_exists
- bool, <xref:optional>
criar o contentor de blobs se não existir, a predefinição é Falso
- skip_validation
- bool, <xref:optional>
ignora a validação de chaves de armazenamento, a predefinição é Falso
- blob_cache_timeout
- int, <xref:optional>
Quando este blob estiver montado, defina o tempo limite da cache para estes segundos. Se Não, a predefinição não excede o tempo limite (ou seja, os blobs serão colocados em cache durante a duração da tarefa quando lidos).
- grant_workspace_access
- bool, <xref:optional>
A predefinição é Falso. Defina-o como Verdadeiro para aceder aos dados por trás da rede virtual a partir do Machine Learning Studio. Isto faz com que o acesso a dados do Machine Learning Studio utilize a identidade gerida da área de trabalho para autenticação e adiciona a identidade gerida da área de trabalho como Leitor do armazenamento. Tem de ser proprietário ou administrador de acesso de utilizador do armazenamento para optar ativamente por participar. Peça ao administrador para o configurar se não tiver a permissão necessária. Saiba mais 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
- subscription_id
- str, <xref:optional>
O ID da subscrição da conta de armazenamento é predefinido como Nenhum.
- resource_group
- str, <xref:optional>
O grupo de recursos da conta de armazenamento é predefinido como Nenhum.
Devoluções
O arquivo de dados de blobs.
Tipo de retorno
Observações
Se estiver a anexar armazenamento de uma região diferente da região da área de trabalho, isso poderá resultar numa latência mais elevada e em custos adicionais de utilização da rede.
register_azure_data_lake
Inicializar um novo Arquivo de Dados do Azure Data Lake.
O acesso a dados baseado em credenciais (GA) e baseado em identidades (Pré-visualização) é suportado. Pode registar um arquivo de dados com o Principal de Serviço para acesso a dados baseados em credenciais. Se não for guardada nenhuma credencial com o arquivo de dados, o token do AAD dos utilizadores será utilizado no bloco de notas ou no programa python local se chamar diretamente uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do destino de computação será utilizada em tarefas submetidas pelo Experiment.submit para autenticação de acesso a dados. Saiba mais aqui.
Veja abaixo um exemplo de como registar um Azure Data Lake Gen1 como um Arquivo de Dados.
adlsgen1_datastore_name='adlsgen1datastore'
store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal
adls_datastore = Datastore.register_azure_data_lake(
workspace=ws,
datastore_name=aslsgen1_datastore_name,
subscription_id=subscription_id, # subscription id of ADLS account
resource_group=resource_group, # resource group of ADLS account
store_name=store_name, # ADLS account name
tenant_id=tenant_id, # tenant id of service principal
client_id=client_id, # client id of service principal
client_secret=client_secret) # the secret of service principal
static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)
Parâmetros
- tenant_id
- str, <xref:optional>
O ID de Diretório/ID do Inquilino do principal de serviço utilizado para aceder aos dados.
- client_id
- str, <xref:optional>
O ID de Cliente/ID da Aplicação do principal de serviço utilizado para aceder aos dados.
- client_secret
- str, <xref:optional>
O Segredo do Cliente do principal de serviço utilizado para aceder aos dados.
- resource_url
- str, <xref:optional>
O URL do recurso, que determina as operações que serão executadas no Arquivo do Data Lake, se não for nenhum, é predefinido, o https://datalake.azure.net/
que nos permite realizar operações de sistema de ficheiros.
- authority_url
- str, <xref:optional>
O URL de autoridade utilizado para autenticar o utilizador é predefinido como https://login.microsoftonline.com
.
- subscription_id
- str, <xref:optional>
O ID da subscrição a que pertence o arquivo do ADLS.
- resource_group
- str, <xref:optional>
O grupo de recursos ao qual pertence o arquivo do ADLS.
- overwrite
- bool, <xref:optional>
Se pretende substituir um arquivo de dados existente. Se o arquivo de dados não existir, irá criar um. A predefinição é Falso.
- grant_workspace_access
- bool, <xref:optional>
A predefinição é Falso. Defina-o como Verdadeiro para aceder aos dados por trás da rede virtual a partir do Machine Learning Studio. Isto faz com que o acesso a dados do Machine Learning Studio utilize a identidade gerida da área de trabalho para autenticação e adiciona a identidade gerida da área de trabalho como Leitor do armazenamento. Tem de ser Proprietário ou Administrador de Acesso de Utilizador do armazenamento para optar ativamente por participar. Peça ao administrador para o configurar se não tiver a permissão necessária. Saiba mais 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Devoluções
Devolve o Arquivo de Dados do Azure Data Lake.
Tipo de retorno
Observações
Se estiver a anexar armazenamento de uma região diferente da região da área de trabalho, isso poderá resultar numa latência mais elevada e em custos adicionais de utilização da rede.
Nota
O Azure Data Lake Datastore suporta a transferência de dados e a execução de tarefas U-Sql com os Pipelines do Azure Machine Learning.
Também pode utilizá-lo como uma origem de dados para o Conjunto de Dados do Azure Machine Learning que pode ser transferido ou montado em qualquer computação suportada.
register_azure_data_lake_gen2
Inicializar um novo Arquivo de Dados do Azure Data Lake Gen2.
O acesso a dados baseado em credenciais (GA) e baseado em identidades (Pré-visualização) é suportado. Pode registar um arquivo de dados com o Principal de Serviço para acesso a dados baseados em credenciais. Se não for guardada nenhuma credencial com o arquivo de dados, o token do AAD dos utilizadores será utilizado no bloco de notas ou no programa python local se chamar diretamente uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do destino de computação será utilizada em tarefas submetidas pelo Experiment.submit para autenticação de acesso a dados. Saiba mais aqui.
static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)
Parâmetros
- tenant_id
- str, <xref:optional>
O ID de Diretório/ID do Inquilino do principal de serviço.
- client_id
- str, <xref:optional>
O ID de Cliente/ID da Aplicação do principal de serviço.
- resource_url
- str, <xref:optional>
O URL do recurso, que determina que operações serão executadas no data lake store, é predefinido, o https://storage.azure.com/
que nos permite realizar operações do sistema de ficheiros.
- authority_url
- str, <xref:optional>
O URL de autoridade utilizado para autenticar o utilizador é predefinido como https://login.microsoftonline.com
.
- protocol
- str, <xref:optional>
Protocolo a utilizar para ligar ao contentor de blobs. Se Não, a predefinição é https.
- endpoint
- str, <xref:optional>
O ponto final da conta de armazenamento. Se Não, a predefinição é core.windows.net.
- overwrite
- bool, <xref:optional>
Se pretende substituir um arquivo de dados existente. Se o arquivo de dados não existir, irá criar um. A predefinição é Falso.
- subscription_id
- str, <xref:optional>
O ID da subscrição a que pertence o arquivo do ADLS.
- resource_group
- str, <xref:optional>
O grupo de recursos ao qual pertence o arquivo do ADLS.
- grant_workspace_access
- bool, <xref:optional>
A predefinição é Falso. Defina-o como Verdadeiro para aceder aos dados por trás da rede virtual a partir do Machine Learning Studio. Isto faz com que o acesso a dados do Machine Learning Studio utilize a identidade gerida da área de trabalho para autenticação e adiciona a identidade gerida da área de trabalho como Leitor do armazenamento. Tem de ser proprietário ou administrador de acesso de utilizador do armazenamento para optar ativamente por participar. Peça ao administrador para o configurar se não tiver a permissão necessária. Saiba mais 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Devoluções
Devolve o Arquivo de Dados do Azure Data Lake Gen2.
Tipo de retorno
Observações
Se estiver a anexar armazenamento de uma região diferente da região da área de trabalho, isso poderá resultar numa latência mais elevada e em custos adicionais de utilização da rede.
register_azure_file_share
Registe uma Partilha de Ficheiros do Azure no arquivo de dados.
Pode optar por utilizar o Token de SAS ou a Chave da Conta de Armazenamento
static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)
Parâmetros
- datastore_name
- str
O nome do arquivo de dados, não sensível a maiúsculas e minúsculas, só pode conter carateres alfanuméricos e _.
- sas_token
- str, <xref:optional>
Um token de SAS de conta, predefinido como Nenhum. Para a leitura de dados, necessitamos de um mínimo de permissões de Lista & Leitura para Objetos de & de Contentores e para escrita de dados, além disso, precisamos de permissões de Escrita & Adicionar.
- account_key
- str, <xref:optional>
As chaves de acesso da sua conta de armazenamento são predefinidas para Nenhuma.
- protocol
- str, <xref:optional>
O protocolo a utilizar para ligar à partilha de ficheiros. Se Não, a predefinição é https.
- endpoint
- str, <xref:optional>
O ponto final da partilha de ficheiros. Se Não, a predefinição é core.windows.net.
- overwrite
- bool, <xref:optional>
Se pretende substituir um arquivo de dados existente. Se o arquivo de dados não existir, irá criar um. A predefinição é Falso.
- create_if_not_exists
- bool, <xref:optional>
Se pretender criar a partilha de ficheiros se não existir. A predefinição é Falso.
- skip_validation
- bool, <xref:optional>
Se pretende ignorar a validação de chaves de armazenamento. A predefinição é Falso.
Devoluções
O arquivo de dados de ficheiros.
Tipo de retorno
Observações
Se estiver a anexar armazenamento de uma região diferente da região da área de trabalho, isso poderá resultar numa latência mais elevada e em custos adicionais de utilização da rede.
register_azure_my_sql
Inicializar um novo Arquivo de Dados do Azure MySQL.
O arquivo de dados mySQL só pode ser utilizado para criar DataReference como entrada e saída para DataTransferStep em pipelines do Azure Machine Learning. Pode encontrar mais detalhes aqui.
Veja abaixo um exemplo de como registar uma base de dados MySQL do Azure como um Arquivo de Dados.
static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)
Parâmetros
- endpoint
- str, <xref:optional>
O ponto final do servidor MySQL. Se Não, a predefinição é mysql.database.azure.com.
- overwrite
- bool, <xref:optional>
Se pretende substituir um arquivo de dados existente. Se o arquivo de dados não existir, irá criar um. A predefinição é Falso.
Devoluções
Devolve o Arquivo de Dados da base de dados MySQL.
Tipo de retorno
Observações
Se estiver a anexar armazenamento de uma região diferente da região da área de trabalho, isso poderá resultar numa latência mais elevada e em custos adicionais de utilização da rede.
mysql_datastore_name="mysqldatastore"
server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.
mysql_datastore = Datastore.register_azure_my_sql(
workspace=ws,
datastore_name=mysql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_postgre_sql
Inicializar um novo Arquivo de Dados do Azure PostgreSQL.
Veja abaixo um exemplo de como registar uma base de dados PostgreSQL do Azure como um Arquivo de Dados.
static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)
Parâmetros
- endpoint
- str, <xref:optional>
O ponto final do servidor PostgreSQL. Se Não, a predefinição é postgres.database.azure.com.
- overwrite
- bool, <xref:optional>
Se pretende substituir um arquivo de dados existente. Se o arquivo de dados não existir, irá criar um. A predefinição é Falso.
- enforce_ssl
- bool
Indica o requisito SSL do servidor PostgreSQL. A predefinição é Verdadeiro.
Devoluções
Devolve o Arquivo de Dados da base de dados PostgreSQL.
Tipo de retorno
Observações
Se estiver a anexar armazenamento de uma região diferente da região da área de trabalho, isso poderá resultar numa latência mais elevada e em custos adicionais de utilização da rede.
psql_datastore_name="postgresqldatastore"
server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password
psql_datastore = Datastore.register_azure_postgre_sql(
workspace=ws,
datastore_name=psql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_sql_database
Inicializar um novo arquivo de dados de base de dados SQL do Azure.
O acesso a dados baseado em credenciais (GA) e baseado em identidades (Pré-visualização) é suportado. Pode optar por utilizar o Principal de Serviço ou o nome de utilizador + palavra-passe. Se não for guardada nenhuma credencial com o arquivo de dados, o token do AAD dos utilizadores será utilizado no bloco de notas ou no programa python local se chamar diretamente uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do destino de computação será utilizada em tarefas submetidas pelo Experiment.submit para autenticação de acesso a dados. Saiba mais aqui.
Veja abaixo um exemplo de como registar uma base de dados SQL do Azure como um Arquivo de Dados.
static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)
Parâmetros
- server_name
- str
O nome do servidor SQL. Para um nome de domínio completamente qualificado, como "sample.database.windows.net", o valor de server_name deve ser "exemplo" e o valor do ponto final deve ser "database.windows.net".
- resource_url
- str, <xref:optional>
O URL do recurso, que determina as operações que serão executadas no arquivo da base de dados SQL, se não for nenhum, assume a https://database.windows.net/predefinição .
- authority_url
- str, <xref:optional>
O URL de autoridade utilizado para autenticar o utilizador é predefinido como https://login.microsoftonline.com.
- endpoint
- str, <xref:optional>
O ponto final do SQL Server. Se Não, a predefinição é database.windows.net.
- overwrite
- bool, <xref:optional>
Se pretende substituir um arquivo de dados existente. Se o arquivo de dados não existir, irá criar um. A predefinição é Falso.
- username
- str
O nome de utilizador do utilizador da base de dados para aceder à base de dados.
- password
- str
A palavra-passe do utilizador da base de dados para aceder à base de dados.
- skip_validation
- bool, <xref:optional>
Se pretende ignorar a validação da ligação à base de dados SQL. A predefinição é Falso.
- subscription_id
- str, <xref:optional>
O ID da subscrição a que pertence o arquivo do ADLS.
- resource_group
- str, <xref:optional>
O grupo de recursos ao qual pertence o arquivo do ADLS.
- grant_workspace_access
- bool, <xref:optional>
A predefinição é Falso. Defina-o como Verdadeiro para aceder aos dados por trás da rede virtual a partir do Machine Learning Studio. Isto faz com que o acesso a dados do Machine Learning Studio utilize a identidade gerida da área de trabalho para autenticação e adiciona a identidade gerida da área de trabalho como Leitor do armazenamento. Tem de ser proprietário ou administrador de acesso de utilizador do armazenamento para optar ativamente por participar. Peça ao administrador para o configurar se não tiver a permissão necessária. Saiba mais 'https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network'
Devoluções
Devolve o Arquivo de Dados da base de dados SQL.
Tipo de retorno
Observações
Se estiver a anexar armazenamento de uma região diferente da região da área de trabalho, isso poderá resultar numa latência mais elevada e em custos adicionais de utilização da rede.
sql_datastore_name="azuresqldatastore"
server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.
sql_datastore = Datastore.register_azure_sql_database(
workspace=ws,
datastore_name=sql_datastore_name,
server_name=server_name, # name should not contain fully qualified domain endpoint
database_name=database_name,
username=username,
password=password,
endpoint='database.windows.net')
register_dbfs
Inicializar um novo arquivo de dados do Sistema de Ficheiros do Databricks (DBFS).
O arquivo de dados do DBFS só pode ser utilizado para criar DataReference como entrada e PipelineData como saída para o DatabricksStep nos pipelines do Azure Machine Learning. Pode encontrar mais detalhes aqui.
static register_dbfs(workspace, datastore_name)
Parâmetros
Devoluções
Devolve o Arquivo de Dados do DBFS.
Tipo de retorno
Observações
Se estiver a anexar armazenamento de uma região diferente da região da área de trabalho, isso poderá resultar numa latência mais elevada e em custos adicionais de utilização da rede.
register_hdfs
Nota
Este é um método experimental e pode mudar em qualquer altura. Para obter mais informações, veja https://aka.ms/azuremlexperimental.
Inicializar um novo arquivo de dados HDFS.
static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)
Parâmetros
- protocol
- str ou <xref:_restclient.models.enum>
O protocolo a utilizar ao comunicar com o cluster do HDFS. http ou https. Os valores possíveis incluem: "http", "https"
- namenode_address
- str
O endereço IP ou nome do anfitrião DNS do namenode do HDFS. Opcionalmente, inclui uma porta.
- hdfs_server_certificate
- str, <xref:optional>
O caminho para o certificado de assinatura TLS do namenode do HDFS, se estiver a utilizar o TLS com um certificado autoassinado.
- kerberos_keytab
- str, <xref:optional>
O caminho para o ficheiro keytab que contém as chaves correspondentes ao principal Kerberos. Forneça isto ou uma palavra-passe.
- kerberos_password
- str, <xref:optional>
A palavra-passe correspondente ao principal Kerberos. Indique isto ou o caminho para um ficheiro keytab.
- overwrite
- bool, <xref:optional>
substitui um arquivo de dados existente. Se o arquivo de dados não existir, irá criar um. A predefinição é Falso.
set_as_default
Defina o arquivo de dados predefinido.
set_as_default()
Parâmetros
unregister
Anule o registo do arquivo de dados. o serviço de armazenamento subjacente não será eliminado.
unregister()
Comentários
https://aka.ms/ContentUserFeedback.
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja:Submeter e ver comentários