Datastore Classe
Représente une abstraction de stockage sur un compte de stockage Azure Machine Learning.
Les magasins de données sont joints à des espaces de travail et sont utilisés pour stocker les informations de connexion aux services de stockage Azure afin que vous puissiez y faire référence par leur nom et qu’il ne soit pas nécessaire de mémoriser les informations de connexion et le secret utilisés pour la connexion aux services de stockage.
Voici des exemples de services de stockage Azure pris en charge qui peuvent être enregistrés en tant que magasins de données :
Conteneur d’objets blob Azure
Partage de fichiers Azure
Azure Data Lake
Azure Data Lake Gen2
Azure SQL Database
Azure Database pour PostgreSQL
Système de fichiers Databricks
Azure Database pour MySQL
Utilisez cette classe pour effectuer des opérations de gestion, notamment pour inscrire, répertorier, récupérer et supprimer des magasins de données.
Les magasins de données de chaque service sont créés avec les méthodes register* de cette classe. Quand vous utilisez un magasin de données pour accéder aux données, vous devez avoir l’autorisation d’accéder à ces données. Cela dépend des informations d’identification inscrites auprès du magasin de données.
Pour plus d’informations sur les magasins de données et sur la façon dont ils peuvent être utilisés pour le Machine Learning, consultez les articles suivants :
Obtient un magasin de données par nom. Cet appel fera une demande au service de magasin de données.
- Héritage
-
builtins.objectDatastore
Constructeur
Datastore(workspace, name=None)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail. |
|
name
|
str, <xref:optional>
Nom du magasin de données. La valeur par défaut est None, qui obtient le magasin de données par défaut. valeur par défaut: None
|
Remarques
Pour interagir avec les données de vos magasins de données pour les tâches de Machine Learning, comme l’apprentissage, créez un jeu de données Azure Machine Learning. Les jeux de données fournissent des fonctions qui chargent des données tabulaires dans un dataframe Pandas ou Spark. Ils offrent également la possibilité de télécharger ou monter des fichiers de n’importe quel format à partir des stockages suivants : Stockage Blob Azure, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database et Azure Database pour PostgreSQL. Découvrez-en plus sur l’entraînement avec des jeux de données.
L’exemple suivant montre comment créer un magasin de stockage connecté à un conteneur d’objets blob Azure.
from azureml.exceptions import UserErrorException
blob_datastore_name='MyBlobDatastore'
account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
try:
blob_datastore = Datastore.get(ws, blob_datastore_name)
print("Found Blob Datastore with name: %s" % blob_datastore_name)
except UserErrorException:
blob_datastore = Datastore.register_azure_blob_container(
workspace=ws,
datastore_name=blob_datastore_name,
account_name=account_name, # Storage account name
container_name=container_name, # Name of Azure blob container
account_key=account_key) # Storage account key
print("Registered blob datastore with name: %s" % blob_datastore_name)
blob_data_ref = DataReference(
datastore=blob_datastore,
data_reference_name="blob_test_data",
path_on_datastore="testdata")
Un exemple complet est disponible sur https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb
Méthodes
| get |
Obtient un magasin de données par nom. Cela revient à appeler le constructeur. |
| get_default |
Obtient le magasin de données par défaut pour l’espace de travail. |
| register_azure_blob_container |
Inscrit un conteneur d’objets blob Azure auprès du magasin de données. L’accès aux données basé sur les informations d’identification (GA) et sur l’identité (préversion) est pris en charge. Vous pouvez choisir d’utiliser un jeton SAS ou une clé de compte de stockage. En l’absence d’informations d’identification enregistrées dans le magasin de données, le jeton AAD des utilisateurs est utilisé dans le notebook ou dans le programme python local s’il appelle directement l’une des fonctions suivantes : FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files. L’identité de la cible de calcul sera utilisée dans les travaux soumis par Experiment.submit pour l’authentification de l’accès aux données. En savoir plus ici. |
| register_azure_data_lake |
Initialise un nouveau magasin de données Azure Data Lake. L’accès aux données basé sur les informations d’identification (GA) et sur l’identité (préversion) est pris en charge. Vous pouvez inscrire un magasin de données auprès du principal du service pour un accès aux données basé sur les informations d’identification. En l’absence d’informations d’identification enregistrées dans le magasin de données, le jeton AAD des utilisateurs est utilisé dans le notebook ou dans le programme python local s’il appelle directement l’une des fonctions suivantes : FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files. L’identité de la cible de calcul sera utilisée dans les travaux soumis par Experiment.submit pour l’authentification de l’accès aux données. En savoir plus ici. Vous trouverez ci-dessous un exemple d’inscription d’un système de fichiers Azure Data Lake Gen1 en tant que magasin de données. |
| register_azure_data_lake_gen2 |
Initialise un nouveau magasin de données Azure Data Lake Gen2. L’accès aux données basé sur les informations d’identification (GA) et sur l’identité (préversion) est pris en charge. Vous pouvez inscrire un magasin de données auprès du principal du service pour un accès aux données basé sur les informations d’identification. En l’absence d’informations d’identification enregistrées dans le magasin de données, le jeton AAD des utilisateurs est utilisé dans le notebook ou dans le programme python local s’il appelle directement l’une des fonctions suivantes : FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files. L’identité de la cible de calcul sera utilisée dans les travaux soumis par Experiment.submit pour l’authentification de l’accès aux données. En savoir plus ici. |
| register_azure_file_share |
Inscrit un partage de fichiers Azure au magasin de données. Vous pouvez choisir d’utiliser un jeton SAS ou une clé de compte de stockage |
| register_azure_my_sql |
Initialise un nouveau magasin de données Azure MySQL. Le magasin de données MySQL ne peut être utilisé que pour créer l’objet DataReference en tant qu’entrée et sortie vers DataTransferStep dans les pipelines Azure Machine Learning. Pour plus d’informations, cliquez ici. Pour obtenir un exemple d’inscription d’une base de données Azure MySQL en tant que magasin de données, voir ci-dessous. |
| register_azure_postgre_sql |
Initialise nouveau magasin de données Azure PostgreSQL. Pour obtenir un exemple d’inscription d’une base de données Azure PostgreSQL en tant que magasin de données, voir ci-dessous. |
| register_azure_sql_database |
Initialise un nouveau magasin de données de base de données Azure SQL. L’accès aux données basé sur les informations d’identification (GA) et sur l’identité (préversion) est pris en charge. Vous pouvez choisir d’utiliser le principal de service ou le nom d’utilisateur et le mot de passe. En l’absence d’informations d’identification enregistrées dans le magasin de données, le jeton AAD des utilisateurs est utilisé dans le notebook ou dans le programme python local s’il appelle directement l’une des fonctions suivantes : FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files. L’identité de la cible de calcul sera utilisée dans les travaux soumis par Experiment.submit pour l’authentification de l’accès aux données. En savoir plus ici. Vous trouverez ci-dessous un exemple d’inscription d’une base de données Azure SQL en tant que magasin de données. |
| register_dbfs |
Initialisez un nouveau magasin de données de système de fichiers Databricks (DBFS). Le magasin de données DBFS peut être utilisé uniquement pour créer DataReference en tant qu’entrée et PipelineData en tant que sortie vers DatabricksStep dans les pipelines Azure Machine Learning. Vous trouverez plus d’informations ici. |
| register_hdfs |
Notes Il s’agit d’une méthode expérimentale qui peut changer à tout moment. Pour plus d’informations, consultez https://aka.ms/azuremlexperimental. Initialisez un nouveau magasin de données HDFS. |
| set_as_default |
Définit le magasin de données par défaut. |
| unregister |
Annule l’inscription du magasin de données. Le service de stockage sous-jacent n’est pas supprimé. |
get
Obtient un magasin de données par nom. Cela revient à appeler le constructeur.
static get(workspace, datastore_name)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail. |
|
datastore_name
Obligatoire
|
str, <xref:optional>
Nom du magasin de données. La valeur par défaut est None, qui obtient le magasin de données par défaut. |
Retours
| Type | Description |
|---|---|
|
Magasin de données correspondant à ce nom. |
get_default
Obtient le magasin de données par défaut pour l’espace de travail.
static get_default(workspace)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail. |
Retours
| Type | Description |
|---|---|
|
Magasin de données par défaut pour l’espace de travail |
register_azure_blob_container
Inscrit un conteneur d’objets blob Azure auprès du magasin de données.
L’accès aux données basé sur les informations d’identification (GA) et sur l’identité (préversion) est pris en charge. Vous pouvez choisir d’utiliser un jeton SAS ou une clé de compte de stockage. En l’absence d’informations d’identification enregistrées dans le magasin de données, le jeton AAD des utilisateurs est utilisé dans le notebook ou dans le programme python local s’il appelle directement l’une des fonctions suivantes : FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files. L’identité de la cible de calcul sera utilisée dans les travaux soumis par Experiment.submit pour l’authentification de l’accès aux données. En savoir plus ici.
static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail. |
|
datastore_name
Obligatoire
|
Nom du magasin de données, ne respecte pas la casse, doit contenir uniquement des caractères alphanumériques et _. |
|
container_name
Obligatoire
|
Nom du conteneur d’objets blob Azure. |
|
account_name
Obligatoire
|
nom du compte de stockage. |
|
sas_token
|
str, <xref:optional>
Jeton SAS du compte. La valeur par défaut est None. Pour la lecture des données, nous avons besoin d’un minimum d’autorisations List & Read pour les conteneurs & Objects, et pour l’écriture de données, nous avons également besoin d’autorisations Écrire & Ajouter. valeur par défaut: None
|
|
account_key
|
str, <xref:optional>
Clés d’accès de votre compte de stockage. La valeur par défaut est None. valeur par défaut: None
|
|
protocol
|
str, <xref:optional>
Protocole à utiliser pour la connexion au conteneur d’objets blob. Si None est défini, la valeur par défaut est https. valeur par défaut: None
|
|
endpoint
|
str, <xref:optional>
Point de terminaison du compte de stockage. Si None est défini, la valeur par défaut est core.windows.net. valeur par défaut: None
|
|
overwrite
|
bool, <xref:optional>
Remplace un magasin de données existant. Si le magasin de données n’existe pas, il est créé. La valeur par défaut est False valeur par défaut: False
|
|
create_if_not_exists
|
bool, <xref:optional>
Crée le conteneur d’objets BLOB s’il n’existe pas. La valeur par défaut est False valeur par défaut: False
|
|
skip_validation
|
bool, <xref:optional>
Ignore la validation des clés de stockage. La valeur par défaut est False valeur par défaut: False
|
|
blob_cache_timeout
|
int, <xref:optional>
Quand cet objet blob est monté, définit le délai d’expiration du cache sur ce nombre de secondes. Si None est défini, la valeur par défaut est aucun délai d’expiration (c’est-à-dire que les objets BLOB sont mis en cache pour la durée du travail lors de la lecture). valeur par défaut: None
|
|
grant_workspace_access
|
bool, <xref:optional>
Valeur par défaut False. Définissez-la sur True pour accéder à des données situées derrière un réseau virtuel à partir de Machine Learning Studio. Ainsi, lors de l’accès aux données à partir de Machine Learning Studio, l’identité managée de l’espace de travail est utilisée pour l’authentification, et celle-ci est ajoutée en tant que Lecteur du stockage. Vous devez être Propriétaire ou Administrateur de l’accès utilisateur du stockage pour configurer cette option. Si vous ne disposez pas de l’autorisation requise, demandez à votre administrateur de la configurer pour vous. Pour en savoir plus, consultez « https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network » valeur par défaut: False
|
|
subscription_id
|
str, <xref:optional>
ID d’abonnement du compte de stockage. La valeur par défaut est None. valeur par défaut: None
|
|
resource_group
|
str, <xref:optional>
Groupe de ressources du compte de stockage. La valeur par défaut est False. valeur par défaut: None
|
Retours
| Type | Description |
|---|---|
|
Magasin de données d’objets blob. |
Remarques
Si vous joignez le stockage d’une autre région que celle de l’espace de travail, vous risquez d’avoir une latence plus élevée et des coûts supplémentaires d’utilisation du réseau.
register_azure_data_lake
Initialise un nouveau magasin de données Azure Data Lake.
L’accès aux données basé sur les informations d’identification (GA) et sur l’identité (préversion) est pris en charge. Vous pouvez inscrire un magasin de données auprès du principal du service pour un accès aux données basé sur les informations d’identification. En l’absence d’informations d’identification enregistrées dans le magasin de données, le jeton AAD des utilisateurs est utilisé dans le notebook ou dans le programme python local s’il appelle directement l’une des fonctions suivantes : FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files. L’identité de la cible de calcul sera utilisée dans les travaux soumis par Experiment.submit pour l’authentification de l’accès aux données. En savoir plus ici.
Vous trouverez ci-dessous un exemple d’inscription d’un système de fichiers Azure Data Lake Gen1 en tant que magasin de données.
adlsgen1_datastore_name='adlsgen1datastore'
store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal
adls_datastore = Datastore.register_azure_data_lake(
workspace=ws,
datastore_name=aslsgen1_datastore_name,
subscription_id=subscription_id, # subscription id of ADLS account
resource_group=resource_group, # resource group of ADLS account
store_name=store_name, # ADLS account name
tenant_id=tenant_id, # tenant id of service principal
client_id=client_id, # client id of service principal
client_secret=client_secret) # the secret of service principal
static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail auquel ce magasin de données appartient. |
|
datastore_name
Obligatoire
|
Nom du magasin de données. |
|
store_name
Obligatoire
|
Nom du magasin ADLS. |
|
tenant_id
|
str, <xref:optional>
ID de répertoire/ID de locataire du principal de service utilisé pour accéder aux données. valeur par défaut: None
|
|
client_id
|
str, <xref:optional>
ID de client/ID d’application du principal de service utilisé pour accéder aux données. valeur par défaut: None
|
|
client_secret
|
str, <xref:optional>
Clé secrète client principal de service utilisé pour accéder aux données. valeur par défaut: None
|
|
resource_url
|
str, <xref:optional>
URL de ressource, qui détermine les opérations qui sont exécutées sur le Data Lake Store. Si None est défini, la valeur par défaut est valeur par défaut: None
|
|
authority_url
|
str, <xref:optional>
URL de l’autorité utilisée pour authentifier l’utilisateur. La valeur par défaut est valeur par défaut: None
|
|
subscription_id
|
str, <xref:optional>
ID de l’abonnement auquel le magasin ADLS appartient. valeur par défaut: None
|
|
resource_group
|
str, <xref:optional>
Groupe de ressources auquel appartient le magasin ADLS. valeur par défaut: None
|
|
overwrite
|
bool, <xref:optional>
Indique si un magasin de données existant doit être remplacé. Si le magasin de données n’existe pas, il est créé. La valeur par défaut est False. valeur par défaut: False
|
|
grant_workspace_access
|
bool, <xref:optional>
Valeur par défaut False. Définissez-la sur True pour accéder à des données situées derrière un réseau virtuel à partir de Machine Learning Studio. Ainsi, lors de l’accès aux données à partir de Machine Learning Studio, l’identité managée de l’espace de travail est utilisée pour l’authentification, et celle-ci est ajoutée en tant que Lecteur du stockage. Vous devez être Propriétaire ou Administrateur de l’accès utilisateur du stockage pour configurer cette option. Si vous ne disposez pas de l’autorisation requise, demandez à votre administrateur de la configurer pour vous. Pour en savoir plus, consultez « https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network » valeur par défaut: False
|
Retours
| Type | Description |
|---|---|
|
Retourne le magasin de données Azure Data Lake. |
Remarques
Si vous joignez le stockage d’une autre région que celle de l’espace de travail, vous risquez d’avoir une latence plus élevée et des coûts supplémentaires d’utilisation du réseau.
Notes
Le magasin de données Azure Data Lake prend en charge le transfert de données et l’exécution de travaux U-Sql à l’aide des pipelines Azure Machine Learning.
Vous pouvez également l’utiliser comme source de données pour le jeu de données Azure Machine Learning qui peut être téléchargé ou monté sur tout calcul pris en charge.
register_azure_data_lake_gen2
Initialise un nouveau magasin de données Azure Data Lake Gen2.
L’accès aux données basé sur les informations d’identification (GA) et sur l’identité (préversion) est pris en charge. Vous pouvez inscrire un magasin de données auprès du principal du service pour un accès aux données basé sur les informations d’identification. En l’absence d’informations d’identification enregistrées dans le magasin de données, le jeton AAD des utilisateurs est utilisé dans le notebook ou dans le programme python local s’il appelle directement l’une des fonctions suivantes : FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files. L’identité de la cible de calcul sera utilisée dans les travaux soumis par Experiment.submit pour l’authentification de l’accès aux données. En savoir plus ici.
static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail auquel ce magasin de données appartient. |
|
datastore_name
Obligatoire
|
Nom du magasin de données. |
|
filesystem
Obligatoire
|
Nom du système de fichiers Data Lake Gen2. |
|
account_name
Obligatoire
|
nom du compte de stockage. |
|
tenant_id
|
str, <xref:optional>
ID de répertoire/ID de locataire du principal de service. valeur par défaut: None
|
|
client_id
|
str, <xref:optional>
ID de client/ID d’application du principal de service. valeur par défaut: None
|
|
client_secret
|
str, <xref:optional>
Secret du principal de service. valeur par défaut: None
|
|
resource_url
|
str, <xref:optional>
URL de ressource, qui détermine les opérations qui sont exécutées sur le Data Lake Store. La valeur par défaut est valeur par défaut: None
|
|
authority_url
|
str, <xref:optional>
URL de l’autorité utilisée pour authentifier l’utilisateur. La valeur par défaut est valeur par défaut: None
|
|
protocol
|
str, <xref:optional>
Protocole à utiliser pour la connexion au conteneur d’objets blob. Si None est défini, la valeur par défaut est https. valeur par défaut: None
|
|
endpoint
|
str, <xref:optional>
Point de terminaison du compte de stockage. Si None est défini, la valeur par défaut est core.windows.net. valeur par défaut: None
|
|
overwrite
|
bool, <xref:optional>
Indique si un magasin de données existant doit être remplacé. Si le magasin de données n’existe pas, il est créé. La valeur par défaut est False. valeur par défaut: False
|
|
subscription_id
|
str, <xref:optional>
ID de l’abonnement auquel le magasin ADLS appartient. valeur par défaut: None
|
|
resource_group
|
str, <xref:optional>
Groupe de ressources auquel appartient le magasin ADLS. valeur par défaut: None
|
|
grant_workspace_access
|
bool, <xref:optional>
Valeur par défaut False. Définissez-la sur True pour accéder à des données situées derrière un réseau virtuel à partir de Machine Learning Studio. Ainsi, lors de l’accès aux données à partir de Machine Learning Studio, l’identité managée de l’espace de travail est utilisée pour l’authentification, et celle-ci est ajoutée en tant que Lecteur du stockage. Vous devez être Propriétaire ou Administrateur de l’accès utilisateur du stockage pour configurer cette option. Si vous ne disposez pas de l’autorisation requise, demandez à votre administrateur de la configurer pour vous. Pour en savoir plus, consultez « https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network » valeur par défaut: False
|
Retours
| Type | Description |
|---|---|
|
Retourne le magasin de données Azure Data Lake Gen2. |
Remarques
Si vous joignez le stockage d’une autre région que celle de l’espace de travail, vous risquez d’avoir une latence plus élevée et des coûts supplémentaires d’utilisation du réseau.
register_azure_file_share
Inscrit un partage de fichiers Azure au magasin de données.
Vous pouvez choisir d’utiliser un jeton SAS ou une clé de compte de stockage
static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail auquel ce magasin de données appartient. |
|
datastore_name
Obligatoire
|
Nom du magasin de données, ne respecte pas la casse, doit contenir uniquement des caractères alphanumériques et _. |
|
file_share_name
Obligatoire
|
Nom du conteneur de fichiers Azure. |
|
account_name
Obligatoire
|
nom du compte de stockage. |
|
sas_token
|
str, <xref:optional>
Jeton SAS du compte. La valeur par défaut est None. Pour la lecture des données, nous avons besoin d’un minimum d’autorisations List & Read pour les conteneurs & Objects, et pour l’écriture de données, nous avons également besoin d’autorisations Écrire & Ajouter. valeur par défaut: None
|
|
account_key
|
str, <xref:optional>
Clés d’accès de votre compte de stockage. La valeur par défaut est None. valeur par défaut: None
|
|
protocol
|
str, <xref:optional>
Protocole à utiliser pour se connecter au partage de fichiers. Si None est défini, la valeur par défaut est https. valeur par défaut: None
|
|
endpoint
|
str, <xref:optional>
Point de terminaison du partage de fichiers. Si None est défini, la valeur par défaut est core.windows.net. valeur par défaut: None
|
|
overwrite
|
bool, <xref:optional>
Indique si un magasin de données existant doit être remplacé. Si le magasin de données n’existe pas, il est créé. La valeur par défaut est False. valeur par défaut: False
|
|
create_if_not_exists
|
bool, <xref:optional>
Indique si le partage de fichiers doit être créé s’il n’existe pas. La valeur par défaut est False. valeur par défaut: False
|
|
skip_validation
|
bool, <xref:optional>
Indique s’il faut ignorer la validation des clés de stockage. La valeur par défaut est False. valeur par défaut: False
|
Retours
| Type | Description |
|---|---|
|
Magasin de données de fichiers. |
Remarques
Si vous joignez le stockage d’une autre région que celle de l’espace de travail, vous risquez d’avoir une latence plus élevée et des coûts supplémentaires d’utilisation du réseau.
register_azure_my_sql
Initialise un nouveau magasin de données Azure MySQL.
Le magasin de données MySQL ne peut être utilisé que pour créer l’objet DataReference en tant qu’entrée et sortie vers DataTransferStep dans les pipelines Azure Machine Learning. Pour plus d’informations, cliquez ici.
Pour obtenir un exemple d’inscription d’une base de données Azure MySQL en tant que magasin de données, voir ci-dessous.
static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail auquel ce magasin de données appartient. |
|
datastore_name
Obligatoire
|
Nom du magasin de données. |
|
server_name
Obligatoire
|
Nom du serveur MySQL. |
|
database_name
Obligatoire
|
Nom de la base de données MySQL. |
|
user_id
Obligatoire
|
ID d’utilisateur du serveur MySQL. |
|
user_password
Obligatoire
|
Mot de passe utilisateur du serveur MySQL. |
|
port_number
|
Numéro de port du serveur MySQL. valeur par défaut: None
|
|
endpoint
|
str, <xref:optional>
Point de terminaison du serveur MySQL. Si None est défini, la valeur par défaut est mysql.database.azure.com. valeur par défaut: None
|
|
overwrite
|
bool, <xref:optional>
Indique si un magasin de données existant doit être remplacé. Si le magasin de données n’existe pas, il est créé. La valeur par défaut est False. valeur par défaut: False
|
Retours
| Type | Description |
|---|---|
|
Retourne le magasin de données de la base de données MySQL. |
Remarques
Si vous joignez le stockage d’une autre région que celle de l’espace de travail, vous risquez d’avoir une latence plus élevée et des coûts supplémentaires d’utilisation du réseau.
mysql_datastore_name="mysqldatastore"
server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.
mysql_datastore = Datastore.register_azure_my_sql(
workspace=ws,
datastore_name=mysql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_postgre_sql
Initialise nouveau magasin de données Azure PostgreSQL.
Pour obtenir un exemple d’inscription d’une base de données Azure PostgreSQL en tant que magasin de données, voir ci-dessous.
static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail auquel ce magasin de données appartient. |
|
datastore_name
Obligatoire
|
Nom du magasin de données. |
|
server_name
Obligatoire
|
Nom du serveur PostgreSQL. |
|
database_name
Obligatoire
|
Nom de la base de données PostgreSQL. |
|
user_id
Obligatoire
|
ID d’utilisateur du serveur PostgreSQL. |
|
user_password
Obligatoire
|
Mot de passe utilisateur du serveur PostgreSQL. |
|
port_number
|
Numéro de port du serveur PostgreSQL valeur par défaut: None
|
|
endpoint
|
str, <xref:optional>
ID d’utilisateur du serveur PostgreSQL. Si None est défini, la valeur par défaut est postgres.database.azure.com. valeur par défaut: None
|
|
overwrite
|
bool, <xref:optional>
Indique si un magasin de données existant doit être remplacé. Si le magasin de données n’existe pas, il est créé. La valeur par défaut est False. valeur par défaut: False
|
|
enforce_ssl
|
Indique la configuration SSL requise pour le serveur PostgreSQL. La valeur par défaut est True. valeur par défaut: True
|
Retours
| Type | Description |
|---|---|
|
Retourne le magasin de données de la base de données PostgreSQL. |
Remarques
Si vous joignez le stockage d’une autre région que celle de l’espace de travail, vous risquez d’avoir une latence plus élevée et des coûts supplémentaires d’utilisation du réseau.
psql_datastore_name="postgresqldatastore"
server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password
psql_datastore = Datastore.register_azure_postgre_sql(
workspace=ws,
datastore_name=psql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_sql_database
Initialise un nouveau magasin de données de base de données Azure SQL.
L’accès aux données basé sur les informations d’identification (GA) et sur l’identité (préversion) est pris en charge. Vous pouvez choisir d’utiliser le principal de service ou le nom d’utilisateur et le mot de passe. En l’absence d’informations d’identification enregistrées dans le magasin de données, le jeton AAD des utilisateurs est utilisé dans le notebook ou dans le programme python local s’il appelle directement l’une des fonctions suivantes : FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files. L’identité de la cible de calcul sera utilisée dans les travaux soumis par Experiment.submit pour l’authentification de l’accès aux données. En savoir plus ici.
Vous trouverez ci-dessous un exemple d’inscription d’une base de données Azure SQL en tant que magasin de données.
static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail auquel ce magasin de données appartient. |
|
datastore_name
Obligatoire
|
Nom du magasin de données. |
|
server_name
Obligatoire
|
Nom du serveur SQL Server. Pour un nom de domaine complet comme « sample.database.windows.net », la valeur de server_name doit être « sample » et la valeur de point de terminaison doit être « database.windows.net ». |
|
database_name
Obligatoire
|
Nom de la base de données SQL. |
|
tenant_id
|
ID de répertoire/ID de locataire du principal de service. valeur par défaut: None
|
|
client_id
|
ID de client/ID d’application du principal de service. valeur par défaut: None
|
|
client_secret
|
Secret du principal de service. valeur par défaut: None
|
|
resource_url
|
str, <xref:optional>
URL de la ressource, qui détermine les opérations qui sont exécutées sur le magasin de base de données SQL. Si None est défini, la valeur par défaut est https://database.windows.net/. valeur par défaut: None
|
|
authority_url
|
str, <xref:optional>
URL de l’autorité utilisée pour authentifier l’utilisateur. La valeur par défaut est https://login.microsoftonline.com. valeur par défaut: None
|
|
endpoint
|
str, <xref:optional>
Point de terminaison du serveur SQL. Si la valeur est None, la valeur par défaut est database.windows.net. valeur par défaut: None
|
|
overwrite
|
bool, <xref:optional>
Indique si un magasin de données existant doit être remplacé. Si le magasin de données n’existe pas, il est créé. La valeur par défaut est False. valeur par défaut: False
|
|
username
|
Nom d’utilisateur de l’utilisateur de base de données pour accéder à la base de données. valeur par défaut: None
|
|
password
|
Mot de passe de l’utilisateur de base de données pour accéder à la base de données. valeur par défaut: None
|
|
skip_validation
Obligatoire
|
bool, <xref:optional>
Indique s’il faut ignorer la validation de la connexion à la base de données SQL. Valeur par défaut False. |
|
subscription_id
|
str, <xref:optional>
ID de l’abonnement auquel le magasin ADLS appartient. valeur par défaut: None
|
|
resource_group
|
str, <xref:optional>
Groupe de ressources auquel appartient le magasin ADLS. valeur par défaut: None
|
|
grant_workspace_access
|
bool, <xref:optional>
Valeur par défaut False. Définissez-la sur True pour accéder à des données situées derrière un réseau virtuel à partir de Machine Learning Studio. Ainsi, lors de l’accès aux données à partir de Machine Learning Studio, l’identité managée de l’espace de travail est utilisée pour l’authentification, et celle-ci est ajoutée en tant que Lecteur du stockage. Vous devez être Propriétaire ou Administrateur de l’accès utilisateur du stockage pour configurer cette option. Si vous ne disposez pas de l’autorisation requise, demandez à votre administrateur de la configurer pour vous. Pour en savoir plus, consultez « https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network » valeur par défaut: False
|
Retours
| Type | Description |
|---|---|
|
Retourne le magasin de données de la base de données SQL. |
Remarques
Si vous joignez le stockage d’une autre région que celle de l’espace de travail, vous risquez d’avoir une latence plus élevée et des coûts supplémentaires d’utilisation du réseau.
sql_datastore_name="azuresqldatastore"
server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.
sql_datastore = Datastore.register_azure_sql_database(
workspace=ws,
datastore_name=sql_datastore_name,
server_name=server_name, # name should not contain fully qualified domain endpoint
database_name=database_name,
username=username,
password=password,
endpoint='database.windows.net')
register_dbfs
Initialisez un nouveau magasin de données de système de fichiers Databricks (DBFS).
Le magasin de données DBFS peut être utilisé uniquement pour créer DataReference en tant qu’entrée et PipelineData en tant que sortie vers DatabricksStep dans les pipelines Azure Machine Learning. Vous trouverez plus d’informations ici.
static register_dbfs(workspace, datastore_name)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
Espace de travail auquel ce magasin de données appartient. |
|
datastore_name
Obligatoire
|
Nom du magasin de données. |
Retours
| Type | Description |
|---|---|
|
Retourne le magasin de données DBFS. |
Remarques
Si vous joignez le stockage d’une autre région que celle de l’espace de travail, vous risquez d’avoir une latence plus élevée et des coûts supplémentaires d’utilisation du réseau.
register_hdfs
Notes
Il s’agit d’une méthode expérimentale qui peut changer à tout moment. Pour plus d’informations, consultez https://aka.ms/azuremlexperimental.
Initialisez un nouveau magasin de données HDFS.
static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)Paramètres
| Nom | Description |
|---|---|
|
workspace
Obligatoire
|
espace de travail auquel appartient ce magasin de données |
|
datastore_name
Obligatoire
|
nom du magasin de données |
|
protocol
Obligatoire
|
str ou
<xref:_restclient.models.enum>
Protocole à utiliser lors de la communication avec le cluster HDFS. http ou https. Les valeurs possibles sont : « http », « https » |
|
namenode_address
Obligatoire
|
L’adresse IP ou le nom d’hôte DNS du namenode HDFS. Peut inclure un port (facultatif). |
|
hdfs_server_certificate
Obligatoire
|
str, <xref:optional>
Le chemin vers le certificat de signature TLS du namenode HDFS, si TLS est utilisé avec un certificat auto-signé. |
|
kerberos_realm
Obligatoire
|
Domaine Kerberos. |
|
kerberos_kdc_address
Obligatoire
|
Adresse IP ou nom d’hôte DNS du KDC Kerberos. |
|
kerberos_principal
Obligatoire
|
Principal Kerberos à utiliser pour l’authentification et l’autorisation. |
|
kerberos_keytab
Obligatoire
|
str, <xref:optional>
Chemin vers le fichier keytab contenant la ou les clés correspondant au principal Kerberos. Fournissez cette valeur ou un mot de passe. |
|
kerberos_password
Obligatoire
|
str, <xref:optional>
Mot de passe correspondant au principal Kerberos. Fournissez cette valeur ou le chemin vers un fichier keytab. |
|
overwrite
Obligatoire
|
bool, <xref:optional>
Remplace un magasin de données existant. Si le magasin de données n’existe pas, il est créé. Valeur par défaut False. |
set_as_default
Définit le magasin de données par défaut.
set_as_default()Paramètres
| Nom | Description |
|---|---|
|
datastore_name
Obligatoire
|
Nom du magasin de données. |
unregister
Annule l’inscription du magasin de données. Le service de stockage sous-jacent n’est pas supprimé.
unregister()Commentaires
Bientôt disponible : Tout au long de 2024, nous allons supprimer progressivement GitHub Issues comme mécanisme de commentaires pour le contenu et le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultez https://aka.ms/ContentUserFeedback.
Envoyer et afficher des commentaires pour