Datastore Klasse

Stellt eine Speicherabstraktion eines Azure Machine Learning-Speicherkontos dar.

Datenspeicher werden Arbeitsbereichen angefügt und zum Speichern von Verbindungsinformationen zu Azure-Speicherdiensten verwendet, sodass Sie anhand des Namens darauf verweisen können und sich nicht die Verbindungsinformationen und das Geheimnis merken müssen, die zum Herstellen einer Verbindung mit den Speicherdiensten verwendet werden.

Beispiele für unterstützte Azure-Speicherdienste, die als Datenspeicher registriert werden können:

  • Azure-Blobcontainer

  • Azure-Dateifreigabe

  • Azure Data Lake

  • Azure Data Lake Gen2

  • Azure SQL-Datenbank

  • Azure Database for PostgreSQL

  • Databricks-Dateisystem

  • Azure Database for MySQL

Verwenden Sie diese Klasse, um Verwaltungsvorgänge durchzuführen, einschließlich Registrieren, Auflisten, Abrufen und Entfernen von Datenspeichern. Mit den register*-Methoden dieser Klasse werden Datenspeicher für die jeweiligen Dienste erstellt. Wenn Sie einen Datenspeicher für den Zugriff auf Daten verwenden, müssen Sie über die Berechtigung für den Zugriff auf die Daten verfügen. Dies hängt von den Anmeldeinformationen ab, die beim Datenspeicher registriert sind.

Weitere Informationen zu Datenspeichern und deren Verwendung für das maschinelle Lernen finden Sie in den folgenden Artikeln:

Ruft einen Datenspeicher anhand des Namens ab. Dieser Aufruf sendet eine Anforderung an den Datenspeicherdienst.

Vererbung
builtins.object
Datastore

Konstruktor

Datastore(workspace, name=None)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich.

name
str, <xref:optional>
Standardwert: None

Der Name des Datenspeichers. Der Standardwert lautet „Keine“, wodurch der Standarddatenspeicher abgerufen wird.

Hinweise

Um für Machine Learning-Aufgaben mit Daten in Ihren Datenspeichern zu interagieren, z. B. zum Training, erstellen Sie ein Azure Machine Learning-Dataset. Datasets stellen Funktionen bereit, die Tabellendaten Daten in einen Pandas-oder Spark-Datenrahmen laden. Mithilfe von Datasets können Sie auch Dateien beliebiger Formate aus Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL-Datenbank und Azure Database for PostgreSQL herunterladen oder einbinden. Erfahren Sie mehr über das Trainieren mit Datasets.

Das folgende Beispiel zeigt, wie Sie einen Datenspeicher erstellen, der mit einem Azure-Blobcontainer verbunden ist.


   from azureml.exceptions import UserErrorException

   blob_datastore_name='MyBlobDatastore'
   account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key

   try:
       blob_datastore = Datastore.get(ws, blob_datastore_name)
       print("Found Blob Datastore with name: %s" % blob_datastore_name)
   except UserErrorException:
       blob_datastore = Datastore.register_azure_blob_container(
           workspace=ws,
           datastore_name=blob_datastore_name,
           account_name=account_name, # Storage account name
           container_name=container_name, # Name of Azure blob container
           account_key=account_key) # Storage account key
       print("Registered blob datastore with name: %s" % blob_datastore_name)

   blob_data_ref = DataReference(
       datastore=blob_datastore,
       data_reference_name="blob_test_data",
       path_on_datastore="testdata")

Das vollständige Beispiel finden Sie unter https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb.

Methoden

get

Ruft einen Datenspeicher anhand des Namens ab. Dies entspricht dem Aufrufen des Konstruktors.

get_default

Abrufen des Standarddatenspeichers für den Arbeitsbereich.

register_azure_blob_container

Einen Azure-Blobcontainer für den Datenspeicher registrieren.

Anmeldeinformationsbasierter Zugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können SAS-Token oder Speicherkontoschlüssel verwenden. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

register_azure_data_lake

Einen neuen Azure Data Lake-Datastore initialisieren.

Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können einen Datenspeicher beim Dienstprinzipal für den anmeldeinformationsbasierten Datenzugriff registrieren. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

Weiter unten finden Sie ein Beispiel dafür, wie Sie einen Azure Data Lake Gen1 als Datastore registrieren.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Einen neuen Azure Data Lake Gen2-Datenspeicher initialisieren.

Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können einen Datenspeicher beim Dienstprinzipal für den anmeldeinformationsbasierten Datenzugriff registrieren. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

register_azure_file_share

Registriert eine Azure-Dateifreigabe für den Datenspeicher.

Sie haben die Wahl zwischen einem SAS-Token oder einem Speicherkontoschlüssel.

register_azure_my_sql

Einen neuen Azure MySQL-Datastore initialisieren.

Der MySQL-Datenspeicher kann nur zum Erstellen von DataReference-Objekten als Eingabe und Ausgabe für den DataTransferStep in Azure Machine Learning-Pipelines verwendet werden. Weitere Details finden Sie hier.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure MySQL-Datenbank als Datenspeicher registrieren.

register_azure_postgre_sql

Initialisiert einen neuen Azure PostgreSQL-Datenspeicher.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure PostgreSQL-Datenbank als Datenspeicher registrieren.

register_azure_sql_database

Ein neues Datastore-Objekt für die Azure SQL-Datenbank initialisieren.

Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können SAS-Token oder Speicherkontoschlüssel verwenden. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure SQL-Datenbank als Datenspeicher registrieren.

register_dbfs

Initialisiert einen neuen DBFS-Datenspeicher (Databricks File System).

Der DBFS-Datenspeicher kann nur zum Erstellen von DataReference als Eingabe und von PipelineData als Ausgabe für den DatabricksStep in Azure Machine Learning-Pipelines verwendet werden. Weitere Details finden Sie hier.

register_hdfs

Hinweis

Dies ist eine experimentelle Methode, die sich jederzeit ändern kann. Unter https://aka.ms/azuremlexperimental finden Sie weitere Informationen.

Initialisieren eines neuen HDFS-Datenspeichers.

set_as_default

Legt den Standarddatenspeicher fest.

unregister

Hebt die Registrierung des Datenspeichers auf. Der zugrundeliegende Speicherdienst wird nicht gelöscht.

get

Ruft einen Datenspeicher anhand des Namens ab. Dies entspricht dem Aufrufen des Konstruktors.

static get(workspace, datastore_name)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich.

datastore_name
str, <xref:optional>
Erforderlich

Der Name des Datenspeichers. Der Standardwert lautet „Keine“, wodurch der Standarddatenspeicher abgerufen wird.

Gibt zurück

Der Zugehörige Datenspeicher für diesen Namen.

Rückgabetyp

get_default

Abrufen des Standarddatenspeichers für den Arbeitsbereich.

static get_default(workspace)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich.

Gibt zurück

Der Standarddatenspeicher für den Arbeitsbereich.

Rückgabetyp

register_azure_blob_container

Einen Azure-Blobcontainer für den Datenspeicher registrieren.

Anmeldeinformationsbasierter Zugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können SAS-Token oder Speicherkontoschlüssel verwenden. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich.

datastore_name
str
Erforderlich

Der Name des Datenspeichers darf nur alphanumerische Zeichen und „_“ enthalten, wobei die Groß-/Kleinschreibung nicht beachtet wird.

container_name
str
Erforderlich

Der Name des Azure-Blobcontainers.

account_name
str
Erforderlich

Der Name des Speicherkontos.

sas_token
str, <xref:optional>
Standardwert: None

Ein Konto-SAS-Token, standardmäßig „Keine“. Für das Lesen von Daten benötigen wir mindestens Berechtigungen zum Auflisten & Lesen für Container & Objekte und für Datenschreibberechtigungen zusätzlich Schreibberechtigungen & Hinzufügen.

account_key
str, <xref:optional>
Standardwert: None

Zugriffsschlüssel Ihres Speicherkontos. Standardwert: „Keine“.

protocol
str, <xref:optional>
Standardwert: None

Protokoll, das zum Herstellen einer Verbindung mit dem Blobcontainer verwendet werden soll. Bei „Keine“ wird standardmäßig HTTPS verwendet.

endpoint
str, <xref:optional>
Standardwert: None

Der Endpunkt des Speicherkontos. Bei „Keine“ wird „core.windows.net“ verwendet.

overwrite
bool, <xref:optional>
Standardwert: False

Überschreibt einen vorhandenen Datenspeicher. Wenn der Datenspeicher nicht vorhanden ist, wird ein Datenspeicher erstellt, Standardwert „False“.

create_if_not_exists
bool, <xref:optional>
Standardwert: False

Den Blobcontainer erstellen, wenn er nicht vorhanden ist, Standardwert „False“.

skip_validation
bool, <xref:optional>
Standardwert: False

Überspringt die Validierung von Speicherschlüsseln, Standardwert „False“.

blob_cache_timeout
int, <xref:optional>
Standardwert: None

Wenn dieser Blob eingebunden wird, legen Sie das Cachetimeout auf diese Anzahl von Sekunden fest. Bei „None“ wird standardmäßig kein Timeout verwendet (d. h. Blobs werden für die Dauer des Auftrags beim Lesen zwischengespeichert).

grant_workspace_access
bool, <xref:optional>
Standardwert: False

Der Standardwert lautet „False“. Setzen Sie diese Einstellung auf „True“, um über Machine Learning Studio auf Daten hinter einem virtuellen Netzwerk zuzugreifen. Dadurch erfolgt die Authentifizierung für den Datenzugriff von Machine Learning Studio mithilfe der verwalteten Identität des Arbeitsbereichs, die als Leser des Speichers hinzugefügt wird. Sie müssen Besitzer oder Benutzerzugriffsadministrator des Speichers sein, um dies einzurichten. Bitten Sie Ihren Administrator, dies für Sie zu konfigurieren, wenn Sie nicht über die erforderliche Berechtigung verfügen. Weitere Informationen: https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network

subscription_id
str, <xref:optional>
Standardwert: None

Die Abonnement-ID des Speicherkontos. Standardwert: „Keine“.

resource_group
str, <xref:optional>
Standardwert: None

Die Ressourcengruppe des Speicherkontos. Standardwert: „Keine“.

Gibt zurück

Der Blobdatenspeicher.

Rückgabetyp

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

register_azure_data_lake

Einen neuen Azure Data Lake-Datastore initialisieren.

Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können einen Datenspeicher beim Dienstprinzipal für den anmeldeinformationsbasierten Datenzugriff registrieren. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

Weiter unten finden Sie ein Beispiel dafür, wie Sie einen Azure Data Lake Gen1 als Datastore registrieren.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich, zu dem dieser Datenspeicher gehört

datastore_name
str
Erforderlich

Der Datenspeichername

store_name
str
Erforderlich

Der Name des ADLS-Speichers.

tenant_id
str, <xref:optional>
Standardwert: None

Die Verzeichnis-ID/Mandanten-ID des Dienstprinzipals, der für den Zugriff auf die Daten verwendet wird.

client_id
str, <xref:optional>
Standardwert: None

Die Client-ID/Anwendungs-ID des Dienstprinzipals, der für den Zugriff auf die Daten verwendet wird.

client_secret
str, <xref:optional>
Standardwert: None

Der geheime Clientschlüssel des Dienstprinzipals, der für den Zugriff auf Daten verwendet wird.

resource_url
str, <xref:optional>
Standardwert: None

Die Ressourcen-URL, die bestimmt, welche Vorgänge für den Data Lake-Speicher ausgeführt werden. Bei „Keine“ lautet der Standardwert https://datalake.azure.net/, wodurch Dateisystemvorgänge ausgeführt werden können.

authority_url
str, <xref:optional>
Standardwert: None

Die Autoritäts-URL, die zur Authentifizierung des Benutzers verwendet wird. Standardwert: https://login.microsoftonline.com.

subscription_id
str, <xref:optional>
Standardwert: None

Die ID des Abonnements, zu dem der ADLS-Speicher gehört.

resource_group
str, <xref:optional>
Standardwert: None

Die Ressourcengruppe, zu der der ADLS-Speicher gehört.

overwrite
bool, <xref:optional>
Standardwert: False

Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“.

grant_workspace_access
bool, <xref:optional>
Standardwert: False

Der Standardwert lautet „False“. Setzen Sie diese Einstellung auf „True“, um über Machine Learning Studio auf Daten hinter einem virtuellen Netzwerk zuzugreifen. Dadurch erfolgt die Authentifizierung für den Datenzugriff von Machine Learning Studio mithilfe der verwalteten Identität des Arbeitsbereichs, die als Leser des Speichers hinzugefügt wird. Sie müssen Besitzer oder Benutzerzugriffsadministrator des Speichers sein, um dies einzurichten. Bitten Sie Ihren Administrator, dies für Sie zu konfigurieren, wenn Sie nicht über die erforderliche Berechtigung verfügen. Weitere Informationen: https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network

Gibt zurück

Gibt den Azure Data Lake-Datenspeicher zurück.

Rückgabetyp

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

Hinweis

Azure Data Lake-Datenspeicher unterstützen Datenübertragungen und das Ausführen von U-SQL-Aufträgen mithilfe von Azure Machine Learning-Pipelines.

Darüber hinaus ist eine Verwendung als Datenquelle für ein Azure Machine Learning-Dataset möglich, das heruntergeladen oder auf jedem unterstützten Computeziel bereitgestellt werden kann.

register_azure_data_lake_gen2

Einen neuen Azure Data Lake Gen2-Datenspeicher initialisieren.

Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können einen Datenspeicher beim Dienstprinzipal für den anmeldeinformationsbasierten Datenzugriff registrieren. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich, zu dem dieser Datenspeicher gehört

datastore_name
str
Erforderlich

Der Datenspeichername

filesystem
str
Erforderlich

Der Name des Data Lake Gen2-Dateisystems.

account_name
str
Erforderlich

Der Name des Speicherkontos.

tenant_id
str, <xref:optional>
Standardwert: None

Die Verzeichnis-ID/Mandanten-ID des Dienstprinzipals

client_id
str, <xref:optional>
Standardwert: None

Die Client-ID/Anwendungs-ID des Dienstprinzipals.

client_secret
str, <xref:optional>
Standardwert: None

Das Geheimnis des Dienstprinzipals.

resource_url
str, <xref:optional>
Standardwert: None

Die Ressourcen-URL, die bestimmt, welche Vorgänge für den Data Lake-Speicher ausgeführt werden. Der Standardwert lautet https://storage.azure.com/, wodurch Dateisystemvorgänge ausgeführt werden können.

authority_url
str, <xref:optional>
Standardwert: None

Die Autoritäts-URL, die zur Authentifizierung des Benutzers verwendet wird. Standardwert: https://login.microsoftonline.com.

protocol
str, <xref:optional>
Standardwert: None

Protokoll, das zum Herstellen einer Verbindung mit dem Blobcontainer verwendet werden soll. Bei „Keine“ wird standardmäßig HTTPS verwendet.

endpoint
str, <xref:optional>
Standardwert: None

Der Endpunkt des Speicherkontos. Bei „Keine“ wird „core.windows.net“ verwendet.

overwrite
bool, <xref:optional>
Standardwert: False

Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“.

subscription_id
str, <xref:optional>
Standardwert: None

Die ID des Abonnements, zu dem der ADLS-Speicher gehört.

resource_group
str, <xref:optional>
Standardwert: None

Die Ressourcengruppe, zu der der ADLS-Speicher gehört.

grant_workspace_access
bool, <xref:optional>
Standardwert: False

Der Standardwert lautet „False“. Setzen Sie diese Einstellung auf „True“, um über Machine Learning Studio auf Daten hinter einem virtuellen Netzwerk zuzugreifen. Dadurch erfolgt die Authentifizierung für den Datenzugriff von Machine Learning Studio mithilfe der verwalteten Identität des Arbeitsbereichs, die als Leser des Speichers hinzugefügt wird. Sie müssen Besitzer oder Benutzerzugriffsadministrator des Speichers sein, um dies einzurichten. Bitten Sie Ihren Administrator, dies für Sie zu konfigurieren, wenn Sie nicht über die erforderliche Berechtigung verfügen. Weitere Informationen: https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network

Gibt zurück

Gibt den Azure Data Lake Gen2-Datenspeicher zurück.

Rückgabetyp

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

register_azure_file_share

Registriert eine Azure-Dateifreigabe für den Datenspeicher.

Sie haben die Wahl zwischen einem SAS-Token oder einem Speicherkontoschlüssel.

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich, zu dem dieser Datenspeicher gehört

datastore_name
str
Erforderlich

Der Name des Datenspeichers darf nur alphanumerische Zeichen und „_“ enthalten, wobei die Groß-/Kleinschreibung nicht beachtet wird.

file_share_name
str
Erforderlich

Der Name des Azure-Dateicontainers.

account_name
str
Erforderlich

Der Name des Speicherkontos.

sas_token
str, <xref:optional>
Standardwert: None

Ein Konto-SAS-Token, standardmäßig „Keine“. Zum Lesen von Daten benötigen wir mindestens Listen- & Leseberechtigungen für Container & Objekte und für Datenschreibberechtigungen zusätzlich Schreibberechtigungen & Hinzufügen.

account_key
str, <xref:optional>
Standardwert: None

Zugriffsschlüssel Ihres Speicherkontos. Standardwert: „Keine“.

protocol
str, <xref:optional>
Standardwert: None

Das Protokoll, das zum Herstellen einer Verbindung mit der Dateifreigabe verwendet werden soll. Bei „Keine“ wird standardmäßig HTTPS verwendet.

endpoint
str, <xref:optional>
Standardwert: None

Der Endpunkt der Dateifreigabe. Bei „Keine“ wird „core.windows.net“ verwendet.

overwrite
bool, <xref:optional>
Standardwert: False

Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“.

create_if_not_exists
bool, <xref:optional>
Standardwert: False

Gibt an, ob die Dateifreigabe erstellt werden soll, wenn keine vorhanden ist. Die Standardeinstellung lautet „false“.

skip_validation
bool, <xref:optional>
Standardwert: False

Gibt an, ob die Überprüfung von Speicherschlüsseln übersprungen werden soll. Die Standardeinstellung lautet „false“.

Gibt zurück

Der Dateidatenspeicher.

Rückgabetyp

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

register_azure_my_sql

Einen neuen Azure MySQL-Datastore initialisieren.

Der MySQL-Datenspeicher kann nur zum Erstellen von DataReference-Objekten als Eingabe und Ausgabe für den DataTransferStep in Azure Machine Learning-Pipelines verwendet werden. Weitere Details finden Sie hier.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure MySQL-Datenbank als Datenspeicher registrieren.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich, zu dem dieser Datenspeicher gehört

datastore_name
str
Erforderlich

Der Datenspeichername

server_name
str
Erforderlich

Name des MySQL-Servers.

database_name
str
Erforderlich

Der Name der MySQL-Datenbank.

user_id
str
Erforderlich

Die Benutzer-ID des MySQL-Servers.

user_password
str
Erforderlich

Das Benutzerkennwort des MySQL-Servers.

port_number
str
Standardwert: None

Die Portnummer des MySQL-Servers.

endpoint
str, <xref:optional>
Standardwert: None

Der Endpunkt des MySQL-Servers. Bei „Keine“ lautet der Standardwert mysql.database.azure.com.

overwrite
bool, <xref:optional>
Standardwert: False

Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“.

Gibt zurück

Gibt den Datenspeicher der MySQL-Datenbank zurück.

Rückgabetyp

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Initialisiert einen neuen Azure PostgreSQL-Datenspeicher.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure PostgreSQL-Datenbank als Datenspeicher registrieren.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich, zu dem dieser Datenspeicher gehört

datastore_name
str
Erforderlich

Der Datenspeichername

server_name
str
Erforderlich

Der Name des PostgreSQL-Servers.

database_name
str
Erforderlich

Der Name der PostgreSQL-Datenbank.

user_id
str
Erforderlich

Die Benutzer-ID des PostgreSQL-Servers.

user_password
str
Erforderlich

Das Benutzerkennwort des PostgreSQL-Servers.

port_number
str
Standardwert: None

Die Portnummer des PostgreSQL-Servers.

endpoint
str, <xref:optional>
Standardwert: None

Der Endpunkt des PostgreSQL-Servers. Bei „Keine“ lautet der Standardwert postgres.database.azure.com.

overwrite
bool, <xref:optional>
Standardwert: False

Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“.

enforce_ssl
bool
Standardwert: True

Gibt die SSL-Anforderung des PostgreSQL-Servers an. Der Standardwert ist „True“.

Gibt zurück

Gibt den Datenspeicher der PostgreSQL-Datenbank zurück.

Rückgabetyp

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Ein neues Datastore-Objekt für die Azure SQL-Datenbank initialisieren.

Anmeldeinformationsbasierter Datenzugriff (allgemein verfügbar) und identitätsbasierter Datenzugriff (Vorschau) werden unterstützt. Sie können SAS-Token oder Speicherkontoschlüssel verwenden. Wenn keine Anmeldeinformationen mit dem Datenspeicher gespeichert werden, wird das AAD-Token von Benutzern in Notebook oder im lokalen Python-Programm verwendet, wenn eine der folgenden Funktionen direkt aufgerufen wird: „FileDataset.mount“, „FileDataset.download“, „FileDataset.to_path“, „TabularDataset.to_pandas_dataframe“, „TabularDataset.to_dask_dataframe“, „TabularDataset.to_spark_dataframe“, „TabularDataset.to_parquet_files“ und „TabularDataset.to_csv_files“. Die Identität des Computeziels wird in Aufträgen verwendet, die von „Experiment.submit“ für die Datenzugriffsauthentifizierung übermittelt werden. Hier erhalten Sie weitere Informationen.

Weiter unten finden Sie ein Beispiel dafür, wie Sie eine Azure SQL-Datenbank als Datenspeicher registrieren.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich, zu dem dieser Datenspeicher gehört

datastore_name
str
Erforderlich

Der Datenspeichername

server_name
str
Erforderlich

Der SQL Server-Name. Bei vollqualifizierten Domänennamen wie „beispiel.datenbank.windows.net“ sollte der server_name-Wert „beispiel“ und der Endpunktwert „datenbank.windows.net“ lauten.

database_name
str
Erforderlich

Der SQL-Datenbankname.

tenant_id
str
Standardwert: None

Die Verzeichnis-ID/Mandanten-ID des Dienstprinzipals

client_id
str
Standardwert: None

Die Client-ID/Anwendungs-ID des Dienstprinzipals.

client_secret
str
Standardwert: None

Das Geheimnis des Dienstprinzipals.

resource_url
str, <xref:optional>
Standardwert: None

Die Ressourcen-URL, die bestimmt, welche Vorgänge im SQL-Datenbankspeicher ausgeführt werden. Bei „Keine“ wird standardmäßig https://database.windows.net/ verwendet.

authority_url
str, <xref:optional>
Standardwert: None

Die Autoritäts-URL, die zur Authentifizierung des Benutzers verwendet wird. Standardwert: https://login.microsoftonline.com.

endpoint
str, <xref:optional>
Standardwert: None

Der Endpunkt der SQL Server-Instanz. Standardwert bei „Keine“: database.windows.net.

overwrite
bool, <xref:optional>
Standardwert: False

Gibt an, ob ein vorhandener Datenspeicher überschrieben werden soll. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Die Standardeinstellung lautet „false“.

username
str
Standardwert: None

Der Benutzername des Datenbankbenutzers für den Zugriff auf die Datenbank.

password
str
Standardwert: None

Das Kennwort des Datenbankbenutzers für den Zugriff auf die Datenbank.

skip_validation
bool, <xref:optional>
Erforderlich

Gibt an, ob die Validierung der Verbindungsherstellung mit der SQL-Datenbank übersprungen werden soll. Der Standardwert lautet „False“.

subscription_id
str, <xref:optional>
Standardwert: None

Die ID des Abonnements, zu dem der ADLS-Speicher gehört.

resource_group
str, <xref:optional>
Standardwert: None

Die Ressourcengruppe, zu der der ADLS-Speicher gehört.

grant_workspace_access
bool, <xref:optional>
Standardwert: False

Der Standardwert lautet „False“. Setzen Sie diese Einstellung auf „True“, um über Machine Learning Studio auf Daten hinter einem virtuellen Netzwerk zuzugreifen. Dadurch erfolgt die Authentifizierung für den Datenzugriff von Machine Learning Studio mithilfe der verwalteten Identität des Arbeitsbereichs, die als Leser des Speichers hinzugefügt wird. Sie müssen Besitzer oder Benutzerzugriffsadministrator des Speichers sein, um dies einzurichten. Bitten Sie Ihren Administrator, dies für Sie zu konfigurieren, wenn Sie nicht über die erforderliche Berechtigung verfügen. Weitere Informationen: https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network

Gibt zurück

Gibt den Datenspeicher der SQL-Datenbank zurück.

Rückgabetyp

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Initialisiert einen neuen DBFS-Datenspeicher (Databricks File System).

Der DBFS-Datenspeicher kann nur zum Erstellen von DataReference als Eingabe und von PipelineData als Ausgabe für den DatabricksStep in Azure Machine Learning-Pipelines verwendet werden. Weitere Details finden Sie hier.

static register_dbfs(workspace, datastore_name)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich, zu dem dieser Datenspeicher gehört

datastore_name
str
Erforderlich

Der Datenspeichername

Gibt zurück

Gibt den DBFS-Datenspeicher zurück.

Rückgabetyp

Hinweise

Wenn Sie Speicher aus einer anderen Region als der Arbeitsbereichsregion anfügen, kann dies zu längeren Wartezeiten und zu zusätzlichen Kosten für die Netzwerknutzung führen.

register_hdfs

Hinweis

Dies ist eine experimentelle Methode, die sich jederzeit ändern kann. Unter https://aka.ms/azuremlexperimental finden Sie weitere Informationen.

Initialisieren eines neuen HDFS-Datenspeichers.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parameter

workspace
Workspace
Erforderlich

Der Arbeitsbereich, zu dem dieser Datenspeicher gehört

datastore_name
str
Erforderlich

Der Datenspeichername

protocol
str oder <xref:_restclient.models.enum>
Erforderlich

Das Protokoll, das für die Kommunikation mit dem HDFS-Cluster verwendet werden soll. HTTP oder HTTPS. Mögliche Werte: „http“, „https“

namenode_address
str
Erforderlich

Die IP-Adresse oder der DNS-Hostname des HDFS-Namensknotens (NameNode). Enthält optional einen Port.

hdfs_server_certificate
str, <xref:optional>
Erforderlich

Der Pfad zum TLS-Signaturzertifikat des HDFS-Namensknotens, wenn TLS mit einem selbstsigniertem Zertifikat verwendet wird.

kerberos_realm
str
Erforderlich

Der Kerberos-Bereich.

kerberos_kdc_address
str
Erforderlich

Die IP-Adresse oder der DNS-Hostname der Kerberos-KDC-Instanz.

kerberos_principal
str
Erforderlich

Der Kerberos-Prinzipal, der für die Authentifizierung und Autorisierung verwendet werden soll.

kerberos_keytab
str, <xref:optional>
Erforderlich

Der Pfad zur Schlüsseltabellendatei mit den Schlüsseln, die dem Kerberos-Prinzipal entsprechen. Geben Sie entweder diesen Pfad oder ein Kennwort an.

kerberos_password
str, <xref:optional>
Erforderlich

Das Kennwort, das dem Kerberos-Prinzipal entspricht. Geben Sie entweder dieses Kennwort oder den Pfad zu einer Schlüsseltabellendatei an.

overwrite
bool, <xref:optional>
Erforderlich

Überschreibt einen vorhandenen Datenspeicher. Wenn der Datenspeicher nicht vorhanden ist, wird er erstellt. Der Standardwert lautet „False“.

set_as_default

Legt den Standarddatenspeicher fest.

set_as_default()

Parameter

datastore_name
str
Erforderlich

Der Name des Datenspeichers.

unregister

Hebt die Registrierung des Datenspeichers auf. Der zugrundeliegende Speicherdienst wird nicht gelöscht.

unregister()