Datastore Třída

  • Reference

Představuje abstrakci úložiště nad účtem úložiště služby Azure Machine Learning.

Úložiště dat jsou připojená k pracovním prostorům a používají se k ukládání informací o připojení ke službám Azure Storage, abyste na ně mohli odkazovat podle názvu a nemuseli si pamatovat informace o připojení a tajný kód použitý pro připojení ke službám úložiště.

Příklady podporovaných služeb Úložiště Azure, které je možné zaregistrovat jako úložiště dat:

  • Kontejner objektů blob Azure

  • Sdílená složka Azure

  • Azure Data Lake

  • Azure Data Lake Gen2

  • Azure SQL Database

  • Azure Database for PostgreSQL

  • Systém souborů Databricks

  • Azure Database for MySQL

Tato třída slouží k provádění operací správy, včetně registrace, výpisu, získání a odebrání úložišť dat. Úložiště dat pro každou službu se vytvářejí pomocí register* metod této třídy. Pokud pro přístup k datům používáte úložiště dat, musíte mít oprávnění pro přístup k datům, což závisí na přihlašovacích údajích zaregistrovaných v úložišti dat.

Další informace o úložištích dat a jejich použití ve strojovém učení najdete v následujících článcích:

Získejte úložiště dat podle názvu. Toto volání vytvoří požadavek na službu úložiště dat.

Dědičnost
builtins.object
Datastore

Konstruktor

Datastore(workspace, name=None)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor.

name
str, <xref:optional>
výchozí hodnota: None

Výchozí název úložiště dat je None (Žádný), čímž se získá výchozí úložiště dat.

Poznámky

Pokud chcete pracovat s daty v úložištích dat pro úlohy strojového učení, jako je trénování, vytvořte datovou sadu Azure Machine Learning. Datové sady poskytují funkce, které načítají tabulková data do datového rámce pandas nebo Sparku. Datové sady také umožňují stahovat nebo připojovat soubory libovolného formátu ze služby Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database a Azure Database for PostgreSQL. Přečtěte si další informace o tom, jak trénovat pomocí datových sad.

Následující příklad ukazuje, jak vytvořit úložiště dat připojené ke kontejneru objektů blob Azure.


   from azureml.exceptions import UserErrorException

   blob_datastore_name='MyBlobDatastore'
   account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key

   try:
       blob_datastore = Datastore.get(ws, blob_datastore_name)
       print("Found Blob Datastore with name: %s" % blob_datastore_name)
   except UserErrorException:
       blob_datastore = Datastore.register_azure_blob_container(
           workspace=ws,
           datastore_name=blob_datastore_name,
           account_name=account_name, # Storage account name
           container_name=container_name, # Name of Azure blob container
           account_key=account_key) # Storage account key
       print("Registered blob datastore with name: %s" % blob_datastore_name)

   blob_data_ref = DataReference(
       datastore=blob_datastore,
       data_reference_name="blob_test_data",
       path_on_datastore="testdata")

Úplná ukázka je k dispozici na https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Metody

get

Získejte úložiště dat podle názvu. To je stejné jako volání konstruktoru.
get_default

Získejte výchozí úložiště dat pro pracovní prostor.
register_azure_blob_container

Zaregistrujte kontejner objektů blob Azure v úložišti dat.

Podporuje se přístup k datům založený na přihlašovacích údajích (GA) a identita (Preview). Můžete se rozhodnout použít token SAS nebo klíč účtu úložiště. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.
register_azure_data_lake

Inicializace nového úložiště dat Azure Data Lake

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace Azure Data Lake Gen1 jako úložiště dat.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Inicializujte nové úložiště dat Azure Data Lake Gen2.

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.
register_azure_file_share

Zaregistrujte sdílenou složku Azure do úložiště dat.

Můžete použít token SAS nebo klíč účtu úložiště.
register_azure_my_sql

Inicializace nového úložiště dat Azure MySQL

Úložiště dat MySQL je možné použít pouze k vytvoření dataReference jako vstupu a výstupu pro dataTransferStep v kanálech Služby Azure Machine Learning. Další podrobnosti najdete tady.

Níže najdete příklad registrace databáze Azure MySQL jako úložiště dat.
register_azure_postgre_sql

Inicializace nového úložiště dat Azure PostgreSQL

Níže najdete příklad registrace databáze Azure PostgreSQL jako úložiště dat.
register_azure_sql_database

Inicializujte nové úložiště dat databáze Azure SQL.

Přístup k datům založený na přihlašovacích údajích (GA) a identita (Preview) je podporovaný. Můžete se rozhodnout použít instanční objekt nebo uživatelské jméno a heslo. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace databáze Azure SQL jako úložiště dat.
register_dbfs

Inicializujte nové úložiště dat systému souborů Databricks (DBFS).

Úložiště dat DBFS se dá použít jenom k vytvoření dataReference jako vstupu a PipelineData jako výstupu do DatabricksStep v kanálech Azure Machine Learning. Další podrobnosti najdete tady.
register_hdfs

Poznámka

Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Inicializujte nové úložiště dat HDFS.
set_as_default

Nastavte výchozí úložiště dat.
unregister

Zruší registraci úložiště dat. základní služba úložiště se neodstraní.

get

Získejte úložiště dat podle názvu. To je stejné jako volání konstruktoru.

static get(workspace, datastore_name)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor.

datastore_name
str, <xref:optional>
Vyžadováno

Výchozí název úložiště dat je None (Žádný), čímž se získá výchozí úložiště dat.

Návraty

Odpovídající úložiště dat pro tento název.

Návratový typ

AzureFileDatastore,
AzureBlobDatastore,
AzureDataLakeDatastore,
AzureDataLakeGen2Datastore,
AzureSqlDatabaseDatastore,
AzurePostgreSqlDatastore,
AzureMySqlDatastore,
DBFSDatastore

get_default

Získejte výchozí úložiště dat pro pracovní prostor.

static get_default(workspace)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor.

Návraty

Výchozí úložiště dat pro pracovní prostor

Návratový typ

AzureFileDatastore,
AzureBlobDatastore

register_azure_blob_container

Zaregistrujte kontejner objektů blob Azure v úložišti dat.

Podporuje se přístup k datům založený na přihlašovacích údajích (GA) a identita (Preview). Můžete se rozhodnout použít token SAS nebo klíč účtu úložiště. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor.

datastore_name
str
Vyžadováno

Název úložiště dat, který nerozlišuje velká a malá písmena, může obsahovat pouze alfanumerické znaky a _.

container_name
str
Vyžadováno

Název kontejneru objektů blob Azure.

account_name
str
Vyžadováno

Název účtu úložiště.

sas_token
str, <xref:optional>
výchozí hodnota: None

Token SAS účtu, výchozí hodnota je None (Žádný). Pro čtení dat vyžadujeme minimálně oprávnění ke čtení & seznamu pro kontejnery & objekty a pro zápis dat navíc vyžadujeme oprávnění k zápisu & přidat oprávnění.

account_key
str, <xref:optional>
výchozí hodnota: None

Přístupové klíče vašeho účtu úložiště, výchozí hodnota je Žádná.

protocol
str, <xref:optional>
výchozí hodnota: None

Protokol, který se použije pro připojení ke kontejneru objektů blob. Pokud žádný, výchozí hodnota je https.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod účtu úložiště. Pokud žádný, výchozí hodnota je core.windows.net.

overwrite
bool, <xref:optional>
výchozí hodnota: False

přepíše existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří se jako výchozí false.

create_if_not_exists
bool, <xref:optional>
výchozí hodnota: False

Pokud kontejner objektů blob neexistuje, vytvořte ho, výchozí hodnota je False.

skip_validation
bool, <xref:optional>
výchozí hodnota: False

přeskočí ověřování klíčů úložiště, výchozí hodnota je False.

blob_cache_timeout
int, <xref:optional>
výchozí hodnota: None

Po připojení tohoto objektu blob nastavte časový limit mezipaměti na tento počet sekund. Pokud žádný, výchozí hodnota nemá žádný časový limit (tj. objekty blob budou při čtení uloženy v mezipaměti po dobu trvání úlohy).

grant_workspace_access
bool, <xref:optional>
výchozí hodnota: False

Výchozí hodnota je False. Pokud chcete z nástroje Machine Learning Studio přistupovat k datům za virtuální sítí, nastavte ho na Hodnotu True. Tím zajistíte, že přístup k datům z nástroje Machine Learning Studio bude k ověřování používat spravovanou identitu pracovního prostoru a jako čtenáře úložiště se přidá spravovaná identita pracovního prostoru. Pokud chcete vyjádřit výslovný souhlas, musíte být vlastníkem nebo správcem uživatelských přístupů k úložišti. Pokud nemáte požadovaná oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

subscription_id
str, <xref:optional>
výchozí hodnota: None

ID předplatného účtu úložiště se ve výchozím nastavení nastaví na Žádné.

resource_group
str, <xref:optional>
výchozí hodnota: None

Výchozí hodnota skupiny prostředků účtu úložiště je Žádná.

Návraty

Úložiště dat objektů blob.

Návratový typ

AzureBlobDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_data_lake

Inicializace nového úložiště dat Azure Data Lake

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace Azure Data Lake Gen1 jako úložiště dat.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

store_name
str
Vyžadováno

Název úložiště ADLS.

tenant_id
str, <xref:optional>
výchozí hodnota: None

ID adresáře nebo ID tenanta instančního objektu používaného pro přístup k datům.

client_id
str, <xref:optional>
výchozí hodnota: None

ID klienta nebo ID aplikace instančního objektu používaného pro přístup k datům.

client_secret
str, <xref:optional>
výchozí hodnota: None

Tajný klíč klienta instančního objektu používaného pro přístup k datům.

resource_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL prostředku, která určuje, jaké operace se budou ve službě Data Lake Store provádět( pokud none), je výchozí hodnota https://datalake.azure.net/ , která nám umožňuje provádět operace systému souborů.

authority_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL autority použitá k ověření uživatele je ve výchozím nastavení .https://login.microsoftonline.com

subscription_id
str, <xref:optional>
výchozí hodnota: None

ID předplatného, do které patří úložiště ADLS.

resource_group
str, <xref:optional>
výchozí hodnota: None

Skupina prostředků, do které patří úložiště ADLS.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

grant_workspace_access
bool, <xref:optional>
výchozí hodnota: False

Výchozí hodnota je False. Pokud chcete z nástroje Machine Learning Studio přistupovat k datům za virtuální sítí, nastavte ho na Hodnotu True. Tím zajistíte, že přístup k datům z nástroje Machine Learning Studio bude k ověřování používat spravovanou identitu pracovního prostoru a jako čtenáře úložiště se přidá spravovaná identita pracovního prostoru. Pokud chcete vyjádřit výslovný souhlas, musíte být vlastníkem úložiště nebo správcem uživatelských přístupů. Pokud nemáte požadovaná oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Návraty

Vrátí úložiště dat Azure Data Lake.

Návratový typ

AzureDataLakeDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

Poznámka

Úložiště dat Azure Data Lake podporuje přenos dat a spouštění úloh U-Sql pomocí kanálů Azure Machine Learning.

Můžete ho také použít jako zdroj dat pro datovou sadu Azure Machine Learning, kterou si můžete stáhnout nebo připojit k libovolnému podporovanému výpočetnímu prostředí.

register_azure_data_lake_gen2

Inicializujte nové úložiště dat Azure Data Lake Gen2.

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

filesystem
str
Vyžadováno

Název systému souborů Data Lake Gen2.

account_name
str
Vyžadováno

Název účtu úložiště.

tenant_id
str, <xref:optional>
výchozí hodnota: None

ID adresáře nebo ID tenanta instančního objektu.

client_id
str, <xref:optional>
výchozí hodnota: None

ID klienta nebo ID aplikace instančního objektu.

client_secret
str, <xref:optional>
výchozí hodnota: None

Tajný kód instančního objektu.

resource_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL prostředku, která určuje, jaké operace se budou ve službě Data Lake Store provádět, je výchozí hodnota https://storage.azure.com/ , která nám umožňuje provádět operace systému souborů.

authority_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL autority použitá k ověření uživatele je ve výchozím nastavení .https://login.microsoftonline.com

protocol
str, <xref:optional>
výchozí hodnota: None

Protokol, který se použije pro připojení ke kontejneru objektů blob. Pokud žádný, výchozí hodnota je https.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod účtu úložiště. Pokud žádný, výchozí hodnota je core.windows.net.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

subscription_id
str, <xref:optional>
výchozí hodnota: None

ID předplatného, do které patří úložiště ADLS.

resource_group
str, <xref:optional>
výchozí hodnota: None

Skupina prostředků, do které patří úložiště ADLS.

grant_workspace_access
bool, <xref:optional>
výchozí hodnota: False

Výchozí hodnota je False. Pokud chcete z nástroje Machine Learning Studio přistupovat k datům za virtuální sítí, nastavte ho na Hodnotu True. Tím zajistíte, že přístup k datům z nástroje Machine Learning Studio bude k ověřování používat spravovanou identitu pracovního prostoru a jako čtenáře úložiště se přidá spravovaná identita pracovního prostoru. Pokud chcete vyjádřit výslovný souhlas, musíte být vlastníkem nebo správcem uživatelských přístupů k úložišti. Pokud nemáte požadovaná oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Návraty

Vrátí úložiště dat Azure Data Lake Gen2.

Návratový typ

AzureDataLakeGen2Datastore

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_file_share

Zaregistrujte sdílenou složku Azure do úložiště dat.

Můžete použít token SAS nebo klíč účtu úložiště.

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat, který nerozlišuje velká a malá písmena, může obsahovat pouze alfanumerické znaky a _.

file_share_name
str
Vyžadováno

Název kontejneru souborů Azure.

account_name
str
Vyžadováno

Název účtu úložiště.

sas_token
str, <xref:optional>
výchozí hodnota: None

Token SAS účtu, výchozí hodnota je None (Žádný). Pro čtení dat vyžadujeme minimálně oprávnění ke čtení & seznamu pro kontejnery & objekty a pro zápis dat navíc vyžadujeme oprávnění k zápisu & přidat oprávnění.

account_key
str, <xref:optional>
výchozí hodnota: None

Přístupové klíče vašeho účtu úložiště, výchozí hodnota je Žádná.

protocol
str, <xref:optional>
výchozí hodnota: None

Protokol, který se použije pro připojení ke sdílené složce. Pokud žádný, výchozí hodnota je https.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod sdílené složky. Pokud žádný, výchozí hodnota je core.windows.net.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

create_if_not_exists
bool, <xref:optional>
výchozí hodnota: False

Určuje, jestli chcete vytvořit sdílenou složku, pokud neexistuje. Výchozí hodnota je Nepravda.

skip_validation
bool, <xref:optional>
výchozí hodnota: False

Jestli se má přeskočit ověřování klíčů úložiště. Výchozí hodnota je Nepravda.

Návraty

Úložiště dat souboru.

Návratový typ

AzureFileDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_my_sql

Inicializace nového úložiště dat Azure MySQL

Úložiště dat MySQL je možné použít pouze k vytvoření dataReference jako vstupu a výstupu pro dataTransferStep v kanálech Služby Azure Machine Learning. Další podrobnosti najdete tady.

Níže najdete příklad registrace databáze Azure MySQL jako úložiště dat.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

server_name
str
Vyžadováno

Název serveru MySQL.

database_name
str
Vyžadováno

Název databáze MySQL.

user_id
str
Vyžadováno

ID uživatele serveru MySQL.

user_password
str
Vyžadováno

Uživatelské heslo serveru MySQL.

port_number
str
výchozí hodnota: None

Číslo portu serveru MySQL.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod serveru MySQL. Pokud žádný, výchozí hodnota je mysql.database.azure.com.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

Návraty

Vrátí úložiště dat databáze MySQL.

Návratový typ

AzureMySqlDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Inicializace nového úložiště dat Azure PostgreSQL

Níže najdete příklad registrace databáze Azure PostgreSQL jako úložiště dat.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

server_name
str
Vyžadováno

Název serveru PostgreSQL.

database_name
str
Vyžadováno

Název databáze PostgreSQL.

user_id
str
Vyžadováno

ID uživatele serveru PostgreSQL.

user_password
str
Vyžadováno

Uživatelské heslo serveru PostgreSQL.

port_number
str
výchozí hodnota: None

Číslo portu serveru PostgreSQL

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod serveru PostgreSQL. Pokud žádný, výchozí hodnota je postgres.database.azure.com.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

enforce_ssl
bool
výchozí hodnota: True

Označuje požadavek ssl serveru PostgreSQL. Výchozí hodnota je True.

Návraty

Vrátí úložiště dat databáze PostgreSQL.

Návratový typ

AzurePostgreSqlDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Inicializujte nové úložiště dat databáze Azure SQL.

Přístup k datům založený na přihlašovacích údajích (GA) a identita (Preview) je podporovaný. Můžete se rozhodnout použít instanční objekt nebo uživatelské jméno a heslo. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace databáze Azure SQL jako úložiště dat.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

server_name
str
Vyžadováno

Název serveru SQL. U plně kvalifikovaného názvu domény, jako je "sample.database.windows.net", by server_name hodnota měla být "sample" a hodnota koncového bodu by měla být "database.windows.net".

database_name
str
Vyžadováno

Název databáze SQL.

tenant_id
str
výchozí hodnota: None

ID adresáře nebo ID tenanta instančního objektu.

client_id
str
výchozí hodnota: None

ID klienta nebo ID aplikace instančního objektu.

client_secret
str
výchozí hodnota: None

Tajný kód instančního objektu.

resource_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL prostředku, která určuje, jaké operace se budou provádět v úložišti databáze SQL( pokud none), je https://database.windows.net/výchozí hodnota .

authority_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL autority použitá k ověření uživatele je ve výchozím nastavení .https://login.microsoftonline.com

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod SQL Serveru. Pokud žádná, výchozí hodnota je database.windows.net.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

username
str
výchozí hodnota: None

Uživatelské jméno uživatele databáze pro přístup k databázi.

password
str
výchozí hodnota: None

Heslo uživatele databáze pro přístup k databázi.

skip_validation
bool, <xref:optional>
Vyžadováno

Jestli se má přeskočit ověření připojení k databázi SQL. Výchozí hodnota je False.

subscription_id
str, <xref:optional>
výchozí hodnota: None

ID předplatného, do které patří úložiště ADLS.

resource_group
str, <xref:optional>
výchozí hodnota: None

Skupina prostředků, do které patří úložiště ADLS.

grant_workspace_access
bool, <xref:optional>
výchozí hodnota: False

Výchozí hodnota je False. Pokud chcete z nástroje Machine Learning Studio přistupovat k datům za virtuální sítí, nastavte ho na Hodnotu True. Tím zajistíte, že přístup k datům z nástroje Machine Learning Studio bude k ověřování používat spravovanou identitu pracovního prostoru a jako čtenáře úložiště se přidá spravovaná identita pracovního prostoru. Pokud chcete vyjádřit výslovný souhlas, musíte být vlastníkem nebo správcem uživatelských přístupů k úložišti. Pokud nemáte požadovaná oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Návraty

Vrátí úložiště dat databáze SQL.

Návratový typ

AzureSqlDatabaseDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Inicializujte nové úložiště dat systému souborů Databricks (DBFS).

Úložiště dat DBFS se dá použít jenom k vytvoření dataReference jako vstupu a PipelineData jako výstupu do DatabricksStep v kanálech Azure Machine Learning. Další podrobnosti najdete tady.

static register_dbfs(workspace, datastore_name)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

Návraty

Vrátí úložiště dat DBFS.

Návratový typ

DBFSDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_hdfs

Poznámka

Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Inicializujte nové úložiště dat HDFS.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parametry

workspace
Workspace
Vyžadováno

pracovní prostor, do který toto úložiště dat patří

datastore_name
str
Vyžadováno

název úložiště dat

protocol
str nebo <xref:_restclient.models.enum>
Vyžadováno

Protokol, který se má použít při komunikaci s clusterem HDFS. http nebo https. Mezi možné hodnoty patří: http, https

namenode_address
str
Vyžadováno

IP adresa nebo název hostitele DNS uzlu názvového uzlu HDFS. Volitelně zahrnuje port.

hdfs_server_certificate
str, <xref:optional>
Vyžadováno

Cesta k podpisovým certifikátům TLS uzlu názvového uzlu HDFS, pokud používáte protokol TLS s certifikátem podepsaným svým držitelem.

kerberos_realm
str
Vyžadováno

Sféra protokolu Kerberos.

kerberos_kdc_address
str
Vyžadováno

IP adresa nebo název hostitele DNS služby Kerberos KDC.

kerberos_principal
str
Vyžadováno

Instanční objekt protokolu Kerberos, který se má použít k ověřování a autorizaci.

kerberos_keytab
str, <xref:optional>
Vyžadováno

Cesta k souboru keytab obsahující klíče odpovídající objektu zabezpečení Kerberos. Zadejte buď toto, nebo heslo.

kerberos_password
str, <xref:optional>
Vyžadováno

Heslo odpovídající objektu zabezpečení Kerberos. Zadejte buď toto, nebo cestu k souboru keytab.

overwrite
bool, <xref:optional>
Vyžadováno

přepíše existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je False.

set_as_default

Nastavte výchozí úložiště dat.

set_as_default()

Parametry

datastore_name
str
Vyžadováno

Název úložiště dat.

unregister

Zruší registraci úložiště dat. základní služba úložiště se neodstraní.

unregister()