Sdílet prostřednictvím

Datastore Třída

  • Reference

Představuje abstrakci úložiště přes účet úložiště služby Azure Machine Learning.

Úložiště dat jsou připojená k pracovním prostorům a používají se k ukládání informací o připojení ke službám úložiště Azure, abyste na ně mohli odkazovat podle názvu a nemuseli si pamatovat informace o připojení a tajný klíč použitý pro připojení ke službám úložiště.

Příklady podporovaných služeb úložiště Azure, které je možné zaregistrovat jako úložiště dat, jsou:

  • Kontejner objektů blob Azure

  • Sdílená složka Azure

  • Azure Data Lake

  • Azure Data Lake Gen2

  • Azure SQL Database

  • Azure Database for PostgreSQL

  • Systém souborů Databricks

  • Azure Database for MySQL

Tato třída slouží k provádění operací správy, včetně registrace, výpisu, získání a odebrání úložišť dat. Úložiště dat pro každou službu jsou vytvořeny pomocí register* metod této třídy. Při použití úložiště dat pro přístup k datům musíte mít oprávnění pro přístup k datům, což závisí na přihlašovacích údajích zaregistrovaných v úložišti dat.

Další informace o úložištích dat a jejich použití ve strojovém učení najdete v následujících článcích:

Získejte úložiště dat podle názvu. Toto volání odešle požadavek na službu úložiště dat.

Dědičnost
builtins.object
Datastore

Konstruktor

Datastore(workspace, name=None)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor.
name
str, <xref:optional>

Výchozí název úložiště dat je None (Žádný), čímž se získá výchozí úložiště dat.

Default value: None

Poznámky

Pokud chcete pracovat s daty v úložištích dat pro úlohy strojového učení, jako je trénování, vytvořte datovou sadu Azure Machine Learning. Datové sady poskytují funkce, které načítají tabulková data do datového rámce pandas nebo Spark. Datové sady také umožňují stahovat nebo připojovat soubory libovolného formátu ze služby Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database a Azure Database for PostgreSQL. Přečtěte si další informace o tom, jak trénovat pomocí datových sad.

Následující příklad ukazuje, jak vytvořit úložiště dat připojené ke kontejneru objektů blob Azure.


   # from azureml.exceptions import UserErrorException
   #
   # blob_datastore_name='MyBlobDatastore'
   # account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   # container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   # account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
   #
   # try:
   #     blob_datastore = Datastore.get(ws, blob_datastore_name)
   #     print("Found Blob Datastore with name: %s" % blob_datastore_name)
   # except UserErrorException:
   #     blob_datastore = Datastore.register_azure_blob_container(
   #         workspace=ws,
   #         datastore_name=blob_datastore_name,
   #         account_name=account_name, # Storage account name
   #         container_name=container_name, # Name of Azure blob container
   #         account_key=account_key) # Storage account key
   #     print("Registered blob datastore with name: %s" % blob_datastore_name)
   #
   # blob_data_ref = DataReference(
   #     datastore=blob_datastore,
   #     data_reference_name="blob_test_data",
   #     path_on_datastore="testdata")

Úplná ukázka je k dispozici od https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Metody

get

Získejte úložiště dat podle názvu. To je stejné jako volání konstruktoru.
get_default

Získejte výchozí úložiště dat pro pracovní prostor.
register_azure_blob_container

Zaregistrujte kontejner objektů blob Azure v úložišti dat.

Podporuje se přístup k datům založený na přihlašovacích údajích (GA) a identita (Preview). Můžete se rozhodnout použít token SAS nebo klíč účtu úložiště. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.
register_azure_data_lake

Inicializace nového úložiště dat Azure Data Lake

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace Azure Data Lake Gen1 jako úložiště dat.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Inicializujte nové úložiště dat Azure Data Lake Gen2.

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.
register_azure_file_share

Zaregistrujte sdílenou složku Azure do úložiště dat.

Můžete použít token SAS nebo klíč účtu úložiště.
register_azure_my_sql

Inicializace nového úložiště dat Azure MySQL

Úložiště dat MySQL je možné použít pouze k vytvoření dataReference jako vstupu a výstupu pro dataTransferStep v kanálech Služby Azure Machine Learning. Další podrobnosti najdete tady.

Níže najdete příklad registrace databáze Azure MySQL jako úložiště dat.
register_azure_postgre_sql

Inicializace nového úložiště dat Azure PostgreSQL

Níže najdete příklad registrace databáze Azure PostgreSQL jako úložiště dat.
register_azure_sql_database

Inicializujte nové úložiště dat databáze Azure SQL.

Podporuje se přístup k datům založený na přihlašovacích údajích (GA) a identit (Preview). Můžete se rozhodnout použít instanční objekt nebo uživatelské jméno a heslo. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace databáze Azure SQL jako úložiště dat.
register_dbfs

Inicializuje nové úložiště dat systému souborů Databricks (DBFS).

Úložiště dat DBFS lze použít pouze k vytvoření dataReference jako vstupu a PipelineData jako výstupu do DatabricksStep v kanálech Azure Machine Learning. Další podrobnosti najdete tady.
register_hdfs

Poznámka

Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Inicializuje nové úložiště dat HDFS.
set_as_default

Nastavte výchozí úložiště dat.
unregister

Zruší registraci úložiště dat. základní služba úložiště se neodstraní.

get

Získejte úložiště dat podle názvu. To je stejné jako volání konstruktoru.

static get(workspace, datastore_name)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor.
datastore_name
Vyžadováno
str, <xref:optional>

Výchozí název úložiště dat je None (Žádný), čímž se získá výchozí úložiště dat.

Návraty

Typ Description
AzureFileDatastore,
AzureBlobDatastore,
AzureDataLakeDatastore,
AzureDataLakeGen2Datastore,
AzureSqlDatabaseDatastore,
AzurePostgreSqlDatastore,
AzureMySqlDatastore,
DBFSDatastore

Odpovídající úložiště dat pro tento název.

get_default

Získejte výchozí úložiště dat pro pracovní prostor.

static get_default(workspace)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor.

Návraty

Typ Description
AzureFileDatastore,
AzureBlobDatastore

Výchozí úložiště dat pro pracovní prostor

register_azure_blob_container

Zaregistrujte kontejner objektů blob Azure v úložišti dat.

Podporuje se přístup k datům založený na přihlašovacích údajích (GA) a identita (Preview). Můžete se rozhodnout použít token SAS nebo klíč účtu úložiště. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor.
datastore_name
Vyžadováno
str

Název úložiště dat, který nerozlišuje velká a malá písmena, může obsahovat pouze alfanumerické znaky a _.
container_name
Vyžadováno
str

Název kontejneru objektů blob Azure.
account_name
Vyžadováno
str

Název účtu úložiště.
sas_token
str, <xref:optional>

Token SAS účtu, výchozí hodnota je None (Žádný). Pro čtení dat vyžadujeme minimálně oprávnění ke čtení & seznamu pro kontejnery & objekty a pro zápis dat navíc vyžadujeme oprávnění k zápisu & přidat oprávnění.

Default value: None
account_key
str, <xref:optional>

Přístupové klíče vašeho účtu úložiště, výchozí hodnota je Žádná.

Default value: None
protocol
str, <xref:optional>

Protokol, který se použije pro připojení ke kontejneru objektů blob. Pokud žádný, výchozí hodnota je https.

Default value: None
endpoint
str, <xref:optional>

Koncový bod účtu úložiště. Pokud žádný, výchozí hodnota je core.windows.net.

Default value: None
overwrite
bool, <xref:optional>

přepíše existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří se jako výchozí false.

Default value: False
create_if_not_exists
bool, <xref:optional>

Pokud kontejner objektů blob neexistuje, vytvořte ho, výchozí hodnota je False.

Default value: False
skip_validation
bool, <xref:optional>

přeskočí ověřování klíčů úložiště, výchozí hodnota je False.

Default value: False
blob_cache_timeout
int, <xref:optional>

Po připojení tohoto objektu blob nastavte časový limit mezipaměti na tento počet sekund. Pokud žádný, výchozí hodnota nemá žádný časový limit (tj. objekty blob budou při čtení uloženy v mezipaměti po dobu trvání úlohy).

Default value: None
grant_workspace_access
bool, <xref:optional>

Výchozí hodnota je False. Pokud chcete z nástroje Machine Learning Studio přistupovat k datům za virtuální sítí, nastavte ho na Hodnotu True. Tím zajistíte, že přístup k datům z nástroje Machine Learning Studio bude k ověřování používat spravovanou identitu pracovního prostoru a jako čtenáře úložiště se přidá spravovaná identita pracovního prostoru. Pokud chcete vyjádřit výslovný souhlas, musíte být vlastníkem nebo správcem uživatelských přístupů k úložišti. Pokud nemáte požadovaná oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Default value: False
subscription_id
str, <xref:optional>

ID předplatného účtu úložiště se ve výchozím nastavení nastaví na Žádné.

Default value: None
resource_group
str, <xref:optional>

Výchozí hodnota skupiny prostředků účtu úložiště je Žádná.

Default value: None

Návraty

Typ Description
AzureBlobDatastore

Úložiště dat objektů blob.

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_data_lake

Inicializace nového úložiště dat Azure Data Lake

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace Azure Data Lake Gen1 jako úložiště dat.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor, do který toto úložiště dat patří.
datastore_name
Vyžadováno
str

Název úložiště dat.
store_name
Vyžadováno
str

Název úložiště ADLS.
tenant_id
str, <xref:optional>

ID adresáře nebo ID tenanta instančního objektu používaného pro přístup k datům.

Default value: None
client_id
str, <xref:optional>

ID klienta nebo ID aplikace instančního objektu používaného pro přístup k datům.

Default value: None
client_secret
str, <xref:optional>

Tajný klíč klienta instančního objektu používaného pro přístup k datům.

Default value: None
resource_url
str, <xref:optional>

Adresa URL prostředku, která určuje, jaké operace se budou ve službě Data Lake Store provádět( pokud none), je výchozí hodnota https://datalake.azure.net/ , která nám umožňuje provádět operace systému souborů.

Default value: None
authority_url
str, <xref:optional>

Adresa URL autority použitá k ověření uživatele je ve výchozím nastavení .https://login.microsoftonline.com

Default value: None
subscription_id
str, <xref:optional>

ID předplatného, do které patří úložiště ADLS.

Default value: None
resource_group
str, <xref:optional>

Skupina prostředků, do které patří úložiště ADLS.

Default value: None
overwrite
bool, <xref:optional>

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

Default value: False
grant_workspace_access
bool, <xref:optional>

Výchozí hodnota je False. Pokud chcete z nástroje Machine Learning Studio přistupovat k datům za virtuální sítí, nastavte ho na Hodnotu True. Tím zajistíte, že přístup k datům z nástroje Machine Learning Studio bude k ověřování používat spravovanou identitu pracovního prostoru a jako čtenáře úložiště se přidá spravovaná identita pracovního prostoru. Pokud chcete vyjádřit výslovný souhlas, musíte být vlastníkem úložiště nebo správcem uživatelských přístupů. Pokud nemáte požadovaná oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Default value: False

Návraty

Typ Description
AzureDataLakeDatastore

Vrátí úložiště dat Azure Data Lake.

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

Poznámka

Úložiště dat Azure Data Lake podporuje přenos dat a spouštění úloh U-Sql pomocí kanálů Azure Machine Learning.

Můžete ho také použít jako zdroj dat pro datovou sadu Azure Machine Learning, kterou si můžete stáhnout nebo připojit k libovolnému podporovanému výpočetnímu prostředí.

register_azure_data_lake_gen2

Inicializujte nové úložiště dat Azure Data Lake Gen2.

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, token AAD uživatele se použije v poznámkovém bloku nebo místním pythonovém programu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných službou Experiment.submit pro ověření přístupu k datům. Další informace najdete tady.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor, do který toto úložiště dat patří.
datastore_name
Vyžadováno
str

Název úložiště dat.
filesystem
Vyžadováno
str

Název systému souborů Data Lake Gen2.
account_name
Vyžadováno
str

Název účtu úložiště.
tenant_id
str, <xref:optional>

ID adresáře nebo ID tenanta instančního objektu.

Default value: None
client_id
str, <xref:optional>

ID klienta nebo ID aplikace instančního objektu.

Default value: None
client_secret
str, <xref:optional>

Tajný kód instančního objektu.

Default value: None
resource_url
str, <xref:optional>

Adresa URL prostředku, která určuje, jaké operace se budou ve službě Data Lake Store provádět, je výchozí hodnota https://storage.azure.com/ , která nám umožňuje provádět operace systému souborů.

Default value: None
authority_url
str, <xref:optional>

Adresa URL autority použitá k ověření uživatele je ve výchozím nastavení .https://login.microsoftonline.com

Default value: None
protocol
str, <xref:optional>

Protokol, který se použije pro připojení ke kontejneru objektů blob. Pokud žádný, výchozí hodnota je https.

Default value: None
endpoint
str, <xref:optional>

Koncový bod účtu úložiště. Pokud žádný, výchozí hodnota je core.windows.net.

Default value: None
overwrite
bool, <xref:optional>

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

Default value: False
subscription_id
str, <xref:optional>

ID předplatného, do které patří úložiště ADLS.

Default value: None
resource_group
str, <xref:optional>

Skupina prostředků, do které patří úložiště ADLS.

Default value: None
grant_workspace_access
bool, <xref:optional>

Výchozí hodnota je False. Pokud chcete z nástroje Machine Learning Studio přistupovat k datům za virtuální sítí, nastavte ho na Hodnotu True. Tím zajistíte, že přístup k datům z nástroje Machine Learning Studio bude k ověřování používat spravovanou identitu pracovního prostoru a jako čtenáře úložiště se přidá spravovaná identita pracovního prostoru. Pokud chcete vyjádřit výslovný souhlas, musíte být vlastníkem nebo správcem uživatelských přístupů k úložišti. Pokud nemáte požadovaná oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Default value: False

Návraty

Typ Description
AzureDataLakeGen2Datastore

Vrátí úložiště dat Azure Data Lake Gen2.

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_file_share

Zaregistrujte sdílenou složku Azure do úložiště dat.

Můžete použít token SAS nebo klíč účtu úložiště.

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor, do který toto úložiště dat patří.
datastore_name
Vyžadováno
str

Název úložiště dat, který nerozlišuje velká a malá písmena, může obsahovat pouze alfanumerické znaky a _.
file_share_name
Vyžadováno
str

Název kontejneru souborů Azure.
account_name
Vyžadováno
str

Název účtu úložiště.
sas_token
str, <xref:optional>

Token SAS účtu, výchozí hodnota je None (Žádný). Pro čtení dat vyžadujeme minimálně oprávnění ke čtení & seznamu pro kontejnery & objekty a pro zápis dat navíc vyžadujeme oprávnění k zápisu & přidat oprávnění.

Default value: None
account_key
str, <xref:optional>

Přístupové klíče vašeho účtu úložiště, výchozí hodnota je Žádná.

Default value: None
protocol
str, <xref:optional>

Protokol, který se použije pro připojení ke sdílené složce. Pokud žádný, výchozí hodnota je https.

Default value: None
endpoint
str, <xref:optional>

Koncový bod sdílené složky. Pokud žádný, výchozí hodnota je core.windows.net.

Default value: None
overwrite
bool, <xref:optional>

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

Default value: False
create_if_not_exists
bool, <xref:optional>

Určuje, jestli chcete vytvořit sdílenou složku, pokud neexistuje. Výchozí hodnota je Nepravda.

Default value: False
skip_validation
bool, <xref:optional>

Jestli se má přeskočit ověřování klíčů úložiště. Výchozí hodnota je Nepravda.

Default value: False

Návraty

Typ Description
AzureFileDatastore

Úložiště dat souboru.

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_my_sql

Inicializace nového úložiště dat Azure MySQL

Úložiště dat MySQL je možné použít pouze k vytvoření dataReference jako vstupu a výstupu pro dataTransferStep v kanálech Služby Azure Machine Learning. Další podrobnosti najdete tady.

Níže najdete příklad registrace databáze Azure MySQL jako úložiště dat.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor, do který toto úložiště dat patří.
datastore_name
Vyžadováno
str

Název úložiště dat.
server_name
Vyžadováno
str

Název serveru MySQL.
database_name
Vyžadováno
str

Název databáze MySQL.
user_id
Vyžadováno
str

ID uživatele serveru MySQL.
user_password
Vyžadováno
str

Uživatelské heslo serveru MySQL.
port_number
str

Číslo portu serveru MySQL.

Default value: None
endpoint
str, <xref:optional>

Koncový bod serveru MySQL. Pokud žádný, výchozí hodnota je mysql.database.azure.com.

Default value: None
overwrite
bool, <xref:optional>

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

Default value: False

Návraty

Typ Description
AzureMySqlDatastore

Vrátí úložiště dat databáze MySQL.

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Inicializace nového úložiště dat Azure PostgreSQL

Níže najdete příklad registrace databáze Azure PostgreSQL jako úložiště dat.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor, do který toto úložiště dat patří.
datastore_name
Vyžadováno
str

Název úložiště dat.
server_name
Vyžadováno
str

Název serveru PostgreSQL.
database_name
Vyžadováno
str

Název databáze PostgreSQL.
user_id
Vyžadováno
str

ID uživatele serveru PostgreSQL.
user_password
Vyžadováno
str

Uživatelské heslo serveru PostgreSQL.
port_number
str

Číslo portu serveru PostgreSQL

Default value: None
endpoint
str, <xref:optional>

Koncový bod serveru PostgreSQL. Pokud žádný, výchozí hodnota je postgres.database.azure.com.

Default value: None
overwrite
bool, <xref:optional>

Určuje, jestli se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

Default value: False
enforce_ssl
bool

Označuje požadavek ssl serveru PostgreSQL. Výchozí hodnota je True.

Default value: True

Návraty

Typ Description
AzurePostgreSqlDatastore

Vrátí úložiště dat databáze PostgreSQL.

Poznámky

Pokud připojujete úložiště z jiné oblasti, než je oblast pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Inicializujte nové úložiště dat databáze Azure SQL.

Podporuje se přístup k datům založený na přihlašovacích údajích (GA) a identit (Preview). Můžete se rozhodnout použít instanční objekt nebo uživatelské jméno a heslo. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace databáze Azure SQL jako úložiště dat.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor, do který toto úložiště dat patří.
datastore_name
Vyžadováno
str

Název úložiště dat.
server_name
Vyžadováno
str

Název serveru SQL. U plně kvalifikovaného názvu domény, jako je "sample.database.windows.net", by server_name hodnota měla být "sample" a hodnota koncového bodu "database.windows.net".
database_name
Vyžadováno
str

Název databáze SQL.
tenant_id
str

ID adresáře nebo tenanta instančního objektu.

Default value: None
client_id
str

ID klienta nebo aplikace instančního objektu.

Default value: None
client_secret
str

Tajný kód instančního objektu.

Default value: None
resource_url
str, <xref:optional>

Adresa URL prostředku, která určuje, jaké operace se budou provádět v úložišti databáze SQL, pokud žádný, má výchozí hodnotu https://database.windows.net/.

Default value: None
authority_url
str, <xref:optional>

Adresa URL autority použitá k ověření uživatele má výchozí hodnotu https://login.microsoftonline.com.

Default value: None
endpoint
str, <xref:optional>

Koncový bod SQL Serveru. Pokud žádné, ve výchozím nastavení se database.windows.net.

Default value: None
overwrite
bool, <xref:optional>

Zda se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

Default value: False
username
str

Uživatelské jméno uživatele databáze pro přístup k databázi.

Default value: None
password
str

Heslo uživatele databáze pro přístup k databázi.

Default value: None
skip_validation
Vyžadováno
bool, <xref:optional>

Jestli se má přeskočit ověřování připojení k databázi SQL. Výchozí hodnota je False.
subscription_id
str, <xref:optional>

ID předplatného, do které patří úložiště ADLS.

Default value: None
resource_group
str, <xref:optional>

Skupina prostředků, do které patří úložiště ADLS.

Default value: None
grant_workspace_access
bool, <xref:optional>

Výchozí hodnota je False. Pokud chcete získat přístup k datům za virtuální sítí ze služby Machine Learning Studio, nastavte ji na Hodnotu True. Tím se při přístupu k datům ze nástroje Machine Learning Studio použije pro ověřování spravovaná identita pracovního prostoru a spravovanou identitu pracovního prostoru přidá jako čtenáře úložiště. Pokud chcete vyjádřit souhlas s přihlášením, musíte být vlastníkem nebo správcem uživatelského přístupu úložiště. Pokud nemáte požadované oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Default value: False

Návraty

Typ Description
AzureSqlDatabaseDatastore

Vrátí úložiště dat databáze SQL.

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Inicializuje nové úložiště dat systému souborů Databricks (DBFS).

Úložiště dat DBFS lze použít pouze k vytvoření dataReference jako vstupu a PipelineData jako výstupu do DatabricksStep v kanálech Azure Machine Learning. Další podrobnosti najdete tady.

static register_dbfs(workspace, datastore_name)

Parametry

Name Description
workspace
Vyžadováno
Workspace

Pracovní prostor, do který toto úložiště dat patří.
datastore_name
Vyžadováno
str

Název úložiště dat.

Návraty

Typ Description
DBFSDatastore

Vrátí úložiště dat DBFS.

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_hdfs

Poznámka

Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Inicializuje nové úložiště dat HDFS.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parametry

Name Description
workspace
Vyžadováno
Workspace

pracovní prostor, do který toto úložiště dat patří
datastore_name
Vyžadováno
str

název úložiště dat
protocol
Vyžadováno
str nebo <xref:_restclient.models.enum>

Protokol, který se má použít při komunikaci s clusterem HDFS. http nebo https. Mezi možné hodnoty patří: http, https.
namenode_address
Vyžadováno
str

IP adresa nebo název hostitele DNS uzlu názvového uzlu HDFS. Volitelně zahrnuje port.
hdfs_server_certificate
Vyžadováno
str, <xref:optional>

Cesta k podpisovým certifikátům TLS názvového uzlu HDFS, pokud používáte protokol TLS s certifikátem podepsaným svým držitelem.
kerberos_realm
Vyžadováno
str

Sféra Protokolu Kerberos.
kerberos_kdc_address
Vyžadováno
str

IP adresa nebo název hostitele DNS služby Kerberos KDC.
kerberos_principal
Vyžadováno
str

Instanční objekt protokolu Kerberos, který se má použít k ověřování a autorizaci.
kerberos_keytab
Vyžadováno
str, <xref:optional>

Cesta k souboru tabulky klíčů obsahující klíče odpovídající objektu zabezpečení protokolu Kerberos. Zadejte buď toto, nebo heslo.
kerberos_password
Vyžadováno
str, <xref:optional>

Heslo odpovídající objektu zabezpečení Kerberos. Zadejte buď toto, nebo cestu k souboru klíče.
overwrite
Vyžadováno
bool, <xref:optional>

přepíše existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je False.

set_as_default

Nastavte výchozí úložiště dat.

set_as_default()

Parametry

Name Description
datastore_name
Vyžadováno
str

Název úložiště dat.

unregister

Zruší registraci úložiště dat. základní služba úložiště se neodstraní.

unregister()