Datastore Třída

  • Reference

Představuje abstrakci úložiště přes účet úložiště služby Azure Machine Learning.

Úložiště dat jsou připojená k pracovním prostorům a používají se k ukládání informací o připojení ke službám úložiště Azure, abyste na ně mohli odkazovat podle názvu a nemuseli si pamatovat informace o připojení a tajný klíč použitý pro připojení ke službám úložiště.

Příklady podporovaných služeb úložiště Azure, které je možné zaregistrovat jako úložiště dat, jsou:

  • Kontejner objektů blob Azure

  • Sdílená složka Azure

  • Azure Data Lake

  • Azure Data Lake Gen2

  • Azure SQL Database

  • Azure Database for PostgreSQL

  • Systém souborů Databricks

  • Azure Database for MySQL

Tato třída slouží k provádění operací správy, včetně registrace, výpisu, získání a odebrání úložišť dat. Úložiště dat pro každou službu jsou vytvořeny pomocí register* metod této třídy. Při použití úložiště dat pro přístup k datům musíte mít oprávnění pro přístup k datům, což závisí na přihlašovacích údajích zaregistrovaných v úložišti dat.

Další informace o úložištích dat a jejich použití ve strojovém učení najdete v následujících článcích:

Získejte úložiště dat podle názvu. Toto volání odešle požadavek na službu úložiště dat.

Dědičnost
builtins.object
Datastore

Konstruktor

Datastore(workspace, name=None)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor.

name
str, <xref:optional>
výchozí hodnota: None

Název úložiště dat ve výchozím nastavení je Žádný, čímž se získá výchozí úložiště dat.

Poznámky

Pokud chcete pracovat s daty v úložištích dat pro úlohy strojového učení, jako je trénování, vytvořte datovou sadu Azure Machine Learning. Datové sady poskytují funkce, které načítají tabulková data do datového rámce pandas nebo Sparku. Datové sady také umožňují stahovat nebo připojovat soubory libovolného formátu ze služby Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database a Azure Database for PostgreSQL. Přečtěte si další informace o tom, jak trénovat pomocí datových sad.

Následující příklad ukazuje, jak vytvořit úložiště dat připojené ke kontejneru objektů blob Azure.


   from azureml.exceptions import UserErrorException

   blob_datastore_name='MyBlobDatastore'
   account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key

   try:
       blob_datastore = Datastore.get(ws, blob_datastore_name)
       print("Found Blob Datastore with name: %s" % blob_datastore_name)
   except UserErrorException:
       blob_datastore = Datastore.register_azure_blob_container(
           workspace=ws,
           datastore_name=blob_datastore_name,
           account_name=account_name, # Storage account name
           container_name=container_name, # Name of Azure blob container
           account_key=account_key) # Storage account key
       print("Registered blob datastore with name: %s" % blob_datastore_name)

   blob_data_ref = DataReference(
       datastore=blob_datastore,
       data_reference_name="blob_test_data",
       path_on_datastore="testdata")

Úplná ukázka je k dispozici od https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Metody

get

Získejte úložiště dat podle názvu. To je stejné jako volání konstruktoru.
get_default

Získejte výchozí úložiště dat pro pracovní prostor.
register_azure_blob_container

Zaregistrujte kontejner objektů blob Azure v úložišti dat.

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Můžete se rozhodnout použít token SAS nebo klíč účtu úložiště. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.
register_azure_data_lake

Inicializace nového úložiště dat Azure Data Lake

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace Azure Data Lake Gen1 jako úložiště dat.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Inicializace nového úložiště dat Azure Data Lake Gen2

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.
register_azure_file_share

Zaregistrujte sdílenou složku Azure v úložišti dat.

Můžete použít token SAS nebo klíč účtu úložiště.
register_azure_my_sql

Inicializace nového úložiště dat Azure MySQL

Úložiště dat MySQL je možné použít pouze k vytvoření dataReference jako vstupu a výstupu dataTransferStep v kanálech Služby Azure Machine Learning. Další podrobnosti najdete tady.

Níže najdete příklad registrace databáze Azure MySQL jako úložiště dat.
register_azure_postgre_sql

Inicializace nového úložiště dat Azure PostgreSQL

Níže najdete příklad registrace databáze Azure PostgreSQL jako úložiště dat.
register_azure_sql_database

Inicializuje nové úložiště dat databáze Azure SQL.

Podporuje se přístup k datům založený na přihlašovacích údajích (GA) a identit (Preview). Můžete se rozhodnout použít instanční objekt nebo uživatelské jméno a heslo. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace databáze Azure SQL jako úložiště dat.
register_dbfs

Inicializuje nové úložiště dat systému souborů Databricks (DBFS).

Úložiště dat DBFS je možné použít pouze k vytvoření dataReference jako vstupu a PipelineData jako výstupu do DatabricksStep v kanálech Azure Machine Learning. Další podrobnosti najdete tady.
register_hdfs

Poznámka

Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Inicializuje nové úložiště dat HDFS.
set_as_default

Nastavte výchozí úložiště dat.
unregister

Zruší registraci úložiště dat. základní služba úložiště se neodstraní.

get

Získejte úložiště dat podle názvu. To je stejné jako volání konstruktoru.

static get(workspace, datastore_name)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor.

datastore_name
str, <xref:optional>
Vyžadováno

Název úložiště dat ve výchozím nastavení je Žádný, čímž se získá výchozí úložiště dat.

Návraty

Odpovídající úložiště dat pro tento název.

Návratový typ

AzureFileDatastore,
AzureBlobDatastore,
AzureDataLakeDatastore,
AzureDataLakeGen2Datastore,
AzureSqlDatabaseDatastore,
AzurePostgreSqlDatastore,
AzureMySqlDatastore,
DBFSDatastore

get_default

Získejte výchozí úložiště dat pro pracovní prostor.

static get_default(workspace)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor.

Návraty

Výchozí úložiště dat pro pracovní prostor

Návratový typ

AzureFileDatastore,
AzureBlobDatastore

register_azure_blob_container

Zaregistrujte kontejner objektů blob Azure v úložišti dat.

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Můžete se rozhodnout použít token SAS nebo klíč účtu úložiště. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor.

datastore_name
str
Vyžadováno

Název úložiště dat, který nerozlišuje velká a malá písmena, může obsahovat pouze alfanumerické znaky a _.

container_name
str
Vyžadováno

Název kontejneru objektů blob Azure.

account_name
str
Vyžadováno

Název účtu úložiště.

sas_token
str, <xref:optional>
výchozí hodnota: None

Token SAS účtu, ve výchozím nastavení žádný. Pro čtení dat vyžadujeme minimální oprávnění ke čtení seznamu & pro objekty kontejnerů & a pro zápis dat navíc vyžadujeme oprávnění k přidání zápisu & .

account_key
str, <xref:optional>
výchozí hodnota: None

Přístupové klíče účtu úložiště, ve výchozím nastavení žádný.

protocol
str, <xref:optional>
výchozí hodnota: None

Protokol, který se má použít pro připojení ke kontejneru objektů blob. Pokud žádné, výchozí hodnota je https.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod účtu úložiště. Pokud žádné, ve výchozím nastavení se core.windows.net.

overwrite
bool, <xref:optional>
výchozí hodnota: False

přepíše existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří se jako výchozí hodnota False.

create_if_not_exists
bool, <xref:optional>
výchozí hodnota: False

Pokud kontejner objektů blob neexistuje, vytvořte ho jako výchozí hodnotu False.

skip_validation
bool, <xref:optional>
výchozí hodnota: False

přeskočí ověřování klíčů úložiště, výchozí hodnota je False.

blob_cache_timeout
int, <xref:optional>
výchozí hodnota: None

Po připojení tohoto objektu blob nastavte časový limit mezipaměti na tento počet sekund. Pokud žádný, výchozí hodnota nemá časový limit (tj. objekty blob se budou ukládat do mezipaměti po dobu trvání úlohy při čtení).

grant_workspace_access
bool, <xref:optional>
výchozí hodnota: False

Výchozí hodnota je False. Pokud chcete získat přístup k datům za virtuální sítí ze nástroje Machine Learning Studio, nastavte ji na Hodnotu True. Tím se přístup k datům ze nástroje Machine Learning Studio použije k ověřování pomocí spravované identity pracovního prostoru a přidá spravovanou identitu pracovního prostoru jako čtenáře úložiště. Pokud chcete vyjádřit souhlas s přihlášením, musíte být vlastníkem nebo správcem uživatelského přístupu úložiště. Pokud nemáte požadované oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

subscription_id
str, <xref:optional>
výchozí hodnota: None

ID předplatného účtu úložiště je ve výchozím nastavení Žádné.

resource_group
str, <xref:optional>
výchozí hodnota: None

Ve skupině prostředků účtu úložiště je výchozí hodnota Žádná.

Návraty

Úložiště dat objektů blob.

Návratový typ

AzureBlobDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_data_lake

Inicializace nového úložiště dat Azure Data Lake

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace Azure Data Lake Gen1 jako úložiště dat.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

store_name
str
Vyžadováno

Název úložiště ADLS.

tenant_id
str, <xref:optional>
výchozí hodnota: None

ID adresáře nebo ID tenanta instančního objektu použitého pro přístup k datům.

client_id
str, <xref:optional>
výchozí hodnota: None

ID klienta nebo ID aplikace instančního objektu použitého pro přístup k datům.

client_secret
str, <xref:optional>
výchozí hodnota: None

Tajný klíč klienta instančního objektu používaného pro přístup k datům.

resource_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL prostředku, která určuje, jaké operace se budou provádět ve službě Data Lake Store( pokud none), je výchozí hodnota https://datalake.azure.net/ , která nám umožňuje provádět operace systému souborů.

authority_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL autority použitá k ověření uživatele má výchozí hodnotu https://login.microsoftonline.com.

subscription_id
str, <xref:optional>
výchozí hodnota: None

ID předplatného, do které patří úložiště ADLS.

resource_group
str, <xref:optional>
výchozí hodnota: None

Skupina prostředků, do které patří úložiště ADLS.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Zda se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

grant_workspace_access
bool, <xref:optional>
výchozí hodnota: False

Výchozí hodnota je False. Pokud chcete získat přístup k datům za virtuální sítí ze nástroje Machine Learning Studio, nastavte ji na Hodnotu True. Tím se přístup k datům ze nástroje Machine Learning Studio použije k ověřování pomocí spravované identity pracovního prostoru a přidá spravovanou identitu pracovního prostoru jako čtenáře úložiště. Abyste se mohli přihlásit k odběru, musíte být vlastníkem nebo správcem uživatelského přístupu k úložišti. Pokud nemáte požadované oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Návraty

Vrátí úložiště dat Azure Data Lake.

Návratový typ

AzureDataLakeDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

Poznámka

Azure Data Lake Datastore podporuje přenos dat a spouštění úloh U-SQL pomocí kanálů Azure Machine Learning.

Můžete ho také použít jako zdroj dat pro datovou sadu Azure Machine Learning, kterou si můžete stáhnout nebo připojit k libovolnému podporovanému výpočetnímu prostředí.

register_azure_data_lake_gen2

Inicializace nového úložiště dat Azure Data Lake Gen2

Podporuje se přístup k datům na základě přihlašovacích údajů (GA) a identit (Preview). Úložiště dat můžete zaregistrovat pomocí instančního objektu pro přístup k datům na základě přihlašovacích údajů. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

filesystem
str
Vyžadováno

Název systému souborů Data Lake Gen2.

account_name
str
Vyžadováno

Název účtu úložiště.

tenant_id
str, <xref:optional>
výchozí hodnota: None

ID adresáře nebo tenanta instančního objektu.

client_id
str, <xref:optional>
výchozí hodnota: None

ID klienta nebo aplikace instančního objektu.

client_secret
str, <xref:optional>
výchozí hodnota: None

Tajný kód instančního objektu.

resource_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL prostředku, která určuje, jaké operace se budou provádět ve službě Data Lake Store, má výchozí hodnotu https://storage.azure.com/ , která nám umožňuje provádět operace systému souborů.

authority_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL autority použitá k ověření uživatele má výchozí hodnotu https://login.microsoftonline.com.

protocol
str, <xref:optional>
výchozí hodnota: None

Protokol, který se má použít pro připojení ke kontejneru objektů blob. Pokud žádné, výchozí hodnota je https.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod účtu úložiště. Pokud žádné, ve výchozím nastavení se core.windows.net.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Zda se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

subscription_id
str, <xref:optional>
výchozí hodnota: None

ID předplatného, do které patří úložiště ADLS.

resource_group
str, <xref:optional>
výchozí hodnota: None

Skupina prostředků, do které patří úložiště ADLS.

grant_workspace_access
bool, <xref:optional>
výchozí hodnota: False

Výchozí hodnota je False. Pokud chcete získat přístup k datům za virtuální sítí ze nástroje Machine Learning Studio, nastavte ji na Hodnotu True. Tím se přístup k datům ze nástroje Machine Learning Studio použije k ověřování pomocí spravované identity pracovního prostoru a přidá spravovanou identitu pracovního prostoru jako čtenáře úložiště. Pokud chcete vyjádřit souhlas s přihlášením, musíte být vlastníkem nebo správcem uživatelského přístupu úložiště. Pokud nemáte požadované oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Návraty

Vrátí úložiště dat Azure Data Lake Gen2.

Návratový typ

AzureDataLakeGen2Datastore

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_file_share

Zaregistrujte sdílenou složku Azure v úložišti dat.

Můžete použít token SAS nebo klíč účtu úložiště.

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat, který nerozlišuje velká a malá písmena, může obsahovat pouze alfanumerické znaky a _.

file_share_name
str
Vyžadováno

Název kontejneru souborů Azure.

account_name
str
Vyžadováno

Název účtu úložiště.

sas_token
str, <xref:optional>
výchozí hodnota: None

Token SAS účtu, ve výchozím nastavení žádný. Pro čtení dat vyžadujeme minimální oprávnění ke čtení seznamu & pro objekty kontejnerů & a pro zápis dat navíc vyžadujeme oprávnění k přidání zápisu & .

account_key
str, <xref:optional>
výchozí hodnota: None

Přístupové klíče účtu úložiště, ve výchozím nastavení žádný.

protocol
str, <xref:optional>
výchozí hodnota: None

Protokol, který se má použít pro připojení ke sdílené složce. Pokud žádné, výchozí hodnota je https.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod sdílené složky. Pokud žádné, ve výchozím nastavení se core.windows.net.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Zda se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

create_if_not_exists
bool, <xref:optional>
výchozí hodnota: False

Určuje, jestli se má sdílená složka vytvořit, pokud neexistuje. Výchozí hodnota je Nepravda.

skip_validation
bool, <xref:optional>
výchozí hodnota: False

Jestli se má přeskočit ověřování klíčů úložiště. Výchozí hodnota je Nepravda.

Návraty

Úložiště dat souboru.

Návratový typ

AzureFileDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_azure_my_sql

Inicializace nového úložiště dat Azure MySQL

Úložiště dat MySQL je možné použít pouze k vytvoření dataReference jako vstupu a výstupu dataTransferStep v kanálech Služby Azure Machine Learning. Další podrobnosti najdete tady.

Níže najdete příklad registrace databáze Azure MySQL jako úložiště dat.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

server_name
str
Vyžadováno

Název serveru MySQL.

database_name
str
Vyžadováno

Název databáze MySQL.

user_id
str
Vyžadováno

ID uživatele serveru MySQL.

user_password
str
Vyžadováno

Uživatelské heslo serveru MySQL.

port_number
str
výchozí hodnota: None

Číslo portu serveru MySQL.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod serveru MySQL. Pokud žádný, ve výchozím nastavení se mysql.database.azure.com.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Zda se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

Návraty

Vrátí úložiště dat databáze MySQL.

Návratový typ

AzureMySqlDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Inicializace nového úložiště dat Azure PostgreSQL

Níže najdete příklad registrace databáze Azure PostgreSQL jako úložiště dat.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

server_name
str
Vyžadováno

Název serveru PostgreSQL.

database_name
str
Vyžadováno

Název databáze PostgreSQL.

user_id
str
Vyžadováno

ID uživatele serveru PostgreSQL.

user_password
str
Vyžadováno

Uživatelské heslo serveru PostgreSQL.

port_number
str
výchozí hodnota: None

Číslo portu serveru PostgreSQL

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod serveru PostgreSQL. Pokud žádný, výchozí hodnota postgres.database.azure.com.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Zda se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

enforce_ssl
bool
výchozí hodnota: True

Označuje požadavek SSL serveru PostgreSQL. Výchozí hodnota je Pravda.

Návraty

Vrátí úložiště dat databáze PostgreSQL.

Návratový typ

AzurePostgreSqlDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Inicializuje nové úložiště dat databáze Azure SQL.

Podporuje se přístup k datům založený na přihlašovacích údajích (GA) a identit (Preview). Můžete se rozhodnout použít instanční objekt nebo uživatelské jméno a heslo. Pokud se s úložištěm dat neuloží žádné přihlašovací údaje, použije se token AAD uživatele v poznámkovém bloku nebo místním programu Pythonu, pokud přímo volá jednu z těchto funkcí: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identita cílového výpočetního objektu se použije v úlohách odeslaných experimentem.submit pro ověřování přístupu k datům. Další informace najdete tady.

Níže najdete příklad registrace databáze Azure SQL jako úložiště dat.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

server_name
str
Vyžadováno

Název serveru SQL. U plně kvalifikovaného názvu domény, jako je "sample.database.windows.net", by server_name hodnota měla být "sample" a hodnota koncového bodu "database.windows.net".

database_name
str
Vyžadováno

Název databáze SQL.

tenant_id
str
výchozí hodnota: None

ID adresáře nebo tenanta instančního objektu.

client_id
str
výchozí hodnota: None

ID klienta nebo aplikace instančního objektu.

client_secret
str
výchozí hodnota: None

Tajný kód instančního objektu.

resource_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL prostředku, která určuje, jaké operace se budou provádět v úložišti databáze SQL, pokud žádný, má výchozí hodnotu https://database.windows.net/.

authority_url
str, <xref:optional>
výchozí hodnota: None

Adresa URL autority použitá k ověření uživatele má výchozí hodnotu https://login.microsoftonline.com.

endpoint
str, <xref:optional>
výchozí hodnota: None

Koncový bod SQL Serveru. Pokud žádné, ve výchozím nastavení se database.windows.net.

overwrite
bool, <xref:optional>
výchozí hodnota: False

Zda se má přepsat existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je Nepravda.

username
str
výchozí hodnota: None

Uživatelské jméno uživatele databáze pro přístup k databázi.

password
str
výchozí hodnota: None

Heslo uživatele databáze pro přístup k databázi.

skip_validation
bool, <xref:optional>
Vyžadováno

Jestli se má přeskočit ověřování připojení k databázi SQL. Výchozí hodnota je False.

subscription_id
str, <xref:optional>
výchozí hodnota: None

ID předplatného, do které patří úložiště ADLS.

resource_group
str, <xref:optional>
výchozí hodnota: None

Skupina prostředků, do které patří úložiště ADLS.

grant_workspace_access
bool, <xref:optional>
výchozí hodnota: False

Výchozí hodnota je False. Pokud chcete získat přístup k datům za virtuální sítí ze nástroje Machine Learning Studio, nastavte ji na Hodnotu True. Tím se přístup k datům ze nástroje Machine Learning Studio použije k ověřování pomocí spravované identity pracovního prostoru a přidá spravovanou identitu pracovního prostoru jako čtenáře úložiště. Pokud chcete vyjádřit souhlas s přihlášením, musíte být vlastníkem nebo správcem uživatelského přístupu úložiště. Pokud nemáte požadované oprávnění, požádejte správce, aby vám ho nakonfigurovali. https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-networkDalší informace

Návraty

Vrátí úložiště dat databáze SQL.

Návratový typ

AzureSqlDatabaseDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Inicializuje nové úložiště dat systému souborů Databricks (DBFS).

Úložiště dat DBFS je možné použít pouze k vytvoření dataReference jako vstupu a PipelineData jako výstupu do DatabricksStep v kanálech Azure Machine Learning. Další podrobnosti najdete tady.

static register_dbfs(workspace, datastore_name)

Parametry

workspace
Workspace
Vyžadováno

Pracovní prostor, do který toto úložiště dat patří.

datastore_name
str
Vyžadováno

Název úložiště dat.

Návraty

Vrátí úložiště dat DBFS.

Návratový typ

DBFSDatastore

Poznámky

Pokud připojujete úložiště z jiné oblasti než z oblasti pracovního prostoru, může to mít za následek vyšší latenci a další náklady na využití sítě.

register_hdfs

Poznámka

Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Inicializuje nové úložiště dat HDFS.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parametry

workspace
Workspace
Vyžadováno

pracovní prostor, do který toto úložiště dat patří

datastore_name
str
Vyžadováno

název úložiště dat

protocol
str nebo <xref:_restclient.models.enum>
Vyžadováno

Protokol, který se má použít při komunikaci s clusterem HDFS. http nebo https. Mezi možné hodnoty patří: http, https.

namenode_address
str
Vyžadováno

IP adresa nebo název hostitele DNS uzlu názvového uzlu HDFS. Volitelně zahrnuje port.

hdfs_server_certificate
str, <xref:optional>
Vyžadováno

Cesta k podpisovým certifikátům TLS názvového uzlu HDFS, pokud používáte protokol TLS s certifikátem podepsaným svým držitelem.

kerberos_realm
str
Vyžadováno

Sféra Protokolu Kerberos.

kerberos_kdc_address
str
Vyžadováno

IP adresa nebo název hostitele DNS služby Kerberos KDC.

kerberos_principal
str
Vyžadováno

Instanční objekt protokolu Kerberos, který se má použít k ověřování a autorizaci.

kerberos_keytab
str, <xref:optional>
Vyžadováno

Cesta k souboru tabulky klíčů obsahující klíče odpovídající objektu zabezpečení protokolu Kerberos. Zadejte buď toto, nebo heslo.

kerberos_password
str, <xref:optional>
Vyžadováno

Heslo odpovídající objektu zabezpečení Kerberos. Zadejte buď toto, nebo cestu k souboru klíče.

overwrite
bool, <xref:optional>
Vyžadováno

přepíše existující úložiště dat. Pokud úložiště dat neexistuje, vytvoří ho. Výchozí hodnota je False.

set_as_default

Nastavte výchozí úložiště dat.

set_as_default()

Parametry

datastore_name
str
Vyžadováno

Název úložiště dat.

unregister

Zruší registraci úložiště dat. základní služba úložiště se neodstraní.

unregister()