Megosztás a következőn keresztül:

Datastore Osztály

Egy Azure Machine Learning-tárfiókon keresztüli tárolási absztrakciót jelöl.

Az adattárak munkaterületekhez vannak csatolva, és az Azure Storage-szolgáltatások kapcsolati adatainak tárolására szolgálnak, így név szerint hivatkozhat rájuk, és nem kell emlékeznie a tárolási szolgáltatásokhoz való csatlakozáshoz használt kapcsolati adatokra és titkos kódokra.

Az adattárként regisztrálható támogatott Azure Storage-szolgáltatások például a következők:

  • Azure-blobtároló

  • Azure-fájlmegosztás

  • Azure Data Lake

  • Azure Data Lake Gen2

  • Azure SQL Database

  • Azure Database for PostgreSQL

  • Databricks fájlrendszer

  • Azure Database for MySQL

Ezzel az osztálysal felügyeleti műveleteket hajthat végre, beleértve az adattárak regisztrálását, listázását, lekérését és eltávolítását. Az egyes szolgáltatások adattárai ennek az osztálynak a register* metódusaival jönnek létre. Ha adattárat használ az adatok eléréséhez, rendelkeznie kell az adatok elérésére vonatkozó engedéllyel, amely az adattárban regisztrált hitelesítő adatoktól függ.

Az adattárakról és azok gépi tanulásban való használatáról az alábbi cikkekben olvashat bővebben:

Adattár lekérése név alapján. Ez a hívás kérést küld az adattárszolgáltatásnak.

Konstruktor

Datastore(workspace, name=None)

Paraméterek

Name Description
workspace
Kötelező
Workspace

A munkaterület.
name
str, <xref:optional>

Az adattár neve alapértelmezés szerint Nincs, amely az alapértelmezett adattárat kapja.

Alapértelmezett érték: None

Megjegyzések

Ha az adattárakban lévő adatokkal szeretne gépi tanulási feladatokat ( például betanítást) használni, hozzon létre egy Azure Machine Learning-adatkészletet. Az adathalmazok olyan függvényeket biztosítanak, amelyek táblázatos adatokat töltenek be egy pandasba vagy a Spark DataFrame-be. Az adatkészletek lehetővé teszik bármilyen formátumú fájlok letöltését vagy csatlakoztatását az Azure Blob Storage, az Azure Files, az Azure Data Lake Storage Gen1, az Azure Data Lake Storage Gen2, az Azure SQL Database és az Azure Database for PostgreSQL szolgáltatásból. További információ az adathalmazok betanításairól.

Az alábbi példa bemutatja, hogyan hozhat létre azure blobtárolóhoz csatlakoztatott adattárat.


   # from azureml.exceptions import UserErrorException
   #
   # blob_datastore_name='MyBlobDatastore'
   # account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   # container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   # account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
   #
   # try:
   #     blob_datastore = Datastore.get(ws, blob_datastore_name)
   #     print("Found Blob Datastore with name: %s" % blob_datastore_name)
   # except UserErrorException:
   #     blob_datastore = Datastore.register_azure_blob_container(
   #         workspace=ws,
   #         datastore_name=blob_datastore_name,
   #         account_name=account_name, # Storage account name
   #         container_name=container_name, # Name of Azure blob container
   #         account_key=account_key) # Storage account key
   #     print("Registered blob datastore with name: %s" % blob_datastore_name)
   #
   # blob_data_ref = DataReference(
   #     datastore=blob_datastore,
   #     data_reference_name="blob_test_data",
   #     path_on_datastore="testdata")

A teljes minta a következő forrásból érhető el: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Metódusok

get

Adattár lekérése név alapján. Ez ugyanaz, mint a konstruktor meghívása.
get_default

Kérje le a munkaterület alapértelmezett adattárát.
register_azure_blob_container

Regisztráljon egy Azure Blob-tárolót az adattárban.

A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott, választhatja az SAS-jogkivonatot vagy a tárfiókkulcsot. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítéshez küldött feladatokban lesz felhasználva. További információt itt talál.
register_azure_data_lake

Inicializáljon egy új Azure Data Lake DataStore-t.

A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítéshez küldött feladatokban lesz felhasználva. További információt itt talál.

Az alábbiakban bemutatjuk, hogyan regisztrálhat egy Azure Data Lake Gen1-et adattárként.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Inicializáljon egy új Azure Data Lake Gen2-adattárat.

A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítéshez küldött feladatokban lesz felhasználva. További információt itt talál.
register_azure_file_share

Regisztráljon egy Azure-fájlmegosztást az adattárban.

Választhat, hogy SAS-jogkivonatot vagy tárfiókkulcsot használ
register_azure_my_sql

Inicializáljon egy új Azure MySQL-adattárat.

A MySQL-adattár csak a DataTransferStep bemeneteként és kimeneteként hozható létre az Azure Machine Learning-folyamatokban. További részletek itt találhatók.

Az alábbiakban bemutatjuk, hogyan regisztrálhat azure MySQL-adatbázist adattárként.
register_azure_postgre_sql

Inicializáljon egy új Azure PostgreSQL-adattárat.

Az alábbiakban bemutatjuk, hogyan regisztrálhat Azure PostgreSQL-adatbázist adattárként.
register_azure_sql_database

Új Azure SQL Database Datastore inicializálása.

A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott, a szolgáltatásnév vagy a felhasználónév + jelszó használata választható. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítéshez küldött feladatokban lesz felhasználva. További információt itt talál.

Az alábbiakban bemutatjuk, hogyan regisztrálhat egy Azure SQL-adatbázist adattárként.
register_dbfs

Inicializáljon egy új Databricks Fájlrendszer (DBFS) adattárat.

A DBFS-adattár csak a DataReference bemeneti és PipelineData kimenetként való létrehozásához használható az Azure Machine Learning-folyamatok DatabricksStep-hez való kimeneteként. További részletek itt találhatók.
register_hdfs

Megjegyzés:

Ez egy kísérleti módszer, és bármikor változhat. További információ: https://aka.ms/acr/connected-registry.

Új HDFS-adattár inicializálása.
set_as_default

Állítsa be az alapértelmezett adattárat.
unregister

Törölje az adattár regisztrációjának megszüntetését. a mögöttes tárolási szolgáltatás nem törlődik.

get

Adattár lekérése név alapján. Ez ugyanaz, mint a konstruktor meghívása.

static get(workspace, datastore_name)

Paraméterek

Name Description
workspace
Kötelező
Workspace

A munkaterület.
datastore_name
Kötelező
str, <xref:optional>

Az adattár neve alapértelmezés szerint Nincs, amely az alapértelmezett adattárat kapja.

Válaszok

Típus Description
AzureFileDatastore,
AzureBlobDatastore,
AzureDataLakeDatastore,
AzureDataLakeGen2Datastore,
AzureSqlDatabaseDatastore,
AzurePostgreSqlDatastore,
AzureMySqlDatastore,
DBFSDatastore

A név megfelelő adattára.

get_default

Kérje le a munkaterület alapértelmezett adattárát.

static get_default(workspace)

Paraméterek

Name Description
workspace
Kötelező
Workspace

A munkaterület.

Válaszok

Típus Description
AzureFileDatastore,
AzureBlobDatastore

A munkaterület alapértelmezett adattára

register_azure_blob_container

Regisztráljon egy Azure Blob-tárolót az adattárban.

A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott, választhatja az SAS-jogkivonatot vagy a tárfiókkulcsot. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítéshez küldött feladatokban lesz felhasználva. További információt itt talál.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Paraméterek

Name Description
workspace
Kötelező
Workspace

A munkaterület.
datastore_name
Kötelező
str

Az adattár neve, a kis- és nagybetűk nem érzéketlenek, csak alfanumerikus karaktereket és _karaktereket tartalmazhatnak.
container_name
Kötelező
str

Az Azure Blob-tároló neve.
account_name
Kötelező
str

A tárfiók neve.
sas_token
str, <xref:optional>

A fiók SAS-jogkivonata alapértelmezés szerint Nincs. Az adatolvasáshoz a tárolók és objektumok listázási és olvasási engedélyeinek minimumára, az adatíráshoz pedig írási és hozzáadási engedélyekre van szükség.

Alapértelmezett érték: None
account_key
str, <xref:optional>

A tárfiók hozzáférési kulcsai alapértelmezés szerint Nincs értékre.

Alapértelmezett érték: None
protocol
str, <xref:optional>

A blobtárolóhoz való csatlakozáshoz használandó protokoll. Ha nincs, a https alapértelmezett értéke.

Alapértelmezett érték: None
endpoint
str, <xref:optional>

A tárfiók végpontja. Ha nincs, alapértelmezés szerint core.windows.net.

Alapértelmezett érték: None
overwrite
bool, <xref:optional>

felülír egy meglévő adattárat. Ha az adattár nem létezik, létrehoz egyet, alapértelmezés szerint Hamis

Alapértelmezett érték: False
create_if_not_exists
bool, <xref:optional>

hozzon létre egy blobtárolót, ha nem létezik, alapértelmezés szerint Hamis

Alapértelmezett érték: False
skip_validation
bool, <xref:optional>

kihagyja a tárkulcsok érvényesítését, alapértelmezés szerint hamis

Alapértelmezett érték: False
blob_cache_timeout
int, <xref:optional>

Ha ez a blob csatlakoztatva van, állítsa a gyorsítótár időtúllépését ennyi másodpercre. Ha nincs, alapértelmezés szerint nincs időtúllépés (azaz olvasáskor a blobok a feladat időtartamára lesznek gyorsítótárazva).

Alapértelmezett érték: None
grant_workspace_access
bool, <xref:optional>

Alapértelmezés szerint hamis. Állítsa True értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz. Ez lehetővé teszi, hogy a Machine Learning Studióból származó adatok a munkaterület által felügyelt identitást használják a hitelesítéshez, és a munkaterület felügyelt identitását a tár olvasójaként adja hozzá. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférés-rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ : "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network"

Alapértelmezett érték: False
subscription_id
str, <xref:optional>

A tárfiók előfizetés-azonosítója alapértelmezés szerint Nincs.

Alapértelmezett érték: None
resource_group
str, <xref:optional>

A tárfiók erőforráscsoportja alapértelmezés szerint Nincs.

Alapértelmezett érték: None

Válaszok

Típus Description
AzureBlobDatastore

A blobadattár.

Megjegyzések

Ha a tárolót a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.

register_azure_data_lake

Inicializáljon egy új Azure Data Lake DataStore-t.

A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítéshez küldött feladatokban lesz felhasználva. További információt itt talál.

Az alábbiakban bemutatjuk, hogyan regisztrálhat egy Azure Data Lake Gen1-et adattárként.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Paraméterek

Name Description
workspace
Kötelező
Workspace

Az adattárhoz tartozó munkaterület.
datastore_name
Kötelező
str

Az adattár neve.
store_name
Kötelező
str

Az ADLS-tároló neve.
tenant_id
str, <xref:optional>

Az adatok eléréséhez használt szolgáltatásnév címtár-azonosítója/bérlőazonosítója.

Alapértelmezett érték: None
client_id
str, <xref:optional>

Az adatok eléréséhez használt szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója.

Alapértelmezett érték: None
client_secret
str, <xref:optional>

Az adatok eléréséhez használt szolgáltatásnév ügyfélkódja.

Alapértelmezett érték: None
resource_url
str, <xref:optional>

Az erőforrás URL-címe, amely meghatározza, hogy milyen műveleteket hajtunk végre a Data Lake Store-ban, ha nincs, alapértelmezés szerint ez teszi lehetővé a fájlrendszerműveleteket https://datalake.azure.net/ .

Alapértelmezett érték: None
authority_url
str, <xref:optional>

A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a https://login.microsoftonline.comkövetkező: .

Alapértelmezett érték: None
subscription_id
str, <xref:optional>

Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik.

Alapértelmezett érték: None
resource_group
str, <xref:optional>

Az ADLS-tároló erőforráscsoportja.

Alapértelmezett érték: None
overwrite
bool, <xref:optional>

Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis.

Alapértelmezett érték: False
grant_workspace_access
bool, <xref:optional>

Alapértelmezés szerint hamis. Állítsa True értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz. Ez lehetővé teszi, hogy a Machine Learning Studióból származó adatok a munkaterület által felügyelt identitást használják a hitelesítéshez, és a munkaterület felügyelt identitását a tár olvasójaként adja hozzá. A bejelentkezéshez a tár tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ : "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network"

Alapértelmezett érték: False

Válaszok

Típus Description
AzureDataLakeDatastore

Az Azure Data Lake DataStore-t adja vissza.

Megjegyzések

Ha a tárolót a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.

Megjegyzés:

Az Azure Data Lake Datastore az Azure Machine Learning Pipelines használatával támogatja az adatátvitelt és az U-Sql-feladatok futtatását.

Adatforrásként is használhatja az Azure Machine Learning-adatkészlethez, amely bármilyen támogatott számításra letölthető vagy csatlakoztatható.

register_azure_data_lake_gen2

Inicializáljon egy új Azure Data Lake Gen2-adattárat.

A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítéshez küldött feladatokban lesz felhasználva. További információt itt talál.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Paraméterek

Name Description
workspace
Kötelező
Workspace

Az adattárhoz tartozó munkaterület.
datastore_name
Kötelező
str

Az adattár neve.
filesystem
Kötelező
str

A Data Lake Gen2 fájlrendszer neve.
account_name
Kötelező
str

A tárfiók neve.
tenant_id
str, <xref:optional>

A szolgáltatásnév címtár-azonosítója/bérlőazonosítója.

Alapértelmezett érték: None
client_id
str, <xref:optional>

A szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója.

Alapértelmezett érték: None
client_secret
str, <xref:optional>

A szolgáltatásnév titka.

Alapértelmezett érték: None
resource_url
str, <xref:optional>

Az erőforrás URL-címe, amely meghatározza, hogy milyen műveleteket hajtunk végre a Data Lake Store-ban, alapértelmezés szerint lehetővé teszi a fájlrendszerműveleteket https://storage.azure.com/ .

Alapértelmezett érték: None
authority_url
str, <xref:optional>

A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a https://login.microsoftonline.comkövetkező: .

Alapértelmezett érték: None
protocol
str, <xref:optional>

A blobtárolóhoz való csatlakozáshoz használandó protokoll. Ha nincs, a https alapértelmezett értéke.

Alapértelmezett érték: None
endpoint
str, <xref:optional>

A tárfiók végpontja. Ha nincs, alapértelmezés szerint core.windows.net.

Alapértelmezett érték: None
overwrite
bool, <xref:optional>

Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis.

Alapértelmezett érték: False
subscription_id
str, <xref:optional>

Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik.

Alapértelmezett érték: None
resource_group
str, <xref:optional>

Az ADLS-tároló erőforráscsoportja.

Alapértelmezett érték: None
grant_workspace_access
bool, <xref:optional>

Alapértelmezés szerint hamis. Állítsa True értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz. Ez lehetővé teszi, hogy a Machine Learning Studióból származó adatok a munkaterület által felügyelt identitást használják a hitelesítéshez, és a munkaterület felügyelt identitását a tár olvasójaként adja hozzá. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférés-rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ : "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network"

Alapértelmezett érték: False

Válaszok

Típus Description
AzureDataLakeGen2Datastore

Az Azure Data Lake Gen2 Adattárat adja vissza.

Megjegyzések

Ha a tárolót a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.

register_azure_file_share

Regisztráljon egy Azure-fájlmegosztást az adattárban.

Választhat, hogy SAS-jogkivonatot vagy tárfiókkulcsot használ

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Paraméterek

Name Description
workspace
Kötelező
Workspace

Az adattárhoz tartozó munkaterület.
datastore_name
Kötelező
str

Az adattár neve, a kis- és nagybetűk nem érzéketlenek, csak alfanumerikus karaktereket és _karaktereket tartalmazhatnak.
file_share_name
Kötelező
str

Az Azure-fájltároló neve.
account_name
Kötelező
str

A tárfiók neve.
sas_token
str, <xref:optional>

A fiók SAS-jogkivonata alapértelmezés szerint Nincs. Az adatolvasáshoz a tárolók és objektumok listázási és olvasási engedélyeinek minimumára, az adatíráshoz pedig írási és hozzáadási engedélyekre van szükség.

Alapértelmezett érték: None
account_key
str, <xref:optional>

A tárfiók hozzáférési kulcsai alapértelmezés szerint Nincs értékre.

Alapértelmezett érték: None
protocol
str, <xref:optional>

A fájlmegosztáshoz való csatlakozáshoz használt protokoll. Ha nincs, a https alapértelmezett értéke.

Alapértelmezett érték: None
endpoint
str, <xref:optional>

A fájlmegosztás végpontja. Ha nincs, alapértelmezés szerint core.windows.net.

Alapértelmezett érték: None
overwrite
bool, <xref:optional>

Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis.

Alapértelmezett érték: False
create_if_not_exists
bool, <xref:optional>

A fájlmegosztás létrehozása, ha nem létezik. Az alapértelmezett érték Hamis.

Alapértelmezett érték: False
skip_validation
bool, <xref:optional>

A tárkulcsok érvényesítésének kihagyása. Az alapértelmezett érték Hamis.

Alapértelmezett érték: False

Válaszok

Típus Description
AzureFileDatastore

A fájladattár.

Megjegyzések

Ha a tárolót a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.

register_azure_my_sql

Inicializáljon egy új Azure MySQL-adattárat.

A MySQL-adattár csak a DataTransferStep bemeneteként és kimeneteként hozható létre az Azure Machine Learning-folyamatokban. További részletek itt találhatók.

Az alábbiakban bemutatjuk, hogyan regisztrálhat azure MySQL-adatbázist adattárként.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Paraméterek

Name Description
workspace
Kötelező
Workspace

Az adattárhoz tartozó munkaterület.
datastore_name
Kötelező
str

Az adattár neve.
server_name
Kötelező
str

A MySQL-kiszolgáló neve.
database_name
Kötelező
str

A MySQL-adatbázis neve.
user_id
Kötelező
str

A MySQL-kiszolgáló felhasználói azonosítója.
user_password
Kötelező
str

A MySQL-kiszolgáló felhasználói jelszava.
port_number
str

A MySQL-kiszolgáló portszáma.

Alapértelmezett érték: None
endpoint
str, <xref:optional>

A MySQL-kiszolgáló végpontja. Ha nincs, akkor alapértelmezés szerint mysql.database.azure.com.

Alapértelmezett érték: None
overwrite
bool, <xref:optional>

Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis.

Alapértelmezett érték: False

Válaszok

Típus Description
AzureMySqlDatastore

A MySQL-adatbázis adattárát adja vissza.

Megjegyzések

Ha a tárolót a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Inicializáljon egy új Azure PostgreSQL-adattárat.

Az alábbiakban bemutatjuk, hogyan regisztrálhat Azure PostgreSQL-adatbázist adattárként.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Paraméterek

Name Description
workspace
Kötelező
Workspace

Az adattárhoz tartozó munkaterület.
datastore_name
Kötelező
str

Az adattár neve.
server_name
Kötelező
str

A PostgreSQL-kiszolgáló neve.
database_name
Kötelező
str

A PostgreSQL-adatbázis neve.
user_id
Kötelező
str

A PostgreSQL-kiszolgáló felhasználói azonosítója.
user_password
Kötelező
str

A PostgreSQL-kiszolgáló felhasználói jelszava.
port_number
str

A PostgreSQL-kiszolgáló portszáma

Alapértelmezett érték: None
endpoint
str, <xref:optional>

A PostgreSQL-kiszolgáló végpontja. Ha nincs, alapértelmezés szerint postgres.database.azure.com.

Alapértelmezett érték: None
overwrite
bool, <xref:optional>

Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis.

Alapértelmezett érték: False
enforce_ssl
bool

A PostgreSQL-kiszolgáló SSL-követelményét jelzi. Alapértelmezés szerint igaz.

Alapértelmezett érték: True

Válaszok

Típus Description
AzurePostgreSqlDatastore

A PostgreSQL-adatbázis adattárát adja vissza.

Megjegyzések

Ha a tárolót a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Új Azure SQL Database Datastore inicializálása.

A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott, a szolgáltatásnév vagy a felhasználónév + jelszó használata választható. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítéshez küldött feladatokban lesz felhasználva. További információt itt talál.

Az alábbiakban bemutatjuk, hogyan regisztrálhat egy Azure SQL-adatbázist adattárként.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Paraméterek

Name Description
workspace
Kötelező
Workspace

Az adattárhoz tartozó munkaterület.
datastore_name
Kötelező
str

Az adattár neve.
server_name
Kötelező
str

Az SQL-kiszolgáló neve. Az olyan teljes tartománynévnél, mint a "sample.database.windows.net", a server_name értéknek "mintának" kell lennie, a végpontértéknek pedig "database.windows.net" értéknek kell lennie.
database_name
Kötelező
str

Az SQL-adatbázis neve.
tenant_id
str

A szolgáltatásnév címtár-azonosítója/bérlőazonosítója.

Alapértelmezett érték: None
client_id
str

A szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója.

Alapértelmezett érték: None
client_secret
str

A szolgáltatásnév titka.

Alapértelmezett érték: None
resource_url
str, <xref:optional>

Az erőforrás URL-címe, amely meghatározza, hogy milyen műveleteket hajtanak végre az SQL-adatbázistárolóban, ha nincs, akkor az alapértelmezett érték.https://database.windows.net/

Alapértelmezett érték: None
authority_url
str, <xref:optional>

A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a https://login.microsoftonline.comkövetkező: .

Alapértelmezett érték: None
endpoint
str, <xref:optional>

Az SQL Server végpontja. Ha nincs, alapértelmezés szerint database.windows.net.

Alapértelmezett érték: None
overwrite
bool, <xref:optional>

Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis.

Alapértelmezett érték: False
username
str

Az adatbázis-felhasználó felhasználóneve az adatbázis eléréséhez.

Alapértelmezett érték: None
password
str

Az adatbázis-felhasználó jelszava az adatbázis eléréséhez.

Alapértelmezett érték: None
skip_validation
Kötelező
bool, <xref:optional>

Az SQL-adatbázishoz való csatlakozás ellenőrzésének kihagyása. Alapértelmezés szerint hamis.
subscription_id
str, <xref:optional>

Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik.

Alapértelmezett érték: None
resource_group
str, <xref:optional>

Az ADLS-tároló erőforráscsoportja.

Alapértelmezett érték: None
grant_workspace_access
bool, <xref:optional>

Alapértelmezés szerint hamis. Állítsa True értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz. Ez lehetővé teszi, hogy a Machine Learning Studióból származó adatok a munkaterület által felügyelt identitást használják a hitelesítéshez, és a munkaterület felügyelt identitását a tár olvasójaként adja hozzá. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférés-rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ : "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network"

Alapértelmezett érték: False

Válaszok

Típus Description
AzureSqlDatabaseDatastore

Az SQL Database Datastore értékét adja vissza.

Megjegyzések

Ha a tárolót a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Inicializáljon egy új Databricks Fájlrendszer (DBFS) adattárat.

A DBFS-adattár csak a DataReference bemeneti és PipelineData kimenetként való létrehozásához használható az Azure Machine Learning-folyamatok DatabricksStep-hez való kimeneteként. További részletek itt találhatók.

static register_dbfs(workspace, datastore_name)

Paraméterek

Name Description
workspace
Kötelező
Workspace

Az adattárhoz tartozó munkaterület.
datastore_name
Kötelező
str

Az adattár neve.

Válaszok

Típus Description
DBFSDatastore

A DBFS-adattárat adja vissza.

Megjegyzések

Ha a tárolót a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.

register_hdfs

Megjegyzés:

Ez egy kísérleti módszer, és bármikor változhat. További információ: https://aka.ms/acr/connected-registry.

Új HDFS-adattár inicializálása.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Paraméterek

Name Description
workspace
Kötelező
Workspace

az a munkaterület, amelyhez az adattár tartozik
datastore_name
Kötelező
str

az adattár neve
protocol
Kötelező
str vagy <xref:_restclient.models.enum>

A HDFS-fürttel való kommunikációhoz használandó protokoll. http vagy https. A lehetséges értékek a következők: "http", "https"
namenode_address
Kötelező
str

A HDFS-névcsomópont IP-címe vagy DNS-állomásneve. Opcionálisan portot is tartalmaz.
hdfs_server_certificate
Kötelező
str, <xref:optional>

A HDFS-névcsomópont TLS-aláíró tanúsítványának elérési útja, ha a TLS-t önaláírt tanúsítványsal használja.
kerberos_realm
Kötelező
str

A Kerberos birodalom.
kerberos_kdc_address
Kötelező
str

A Kerberos KDC IP-címe vagy DNS-állomásneve.
kerberos_principal
Kötelező
str

A Hitelesítéshez és engedélyezéshez használni kívánt Kerberos-tag.
kerberos_keytab
Kötelező
str, <xref:optional>

A Kerberos-tagnak megfelelő kulcs(ok)t tartalmazó keytab-fájl elérési útja. Adja meg ezt vagy egy jelszót.
kerberos_password
Kötelező
str, <xref:optional>

A Kerberos-tagnak megfelelő jelszó. Adja meg ezt vagy egy keytab-fájl elérési útját.
overwrite
Kötelező
bool, <xref:optional>

felülír egy meglévő adattárat. Ha az adattár nem létezik, létrehoz egyet. Alapértelmezés szerint hamis.

set_as_default

Állítsa be az alapértelmezett adattárat.

set_as_default()

Paraméterek

Name Description
datastore_name
Kötelező
str

Az adattár neve.

unregister

Törölje az adattár regisztrációjának megszüntetését. a mögöttes tárolási szolgáltatás nem törlődik.

unregister()