Datastore Osztály
Tárterület-absztrakciót jelöl egy Azure Machine Learning-tárfiókon keresztül.
Az adattárak munkaterületekhez vannak csatolva, és az Azure Storage-szolgáltatások kapcsolati információinak tárolására szolgálnak, így név szerint hivatkozhat rájuk, és nem kell megjegyeznie a tárolási szolgáltatásokhoz való csatlakozáshoz használt kapcsolati adatokat és titkos kulcsokat.
Példák az adattárként regisztrálható támogatott Azure Storage-szolgáltatásokra:
Azure-blobtároló
Azure-fájlmegosztás
Azure Data Lake
Azure Data Lake Gen2
Azure SQL Database
Azure Database for PostgreSQL
Databricks fájlrendszer
Azure Database for MySQL
Ezzel az osztálysal felügyeleti műveleteket hajthat végre, beleértve az adattárak regisztrálását, listázását, lekérését és eltávolítását.
Az egyes szolgáltatásokhoz tartozó adattárak ennek az osztálynak a register* metódusaival jönnek létre. Amikor adattárat használ az adatok eléréséhez, rendelkeznie kell az adatokhoz való hozzáféréshez szükséges engedéllyel, amely az adattárban regisztrált hitelesítő adatoktól függ.
Az adattárakról és azok gépi tanulásban való használatáról az alábbi cikkekben talál további információt:
Adattár lekérése név alapján. Ez a hívás kérést küld az adattárszolgáltatásnak.
- Öröklődés
-
builtins.objectDatastore
Konstruktor
Datastore(workspace, name=None)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
A munkaterület. |
|
name
|
str, <xref:optional>
Az adattár neve alapértelmezés szerint Nincs, amely az alapértelmezett adattárat kapja meg. alapértelmezett érték: None
|
Megjegyzések
Ha a gépi tanulási feladatokhoz , például a betanításhoz hasonló adattárolókban lévő adatokkal szeretne kommunikálni, hozzon létre egy Azure Machine Learning-adatkészletet. Az adathalmazok olyan függvényeket biztosítanak, amelyek táblázatos adatokat töltenek be egy pandasba vagy a Spark DataFrame-be. Az adatkészletek bármilyen formátumú fájl letöltését vagy csatlakoztatását is lehetővé teszik az Azure Blob Storage-ból, Azure Files, Azure Data Lake Storage Gen1-ből, Azure Data Lake Storage Gen2, Azure SQL-adatbázisból és Azure Database for PostgreSQL. További információ az adathalmazok betanítása kapcsán.
Az alábbi példa bemutatja, hogyan hozhat létre azure blobtárolóhoz csatlakoztatott adattárat.
from azureml.exceptions import UserErrorException
blob_datastore_name='MyBlobDatastore'
account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
try:
blob_datastore = Datastore.get(ws, blob_datastore_name)
print("Found Blob Datastore with name: %s" % blob_datastore_name)
except UserErrorException:
blob_datastore = Datastore.register_azure_blob_container(
workspace=ws,
datastore_name=blob_datastore_name,
account_name=account_name, # Storage account name
container_name=container_name, # Name of Azure blob container
account_key=account_key) # Storage account key
print("Registered blob datastore with name: %s" % blob_datastore_name)
blob_data_ref = DataReference(
datastore=blob_datastore,
data_reference_name="blob_test_data",
path_on_datastore="testdata")
A teljes minta a következő forrásból érhető el: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb
Metódusok
| get |
Adattár lekérése név alapján. Ez ugyanaz, mint a konstruktor meghívása. |
| get_default |
Szerezze be a munkaterület alapértelmezett adattárát. |
| register_azure_blob_container |
Regisztráljon egy Azure Blob-tárolót az adattárban. A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott, választhatja az SAS-jogkivonat vagy a tárfiókkulcs használatát. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítésre küldött feladatokban lesz felhasználva. További információt itt talál. |
| register_azure_data_lake |
Inicializáljon egy új Azure Data Lake DataStoret. A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha az adattárban nem menti a hitelesítő adatokat, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitását az Experiment.submit által adathozzáférési hitelesítésre küldött feladatokban fogja használni. További információt itt talál. Az alábbiakban egy példát talál arra, hogyan regisztrálhat egy Azure Data Lake Gen1-et adattárként. |
| register_azure_data_lake_gen2 |
Inicializáljon egy új Azure Data Lake Gen2-adattárat. A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha az adattárban nem menti a hitelesítő adatokat, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitását az Experiment.submit által adathozzáférési hitelesítésre küldött feladatokban fogja használni. További információt itt talál. |
| register_azure_file_share |
Regisztráljon egy Azure-fájlmegosztást az adattárban. Választhat, hogy SAS-jogkivonatot vagy tárfiókkulcsot használ |
| register_azure_my_sql |
Inicializáljon egy új Azure MySQL-adattárat. A MySQL-adattár csak a DataTransferStep bemeneteként és kimeneteként hozható létre az Azure Machine Learning-folyamatokban. További részletek itt találhatók. Az alábbiakban egy példát talál arra, hogyan regisztrálhat Azure MySQL-adatbázist adattárként. |
| register_azure_postgre_sql |
Inicializáljon egy új Azure PostgreSQL-adattárat. Az alábbiakban egy példát talál az Azure PostgreSQL-adatbázisok adattárként való regisztrálására. |
| register_azure_sql_database |
Inicializáljon egy új Azure SQL adatbázisadattárat. A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. Választhatja a Szolgáltatásnév vagy felhasználónév + jelszó használatát. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítésre küldött feladatokban lesz felhasználva. További információt itt talál. Alább talál egy példát arra, hogyan regisztrálhat Azure SQL adatbázist adattárként. |
| register_dbfs |
Inicializáljon egy új Databricks Fájlrendszer (DBFS) adattárat. A DBFS-adattár csak a DataReference bemenetként, a PipelineData pedig a DatabricksStep kimeneteként használható az Azure Machine Learning-folyamatokban. További részletek itt találhatók. |
| register_hdfs |
Megjegyzés Ez egy kísérleti módszer, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental. Új HDFS-adattár inicializálása. |
| set_as_default |
Állítsa be az alapértelmezett adattárat. |
| unregister |
Törölje az adattár regisztrációjának törlését. a mögöttes tárolási szolgáltatás nem törlődik. |
get
Adattár lekérése név alapján. Ez ugyanaz, mint a konstruktor meghívása.
static get(workspace, datastore_name)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
A munkaterület. |
|
datastore_name
Kötelező
|
str, <xref:optional>
Az adattár neve alapértelmezés szerint Nincs, amely az alapértelmezett adattárat kapja meg. |
Válaszok
| Típus | Description |
|---|---|
|
A névnek megfelelő adattár. |
get_default
Szerezze be a munkaterület alapértelmezett adattárát.
static get_default(workspace)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
A munkaterület. |
Válaszok
| Típus | Description |
|---|---|
|
A munkaterület alapértelmezett adattára |
register_azure_blob_container
Regisztráljon egy Azure Blob-tárolót az adattárban.
A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott, választhatja az SAS-jogkivonat vagy a tárfiókkulcs használatát. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítésre küldött feladatokban lesz felhasználva. További információt itt talál.
static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
A munkaterület. |
|
datastore_name
Kötelező
|
Az adattár neve, a kis- és nagybetűk érzéketlenek, csak alfanumerikus karaktereket és _karaktert tartalmazhatnak. |
|
container_name
Kötelező
|
Az Azure Blob-tároló neve. |
|
account_name
Kötelező
|
A tárfiók neve. |
|
sas_token
|
str, <xref:optional>
A fiók SAS-jogkivonata alapértelmezés szerint Nincs. Adatolvasáshoz legalább Lista & Olvasási engedélyekre van szükség a tárolókhoz & objektumokhoz, az adatíráshoz pedig írási & Engedélyek hozzáadása szükséges. alapértelmezett érték: None
|
|
account_key
|
str, <xref:optional>
A tárfiók hozzáférési kulcsai alapértelmezés szerint Nincs értékűek. alapértelmezett érték: None
|
|
protocol
|
str, <xref:optional>
A blobtárolóhoz való csatlakozáshoz használandó protokoll. Ha nincs, alapértelmezés szerint https. alapértelmezett érték: None
|
|
endpoint
|
str, <xref:optional>
A tárfiók végpontja. Ha nincs, alapértelmezés szerint core.windows.net. alapértelmezett érték: None
|
|
overwrite
|
bool, <xref:optional>
felülír egy meglévő adattárat. Ha az adattár nem létezik, akkor létrehoz egy, alapértelmezés szerint Hamis értéket. alapértelmezett érték: False
|
|
create_if_not_exists
|
bool, <xref:optional>
blobtároló létrehozása, ha nem létezik, alapértelmezés szerint Hamis alapértelmezett érték: False
|
|
skip_validation
|
bool, <xref:optional>
kihagyja a tárolási kulcsok érvényesítését, alapértelmezés szerint False (Hamis) értékre alapértelmezett érték: False
|
|
blob_cache_timeout
|
int, <xref:optional>
Ha ez a blob csatlakoztatva van, állítsa a gyorsítótár időtúllépését ennyi másodpercre. Ha nincs, alapértelmezés szerint nincs időtúllépés (azaz olvasáskor a blobok a feladat időtartamára lesznek gyorsítótárazva). alapértelmezett érték: None
|
|
grant_workspace_access
|
bool, <xref:optional>
Alapértelmezés szerint Hamis. Állítsa Igaz értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz.Ezzel a Machine Learning Studióból származó adatokhoz való hozzáférés munkaterület által felügyelt identitást használ a hitelesítéshez, és hozzáadja a munkaterület felügyelt identitását a tár olvasójaként. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ: "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network" alapértelmezett érték: False
|
|
subscription_id
|
str, <xref:optional>
A tárfiók előfizetés-azonosítója alapértelmezés szerint Nincs. alapértelmezett érték: None
|
|
resource_group
|
str, <xref:optional>
A tárfiók erőforráscsoportja alapértelmezés szerint Nincs. alapértelmezett érték: None
|
Válaszok
| Típus | Description |
|---|---|
|
A blobadattár. |
Megjegyzések
Ha a tárterületet a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.
register_azure_data_lake
Inicializáljon egy új Azure Data Lake DataStoret.
A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha az adattárban nem menti a hitelesítő adatokat, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitását az Experiment.submit által adathozzáférési hitelesítésre küldött feladatokban fogja használni. További információt itt talál.
Az alábbiakban egy példát talál arra, hogyan regisztrálhat egy Azure Data Lake Gen1-et adattárként.
adlsgen1_datastore_name='adlsgen1datastore'
store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal
adls_datastore = Datastore.register_azure_data_lake(
workspace=ws,
datastore_name=aslsgen1_datastore_name,
subscription_id=subscription_id, # subscription id of ADLS account
resource_group=resource_group, # resource group of ADLS account
store_name=store_name, # ADLS account name
tenant_id=tenant_id, # tenant id of service principal
client_id=client_id, # client id of service principal
client_secret=client_secret) # the secret of service principal
static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
Az adattárhoz tartozó munkaterület. |
|
datastore_name
Kötelező
|
Az adattár neve. |
|
store_name
Kötelező
|
Az ADLS-tároló neve. |
|
tenant_id
|
str, <xref:optional>
Az adatok eléréséhez használt szolgáltatásnév címtár-azonosítója/bérlőazonosítója. alapértelmezett érték: None
|
|
client_id
|
str, <xref:optional>
Az adatok eléréséhez használt szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója. alapértelmezett érték: None
|
|
client_secret
|
str, <xref:optional>
Az adatok eléréséhez használt szolgáltatásnév titkos ügyfélkódja. alapértelmezett érték: None
|
|
resource_url
|
str, <xref:optional>
Az erőforrás URL-címe, amely meghatározza, hogy milyen műveleteket hajtanak végre a Data Lake Store-ban, ha nincs, akkor az alapértelmezett érték alapértelmezett érték: None
|
|
authority_url
|
str, <xref:optional>
A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a következő lesz alapértelmezett érték: None
|
|
subscription_id
|
str, <xref:optional>
Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik. alapértelmezett érték: None
|
|
resource_group
|
str, <xref:optional>
Az ADLS-tároló erőforráscsoportja. alapértelmezett érték: None
|
|
overwrite
|
bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis. alapértelmezett érték: False
|
|
grant_workspace_access
|
bool, <xref:optional>
Alapértelmezés szerint Hamis. Állítsa Igaz értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz.Ezzel a Machine Learning Studióból származó adatokhoz való hozzáférés munkaterület által felügyelt identitást használ a hitelesítéshez, és hozzáadja a munkaterület felügyelt identitását a tár olvasójaként. A bejelentkezéshez a tár tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ: "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network" alapértelmezett érték: False
|
Válaszok
| Típus | Description |
|---|---|
|
Az Azure Data Lake DataStoret adja vissza. |
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
Megjegyzés
Az Azure Data Lake Datastore támogatja az adatátvitelt és az U-Sql-feladatok Futtatását az Azure Machine Learning Pipelines használatával.
Adatforrásként is használhatja az Azure Machine Learning-adatkészlethez, amely bármely támogatott számításhoz letölthető vagy csatlakoztatható.
register_azure_data_lake_gen2
Inicializáljon egy új Azure Data Lake Gen2-adattárat.
A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha az adattárban nem menti a hitelesítő adatokat, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitását az Experiment.submit által adathozzáférési hitelesítésre küldött feladatokban fogja használni. További információt itt talál.
static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
Az a munkaterület, amelyhez az adattár tartozik. |
|
datastore_name
Kötelező
|
Az adattár neve. |
|
filesystem
Kötelező
|
A Data Lake Gen2 fájlrendszer neve. |
|
account_name
Kötelező
|
A tárfiók neve. |
|
tenant_id
|
str, <xref:optional>
A szolgáltatásnév címtár-azonosítója/bérlőazonosítója. alapértelmezett érték: None
|
|
client_id
|
str, <xref:optional>
A szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója. alapértelmezett érték: None
|
|
client_secret
|
str, <xref:optional>
A szolgáltatásnév titkos kódja. alapértelmezett érték: None
|
|
resource_url
|
str, <xref:optional>
Az erőforrás URL-címe, amely meghatározza, hogy milyen műveleteket hajtanak végre a Data Lake Store-ban, alapértelmezés szerint fájlrendszerműveleteket alapértelmezett érték: None
|
|
authority_url
|
str, <xref:optional>
A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a következő: alapértelmezett érték: None
|
|
protocol
|
str, <xref:optional>
A blobtárolóhoz való csatlakozáshoz használandó protokoll. Ha nincs, alapértelmezés szerint https. alapértelmezett érték: None
|
|
endpoint
|
str, <xref:optional>
A tárfiók végpontja. Ha nincs, az alapértelmezés szerint core.windows.net. alapértelmezett érték: None
|
|
overwrite
|
bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték a Hamis. alapértelmezett érték: False
|
|
subscription_id
|
str, <xref:optional>
Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik. alapértelmezett érték: None
|
|
resource_group
|
str, <xref:optional>
Az ADLS-tároló erőforráscsoportja. alapértelmezett érték: None
|
|
grant_workspace_access
|
bool, <xref:optional>
Alapértelmezés szerint Hamis. Állítsa True (Igaz) értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz.Ez lehetővé teszi, hogy a Machine Learning Studióból származó adatok a munkaterület felügyelt identitását használják a hitelesítéshez, és hozzáadja a munkaterület felügyelt identitását a tár olvasójaként. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja Önnek, ha nem rendelkezik a szükséges engedéllyel. További információ: "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network" alapértelmezett érték: False
|
Válaszok
| Típus | Description |
|---|---|
|
Az Azure Data Lake Gen2-adattárat adja vissza. |
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
register_azure_file_share
Regisztráljon egy Azure-fájlmegosztást az adattárban.
Választhat, hogy SAS-jogkivonatot vagy tárfiókkulcsot használ
static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
Az a munkaterület, amelyhez az adattár tartozik. |
|
datastore_name
Kötelező
|
Az adattár neve, amely nem különbözteti meg a kis- és nagybetűket, csak alfanumerikus karaktereket és _-t tartalmazhat. |
|
file_share_name
Kötelező
|
Az azure-fájltároló neve. |
|
account_name
Kötelező
|
A tárfiók neve. |
|
sas_token
|
str, <xref:optional>
A fiók SAS-jogkivonata alapértelmezés szerint Nincs. Az adatolvasáshoz legalább listázási & olvasási engedélyekre van szükség a tárolókhoz & objektumokhoz, az adatíráshoz pedig írási & Engedély hozzáadása szükséges. alapértelmezett érték: None
|
|
account_key
|
str, <xref:optional>
A tárfiók hozzáférési kulcsai alapértelmezés szerint Nincs értékűek. alapértelmezett érték: None
|
|
protocol
|
str, <xref:optional>
A fájlmegosztáshoz való csatlakozáshoz használandó protokoll. Ha nincs, alapértelmezés szerint https. alapértelmezett érték: None
|
|
endpoint
|
str, <xref:optional>
A fájlmegosztás végpontja. Ha nincs, az alapértelmezés szerint core.windows.net. alapértelmezett érték: None
|
|
overwrite
|
bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték a Hamis. alapértelmezett érték: False
|
|
create_if_not_exists
|
bool, <xref:optional>
A fájlmegosztás létrehozása, ha nem létezik. Az alapértelmezett érték a Hamis. alapértelmezett érték: False
|
|
skip_validation
|
bool, <xref:optional>
Kihagyhatja-e a tárolókulcsok érvényesítését. Az alapértelmezett érték a Hamis. alapértelmezett érték: False
|
Válaszok
| Típus | Description |
|---|---|
|
A fájladattár. |
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
register_azure_my_sql
Inicializáljon egy új Azure MySQL-adattárat.
A MySQL-adattár csak a DataTransferStep bemeneteként és kimeneteként hozható létre az Azure Machine Learning-folyamatokban. További részletek itt találhatók.
Az alábbiakban egy példát talál arra, hogyan regisztrálhat Azure MySQL-adatbázist adattárként.
static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
Az a munkaterület, amelyhez az adattár tartozik. |
|
datastore_name
Kötelező
|
Az adattár neve. |
|
server_name
Kötelező
|
A MySQL-kiszolgáló neve. |
|
database_name
Kötelező
|
A MySQL-adatbázis neve. |
|
user_id
Kötelező
|
A MySQL-kiszolgáló felhasználói azonosítója. |
|
user_password
Kötelező
|
A MySQL-kiszolgáló felhasználói jelszava. |
|
port_number
|
A MySQL-kiszolgáló portszáma. alapértelmezett érték: None
|
|
endpoint
|
str, <xref:optional>
A MySQL-kiszolgáló végpontja. Ha nincs, az alapértelmezés szerint mysql.database.azure.com. alapértelmezett érték: None
|
|
overwrite
|
bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték a Hamis. alapértelmezett érték: False
|
Válaszok
| Típus | Description |
|---|---|
|
A MySQL-adatbázis adattárát adja vissza. |
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
mysql_datastore_name="mysqldatastore"
server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.
mysql_datastore = Datastore.register_azure_my_sql(
workspace=ws,
datastore_name=mysql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_postgre_sql
Inicializáljon egy új Azure PostgreSQL-adattárat.
Az alábbiakban egy példát talál az Azure PostgreSQL-adatbázisok adattárként való regisztrálására.
static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
Az a munkaterület, amelyhez az adattár tartozik. |
|
datastore_name
Kötelező
|
Az adattár neve. |
|
server_name
Kötelező
|
A PostgreSQL-kiszolgáló neve. |
|
database_name
Kötelező
|
A PostgreSQL-adatbázis neve. |
|
user_id
Kötelező
|
A PostgreSQL-kiszolgáló felhasználói azonosítója. |
|
user_password
Kötelező
|
A PostgreSQL-kiszolgáló felhasználói jelszava. |
|
port_number
|
A PostgreSQL-kiszolgáló portszáma alapértelmezett érték: None
|
|
endpoint
|
str, <xref:optional>
A PostgreSQL-kiszolgáló végpontja. Ha nincs, az alapértelmezés szerint postgres.database.azure.com. alapértelmezett érték: None
|
|
overwrite
|
bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték a Hamis. alapértelmezett érték: False
|
|
enforce_ssl
|
A PostgreSQL-kiszolgáló SSL-követelményét jelzi. Alapértelmezés szerint Igaz. alapértelmezett érték: True
|
Válaszok
| Típus | Description |
|---|---|
|
A PostgreSQL-adatbázis adattárát adja vissza. |
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
psql_datastore_name="postgresqldatastore"
server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password
psql_datastore = Datastore.register_azure_postgre_sql(
workspace=ws,
datastore_name=psql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_sql_database
Inicializáljon egy új Azure SQL adatbázisadattárat.
A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. Választhatja a Szolgáltatásnév vagy felhasználónév + jelszó használatát. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítésre küldött feladatokban lesz felhasználva. További információt itt talál.
Alább talál egy példát arra, hogyan regisztrálhat Azure SQL adatbázist adattárként.
static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
Az a munkaterület, amelyhez az adattár tartozik. |
|
datastore_name
Kötelező
|
Az adattár neve. |
|
server_name
Kötelező
|
Az SQL-kiszolgáló neve. Az olyan teljes tartománynév esetében, mint a "sample.database.windows.net", a server_name értéke "minta", a végpont értéke pedig "database.windows.net". |
|
database_name
Kötelező
|
Az SQL-adatbázis neve. |
|
tenant_id
|
A szolgáltatásnév címtár-azonosítója/bérlőazonosítója. alapértelmezett érték: None
|
|
client_id
|
A szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója. alapértelmezett érték: None
|
|
client_secret
|
A szolgáltatásnév titka. alapértelmezett érték: None
|
|
resource_url
|
str, <xref:optional>
Az erőforrás URL-címe, amely meghatározza, hogy milyen műveletek lesznek végrehajtva az SQL-adatbázistárolóban( ha nincs), akkor az alapértelmezett értéke a .https://database.windows.net/ alapértelmezett érték: None
|
|
authority_url
|
str, <xref:optional>
A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a következő lesz https://login.microsoftonline.com: . alapértelmezett érték: None
|
|
endpoint
|
str, <xref:optional>
Az SQL Server végpontja. Ha nincs, alapértelmezés szerint database.windows.net. alapértelmezett érték: None
|
|
overwrite
|
bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis. alapértelmezett érték: False
|
|
username
|
Az adatbázis-felhasználó felhasználóneve az adatbázis eléréséhez. alapértelmezett érték: None
|
|
password
|
Az adatbázis-felhasználó jelszava az adatbázis eléréséhez. alapértelmezett érték: None
|
|
skip_validation
Kötelező
|
bool, <xref:optional>
Az SQL-adatbázishoz való csatlakozás ellenőrzésének kihagyása. Alapértelmezés szerint Hamis. |
|
subscription_id
|
str, <xref:optional>
Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik. alapértelmezett érték: None
|
|
resource_group
|
str, <xref:optional>
Az ADLS-tároló erőforráscsoportja. alapértelmezett érték: None
|
|
grant_workspace_access
|
bool, <xref:optional>
Alapértelmezés szerint Hamis. Állítsa Igaz értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz.Ezzel a Machine Learning Studióból származó adatokhoz való hozzáférés munkaterület által felügyelt identitást használ a hitelesítéshez, és hozzáadja a munkaterület felügyelt identitását a tár olvasójaként. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ: "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network" alapértelmezett érték: False
|
Válaszok
| Típus | Description |
|---|---|
|
Az SQL-adatbázis adattárát adja vissza. |
Megjegyzések
Ha a tárterületet a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.
sql_datastore_name="azuresqldatastore"
server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.
sql_datastore = Datastore.register_azure_sql_database(
workspace=ws,
datastore_name=sql_datastore_name,
server_name=server_name, # name should not contain fully qualified domain endpoint
database_name=database_name,
username=username,
password=password,
endpoint='database.windows.net')
register_dbfs
Inicializáljon egy új Databricks Fájlrendszer (DBFS) adattárat.
A DBFS-adattár csak a DataReference bemenetként, a PipelineData pedig a DatabricksStep kimeneteként használható az Azure Machine Learning-folyamatokban. További részletek itt találhatók.
static register_dbfs(workspace, datastore_name)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
Az adattárhoz tartozó munkaterület. |
|
datastore_name
Kötelező
|
Az adattár neve. |
Válaszok
| Típus | Description |
|---|---|
|
A DBFS-adattárat adja vissza. |
Megjegyzések
Ha a tárterületet a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.
register_hdfs
Megjegyzés
Ez egy kísérleti módszer, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental.
Új HDFS-adattár inicializálása.
static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)Paraméterek
| Name | Description |
|---|---|
|
workspace
Kötelező
|
a munkaterület, amelyhez az adattár tartozik |
|
datastore_name
Kötelező
|
az adattár neve |
|
protocol
Kötelező
|
str vagy
<xref:_restclient.models.enum>
A HDFS-fürttel való kommunikációhoz használandó protokoll. http vagy https. Lehetséges értékek: "http", "https" |
|
namenode_address
Kötelező
|
A HDFS-névcsomópont IP-címe vagy DNS-állomásneve. Opcionálisan portot is tartalmaz. |
|
hdfs_server_certificate
Kötelező
|
str, <xref:optional>
A HDFS-névcsomópont TLS-aláíró tanúsítványának elérési útja, ha a TLS-t önaláírt tanúsítványsal használja. |
|
kerberos_realm
Kötelező
|
A Kerberos-birodalom. |
|
kerberos_kdc_address
Kötelező
|
A Kerberos KDC IP-címe vagy DNS-állomásneve. |
|
kerberos_principal
Kötelező
|
A Hitelesítéshez és engedélyezéshez használandó Kerberos-rendszernév. |
|
kerberos_keytab
Kötelező
|
str, <xref:optional>
A Kerberos-tagnak megfelelő kulcsot tartalmazó kulcs(ok) elérési útja. Adja meg ezt vagy egy jelszót. |
|
kerberos_password
Kötelező
|
str, <xref:optional>
A Kerberos-tagnak megfelelő jelszó. Adja meg ezt vagy egy keytab-fájl elérési útját. |
|
overwrite
Kötelező
|
bool, <xref:optional>
felülír egy meglévő adattárat. Ha az adattár nem létezik, létrehoz egyet. Alapértelmezés szerint Hamis. |
set_as_default
Állítsa be az alapértelmezett adattárat.
set_as_default()Paraméterek
| Name | Description |
|---|---|
|
datastore_name
Kötelező
|
Az adattár neve. |
unregister
Törölje az adattár regisztrációjának törlését. a mögöttes tárolási szolgáltatás nem törlődik.
unregister()Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: