Oktatóanyag: Azure Synapse ADLS Gen2-adatok elérése az Azure Machine Tanulás
Ebben az oktatóanyagban végigvezetjük az Azure Synapse Azure Data Lake Storage Gen2 (ADLS Gen2) által az Azure Machine Tanulás (Azure Machine Tanulás) tárolt adatok elérésének folyamatán. Ez a képesség különösen hasznos, ha olyan eszközökkel szeretné egyszerűsíteni a gépi tanulási munkafolyamatot, mint az automatizált gépi tanulás, az integrált modell- és kísérletkövetés, vagy az Azure Machine Tanulás-ban elérhető speciális hardverek, például GPU-k.
Az ADLS Gen2-adatok Azure Machine-Tanulás való eléréséhez létrehozunk egy Azure Machine Tanulás Adattárat, amely az Azure Synapse ADLS Gen2 tárfiókra mutat.
Előfeltételek
- Azure Synapse Analytics-munkaterület. Győződjön meg arról, hogy rendelkezik egy Azure Data Lake Storage Gen2-tárfiókkal, amely alapértelmezett tárolóként van konfigurálva. A Data Lake Storage Gen2 fájlrendszer esetében győződjön meg arról, hogy Ön a Storage Blob Data Közreműködője.
- Azure Machine Tanulás munkaterület.
Kódtárak telepítése
Először telepíteni fogjuk a azure-ai-ml csomagot.
%pip install azure-ai-ml
Adattár létrehozása
Az Azure Machine Tanulás egy Adattár néven ismert szolgáltatást kínál, amely a meglévő Azure Storage-fiókra való hivatkozásként szolgál. Létrehozunk egy adattárat, amely az Azure Synapse ADLS Gen2 tárfiókra hivatkozik.
Ebben a példában létrehozunk egy Adattárat, amely az Azure Synapse ADLS Gen2-tárolóhoz kapcsolódik. Az objektum inicializálása MLClient után megadhatja az ADLS Gen2-fiók kapcsolati adatait. Végül végrehajthatja a kódot az adattár létrehozásához vagy frissítéséhez.
from azure.ai.ml.entities import AzureDataLakeGen2Datastore
from azure.ai.ml import MLClient
ml_client = MLClient.from_config()
# Provide the connection details to your Azure Synapse ADLSg2 storage account
store = AzureDataLakeGen2Datastore(
name="",
description="",
account_name="",
filesystem=""
)
ml_client.create_or_update(store)
Az Azure Machine Tanulás-adattárak létrehozásáról és kezeléséről az Azure Machine Tanulás adattárakról szóló oktatóanyag segítségével tudhat meg többet.
Az ADLS Gen2 Storage-fiók csatlakoztatása
Miután beállította az adattárat, hozzáférhet ezekhez az adatokhoz az ADLSg2-fiók csatlakoztatásával . Az Azure Machine Tanulás az ADLS Gen2-fiókhoz való csatlakoztatással közvetlen kapcsolatot kell létesíteni a munkaterület és a tárfiók között, így zökkenőmentesen hozzáférhet a benne tárolt adatokhoz. A csatlakoztatás lényegében olyan útvonalként működik, amely lehetővé teszi az Azure Machine Tanulás az ADLS Gen2-fiók fájljaival és mappáival való interakciót, mintha azok a munkaterület helyi fájlrendszerének részei lennének.
A tárfiók csatlakoztatása után könnyedén olvashatja, írhatja és kezelheti az ADLS Gen2-ben tárolt adatokat ismerős fájlrendszerműveletekkel közvetlenül az Azure Machine Tanulás környezetében, egyszerűsítve az adatok előfeldolgozását, a modellek betanítását és a kísérletezési feladatokat.
Megvalósítás:
Indítsa el a számítási motort.
Válassza az Adatműveletek lehetőséget, majd a Csatlakoztatás lehetőséget.
Itt láthatja és kiválaszthatja az ADLSg2 tárfiók nevét. A csatlakoztatás létrehozása eltarthat néhány percig.
Miután elkészült a csatlakoztatás, kiválaszthatja az Adatműveleteket , majd a Felhasználás lehetőséget. Az Adatok területen kiválaszthatja azt a csatlakoztatást, amelyből adatokat szeretne felhasználni.
Most használhatja az előnyben részesített kódtárakat, hogy közvetlenül beolvassa az adatokat a csatlakoztatott Azure Data Lake Storage-fiókból.
Adatok beolvasása a tárfiókból
import os
# List the files in the mounted path
print(os.listdir("/home/azureuser/cloudfiles/data/datastore/{name of mount}"))
# Get the path of your file and load the data using your preferred libraries
import pandas as pd
df = pd.read_csv("/home/azureuser/cloudfiles/data/datastore/{name of mount}/{file name}")
print(df.head(5))