Come aggiungere e gestire i dati nel progetto basato su hub di Foundry Microsoft (versione classica)

Si applica solo a:Portale di Foundry (versione classica). Questo articolo non è disponibile per il nuovo portale foundry. Altre informazioni sul nuovo portale.

Nota

I collegamenti in questo articolo potrebbero aprire contenuto nella nuova documentazione di Microsoft Foundry anziché nella documentazione di Foundry (versione classica) visualizzata.

Importante

Gli elementi contrassegnati come anteprima in questo articolo sono attualmente in anteprima. Questa anteprima viene fornita senza un contratto di servizio e Microsoft non lo consiglia per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero avere funzionalità limitate. Per altre informazioni, vedere Condizioni supplementari per l'utilizzo delle anteprime di Microsoft Azure.

Questo articolo descrive come creare e gestire i dati nei progetti basati su hub di Microsoft Foundry. Si apprenderà come connettersi al progetto, creare asset di dati che fanno riferimento a file e cartelle in Archiviazione di Azure e gestire tali asset tramite controllo delle versioni, assegnazione di tag e archiviazione.

I dati possono essere utili quando sono necessarie queste funzionalità:

  • Versioning: Il controllo delle versioni dei dati è supportato.
  • Riproducibilità: Dopo aver creato una versione dei dati, non è modificabile. Non è possibile modificarlo o eliminarlo. Pertanto, possono essere riprodotti i processi o le pipeline prompt flow che usano i dati.
  • Verificabilità: Poiché la versione dei dati non è modificabile, è possibile tenere traccia delle versioni degli asset, chi ha aggiornato una versione e la data di ogni aggiornamento della versione.
  • Derivazione: per i dati specificati, è possibile visualizzare i processi o le pipeline di flusso richieste che utilizzano i dati.
  • Facilità d'uso: I dati foundry sono simili ai segnalibri del Web browser (preferiti). Invece di ricordare lunghi percorsi di archiviazione che fanno riferimento ai dati usati di frequente in Archiviazione di Azure, è possibile creare una versione e quindi accedere a tale versione dell'asset con un nome descrittivo.

Prerequisiti

Importante

Questo articolo fornisce il supporto legacy per i progetti basati su hub. Non funzionerà per i progetti Foundry. Vedere Come si conosce il tipo di progetto di cui si dispone?

nota di compatibilità SDK: gli esempi di codice richiedono una versione specifica Microsoft Foundry SDK. Se si verificano problemi di compatibilità, valutare la possibilità di eseguire la migrazione da un progetto basato su hub a un progetto Foundry.

Connettersi al progetto

Per interagire con il progetto in modo programmatico, connettersi ad esso usando il MLClient.

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

# Authenticate using the default Azure credential
credential = DefaultAzureCredential()

# Connect to the project
# Get the subscription ID, resource group, and project name from the Microsoft Foundry portal
# or from the Overview page of your project in the Azure portal.
ml_client = MLClient(
    credential=credential,
    subscription_id="<SUBSCRIPTION_ID>",
    resource_group_name="<RESOURCE_GROUP>",
    workspace_name="<PROJECT_NAME>",
)

print(f"Connected to project: {ml_client.workspace_name}")

Informazioni di riferimento: documentazione di MLClient

Aggiungere dati

Ti verranno addebitati i costi relativi all'archiviazione usata dai tuoi dati. Per stimare il costo, usare Azure Calcolatore prezzi. I dati vengono archiviati in un contenitore denominato workspaceblobstore nell'account Archiviazione di Azure del progetto.

Quando crei i tuoi dati, imposta il tipo di dati. Microsoft Foundry supporta questi tipi di dati:

Digitare Scenari canonici
file
Fare riferimento a un singolo file		 Leggere un singolo file in Archiviazione di Azure (il file può avere qualsiasi formato).
folder
Fare riferimento a una cartella		 Leggere una cartella di file Parquet/CSV in Pandas/Spark.

Legge i dati non strutturati ,ad esempio immagini, testo o audio, che si trovano in una cartella.
table
Fare riferimento a una tabella		 Leggere una tabella in Archiviazione di Azure.

Aggiungere dati usando Python SDK

È possibile creare asset di dati che fanno riferimento a file o cartelle in Archiviazione di Azure.

Creare un asset di dati in file

Per creare un asset di dati che fa riferimento a un singolo file:

from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes

# Define the data asset
my_file_data = Data(
    path="https://<storage_account>.blob.core.windows.net/<container>/<path_to_file>",
    type=AssetTypes.URI_FILE,
    description="Data asset pointing to a single file",
    name="my-file-data",
    version="1.0"
)

# Create the data asset in the project
created_data = ml_client.data.create_or_update(my_file_data)
print(f"Data asset created: {created_data.name} version {created_data.version}")

Riferimento: Classe di dati

Crea una risorsa di dati nella cartella

Per creare un asset di dati che fa riferimento a una cartella:

from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes

# Define the data asset
my_folder_data = Data(
    path="https://<storage_account>.blob.core.windows.net/<container>/<path_to_folder>/",
    type=AssetTypes.URI_FOLDER,
    description="Data asset pointing to a folder",
    name="my-folder-data",
    version="1.0"
)

# Create the data asset in the project
created_data = ml_client.data.create_or_update(my_folder_data)
print(f"Data asset created: {created_data.name} version {created_data.version}")

Riferimento: Classe di dati

Aggiungere dati usando il portale Microsoft Foundry

Microsoft Foundry mostra i percorsi di origine supportati. È possibile creare dati da una cartella o da un file:

  • Se si seleziona Cartella per il tipo di origine dati, è possibile scegliere il formato dell'URL della cartella. Foundry mostra i formati di URL della cartella supportati. È possibile creare una risorsa di dati come mostrato: Screenshot del formato URL della cartella.

  • Se si seleziona File per il tipo di origine dati, è possibile scegliere il formato dell'URL del file. I formati di URL di file supportati sono visualizzati nel portale di Foundry. È possibile creare una risorsa dati come illustrato: Screenshot del formato URL del file.

  • Se si seleziona Tabella per tipo di origine dati, è possibile scegliere il formato dell'URL della tabella. I formati di URL di file supportati sono visualizzati nel portale di Foundry. È possibile creare una risorsa dati come illustrato: Screenshot del formato URL della tabella.

Caricare file e cartelle

È possibile caricare file o cartelle direttamente nell'account di archiviazione dell'area di lavoro selezionando Carica file/cartelle nel campo Origine dati , come illustrato di seguito:

Questo screenshot mostra come caricare un file.

Quando si caricano file o cartelle, caricarli nella connessione predefinita workspaceblobstore . I file e le cartelle passano alla radice del contenitore di archiviazione.

Aggiungere dati di file, cartelle e tabelle da Archiviazione di Azure

È possibile aggiungere dati di file, cartelle e tabelle da Archiviazione di Azure all'area di lavoro Foundry.

Un tipo di risorsa di dati (uri_file) punta a un file singolo in archiviazione (ad esempio, un file CSV).

Un tipo di origine dati cartella (uri_folder) punta a una cartella in una risorsa di archiviazione, ad esempio una cartella contenente diverse sottocartelle di immagini.

Un tipo di origine dati tabella (uri_table) punta a una tabella in una risorsa di archiviazione, ad esempio una cartella contenente dati tabulari.

Suggerimento

Poiché è possibile customizzare il riquadro sinistro nel portale di Microsoft Foundry, è possibile che vengano visualizzati elementi diversi rispetto a quelli illustrati in questi passaggi. Se non viene visualizzato ciò che si sta cercando, selezionare ... Altro nella parte inferiore del riquadro sinistro.

Questi passaggi illustrano come aggiungere una risorsa dati di file, cartelle o tabelle esistente da Archiviazione di Azure all'area di lavoro del progetto basata su hub nel portale foundry:

  1. Vai a Foundry.

  2. Selezionare il progetto basato su hub in cui si desidera aggiungere i dati.

  3. Dal menu Risorse personali comprimibile a sinistra selezionare Dati e indici. Quindi selezionare Nuovi dati come illustrato nello screenshot seguente.

    Screenshot che evidenzia Nuovi dati nella scheda Dati.

  4. Selezionare Recupera dati con l'URL di archiviazione come origine dati.

  5. Scegliere File, Cartella o Tabella come tipo di dati. Specificare quindi un URL in base ai formati di URL supportati elencati in tale pagina.

  6. Selezionare Avanti dopo aver scelto l'origine dati.

  7. Immettere un nome personalizzato per i dati e quindi selezionare Crea.

Questo screenshot mostra il passaggio di denominazione per l'origine dati.

Gestire i dati

Dopo aver aggiunto dati al progetto basato su hub, è possibile gestirli usando il portale di Microsoft Foundry o Python SDK.

Elencare e acquisire risorse di dati

Per elencare tutti gli asset di dati nel progetto, usare il codice seguente:

# List all data assets
data_assets = ml_client.data.list()
for data in data_assets:
    print(f"Name: {data.name}, Version: {data.version}")

Riferimento: DataOperations.list

Per ottenere i dettagli di un asset di dati specifico, usare il codice seguente:

# Get a specific data asset
data = ml_client.data.get(name="my-file-data", version="1.0")
print(f"Data name: {data.name}")
print(f"Data path: {data.path}")

Riferimento: DataOperations.get

Eliminare i dati

Importante

L'eliminazione dei dati non è supportata. I dati non sono modificabili nel portale di Microsoft Foundry. Dopo aver creato una versione dei dati, non è possibile modificarla o eliminarla. Questa immutabilità offre un livello di protezione quando si lavora in un team che crea carichi di lavoro di produzione.

Se Microsoft Foundry ha consentito l'eliminazione dei dati, avrà i seguenti effetti negativi:

  • I processi di produzione che utilizzano i dati eliminati in un secondo momento hanno esito negativo.
  • La riproduzione dell'esperimento di Machine Learning sarebbe diventata più difficile.
  • La derivazione del processo si interromperebbe perché diventerebbe impossibile visualizzare la versione dei dati eliminati.
  • Non è più possibile tenere traccia e controllare correttamente, perché le versioni potrebbero non essere presenti.

Quando si crea erroneamente una risorsa dati, ad esempio con un nome, un tipo o un percorso non corretti, Microsoft offre soluzioni per gestire la situazione senza le conseguenze negative dell'eliminazione:

Motivo per cui è consigliabile eliminare i dati Soluzione
Il nome non è corretto Archiviare i dati
Il team non usa più i dati Archiviare i dati
Rende disordinato l'elenco di dati Archiviare i dati
Il percorso non è corretto Creare una nuova versione dei dati (stesso nome) con il percorso corretto. Per altre informazioni, vedere Aggiungere dati.
Ha un tipo non corretto Attualmente, Microsoft non consente la creazione di una nuova versione con un tipo different rispetto alla versione iniziale.
(1) Archiviare i dati
(2) Aggiungere dati con un nome diverso con il tipo corretto.

Archiviare i dati

Per impostazione predefinita, l'archiviazione di una risorsa dati la nasconde sia dalle query di elenco, come la CLI az ml data list, sia dall'elenco dei dati nel portale di Microsoft Foundry. È comunque possibile fare riferimento e usare una risorsa dati archiviata nei flussi di lavoro. È possibile archiviare:

  • tutte le versioni dei dati con un nome specificato
  • una versione di dati specifica

Usare Python SDK per archiviare i dati:

# Archive a specific version
ml_client.data.archive(name="my-file-data", version="1.0")

# Archive all versions (container)
ml_client.data.archive(name="my-file-data")

Riferimento: DataOperations.archive

Archiviare tutte le versioni di un dati

Attualmente, il portale Microsoft Foundry non supporta l'archiviazione di tutte le versioni della risorsa dati sotto un nome dato.

Archiviare una versione di dati specifica

Attualmente, Microsoft Foundry Portal non consente l'archiviazione di una versione specifica della risorsa dati.

Ripristinare i dati archiviati

È possibile ripristinare una risorsa dati archiviata. Se tutte le versioni dei dati vengono archiviate, non è possibile ripristinare singole versioni dei dati. È necessario ripristinare tutte le versioni.

È possibile ripristinare i dati usando Python SDK:

# Restore a specific version
ml_client.data.restore(name="my-file-data", version="1.0")

# Restore all versions (container)
ml_client.data.restore(name="my-file-data")

Riferimento: DataOperations.restore

Ripristinare tutte le versioni dei dati

Attualmente, il portale di Microsoft Foundry non supporta il ripristino di tutte le versioni dei dati con un nome specificato.

Ripristinare una versione specifica dei dati

Importante

Se tutte le versioni dei dati vengono archiviate, non è possibile ripristinare singole versioni dei dati. È necessario ripristinare tutte le versioni.

Attualmente, il portale di Microsoft Foundry non supporta il ripristino di una versione dati specifica.

Assegnazione di tag ai dati

L'assegnazione di tag ai dati è costituito da metadati aggiuntivi applicati ai dati come coppia chiave-valore. L'assegnazione di tag ai dati offre numerosi vantaggi:

  • Descrizione della qualità dei dati. Ad esempio, se l'organizzazione usa un'architettura di lakehouse medallion, è possibile contrassegnare gli asset con tag medallion:bronze (non elaborati), medallion:silver (convalidati) e medallion:gold (arricchiti).
  • Ricerca e filtro dei dati efficienti per facilitare l'individuazione dei dati.
  • Identificazione dei dati personali sensibili per gestire e gestire correttamente l'accesso ai dati. Ad esempio, sensitivity:PII e sensitivity:nonPII.
  • Identificare se i dati vengono approvati da un controllo di IA responsabile. Ad esempio, RAI_audit:approved e RAI_audit:todo.

È possibile aggiungere tag ai dati esistenti usando Python SDK:

# Get the data asset
my_data = ml_client.data.get(name="my-file-data", version="1.0")

# Add or update tags
my_data.tags["medallion"] = "silver"
my_data.tags["sensitivity"] = "nonPII"

# Update the data asset
ml_client.data.create_or_update(my_data)
print(f"Tags updated for: {my_data.name}")

Riferimenti: DataOperations.create_or_update

Anteprima dei dati

Nella pagina Dettagli dati è possibile esplorare la struttura di cartelle e visualizzare in anteprima il file. Il portale supporta l'anteprima dei dati per questi tipi:

  • Tipi di file di dati supportati dall'API di anteprima: .tsv, .csv, .parquet, .jsonl.
  • Per altri tipi di file, il portale di Microsoft Foundry tenta di visualizzare in anteprima nativa il file nel browser. I tipi di file supportati possono dipendere dal browser stesso. Per le immagini, il portale supporta questi tipi di immagine di file: .png, .jpg, .gif. Per altri file, il portale supporta questi tipi di file: .ipynb, .py, .yml, .html.

Passaggi successivi

  • Ultimo aggiornamento: