Vytváření a správa datových prostředků

Článek
10/18/2023

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

Tento článek ukazuje, jak vytvářet a spravovat datové prostředky ve službě Azure Machine Učení.

Datové prostředky vám můžou pomoct, když potřebujete tyto funkce:

Správa verzí: Datové prostředky podporují správu verzí dat.
Reprodukovatelnost: Jakmile vytvoříte verzi datového assetu, je neměnná. Nelze ho upravit ani odstranit. Proto je možné reprodukovat trénovací úlohy nebo kanály, které využívají datový asset.
Auditovatelnost: Vzhledem k tomu, že verze datového assetu je neměnná, můžete sledovat verze assetů, kteří aktualizovali verzi a kdy došlo k aktualizacím verze.
Rodokmen: U libovolného datového prostředku můžete zobrazit, které úlohy nebo kanály data spotřebovávají.
Snadné použití: Datový prostředek služby Azure Machine Learning připomíná záložky webového prohlížeče (oblíbené položky). Místo zapamatování dlouhých cest úložiště (URI), které odkazují na často používaná data ve službě Azure Storage, můžete vytvořit verzi datového prostředku a pak k této verzi prostředku přistupovat s popisným názvem (například: azureml:<my_data_asset_name>:<version>).

Tip

Pokud chcete získat přístup k datům v interaktivní relaci (například v poznámkovém bloku) nebo úloze, nemusíte nejdřív vytvořit datový asset. K přístupu k datům můžete použít identifikátory URI úložiště dat. Identifikátory URI úložiště dat nabízejí jednoduchý způsob, jak získat přístup k datům pro ty, kteří začínají se strojovým učením Azure.

Předpoklady

K vytváření a práci s datovými prostředky potřebujete:

Předplatné Azure. Pokud ho nemáte, vytvořte si bezplatný účet před tím, než začnete. Vyzkoušejte bezplatnou nebo placenou verzi služby Azure Machine Učení.
Pracovní prostor služby Azure Machine Learning. Vytvořte prostředky pracovního prostoru.
Nainstalované rozhraní příkazového řádku nebo sady SDK služby Azure Machine Učení.

Vytváření datových prostředků

Při vytváření datového assetu je potřeba nastavit datový typ assetu. Azure Machine Učení podporuje tři typy datových prostředků:

Type	API	Kanonické scénáře
Soubor Odkaz na jeden soubor	`uri_file`	Čtení jednoho souboru ve službě Azure Storage (soubor může mít libovolný formát).
Složka Odkaz na složku	`uri_folder`	Přečtěte si složku souborů parquet/CSV do Pandas/Sparku. Čtení nestrukturovaných dat (obrázky, text, zvuk atd.) umístěné ve složce
Tabulka Odkazování na tabulku dat	`mltable`	Máte složité schéma, které podléhá častým změnám, nebo potřebujete podmnožinu velkých tabulkových dat. AutoML s tabulkami Čtení nestrukturovaných dat (obrázků, textu, zvuku atd.), která jsou rozložená do více umístění úložiště.

Poznámka:

Nepoužívejte vložené nové spojnice v souborech CSV, pokud data nezaregistrujete jako tabulku MLTable. Vložené nové spojnice v souborech CSV můžou při čtení dat způsobit nesprávně zarovnané hodnoty polí. MLTable má tento parametr support_multi_linev read_delimited transformaci, aby interpretoval konce řádků v uvozových hodnotách jako jeden záznam.

Při využívání datového prostředku v úloze Učení Azure můžete prostředek připojit nebo stáhnout do výpočetních uzlů. Další informace najdete v režimech.

Musíte také zadat path parametr, který odkazuje na umístění datového assetu. Mezi podporované cesty patří:

Poloha	Příklady
Cesta na místním počítači	`./home/username/data/my_data`
Cesta k úložišti dat	`azureml://datastores/<data_store_name>/paths/<path>`
Cesta na veřejném serveru HTTP	`https://raw.githubusercontent.com/pandas-dev/pandas/main/doc/data/titanic.csv`
Cesta ve službě Azure Storage	(Objekt blob) `wasbs://<containername>@<accountname>.blob.core.windows.net/<path_to_data>/` (ADLS Gen2) `abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>` (ADLS Gen1) `adl://<accountname>.azuredatalakestore.net/<path_to_data>/`

Poznámka:

Když vytvoříte datový prostředek z místní cesty, automaticky se nahraje do výchozího cloudového úložiště dat Azure Machine Učení.

Vytvoření datového assetu: Typ souboru

Datový prostředek, který je typem Soubor (uri_file) odkazuje na jeden soubor v úložišti (například soubor CSV). Datový asset typu souboru můžete vytvořit pomocí:

Vytvořte soubor YAML a zkopírujte a vložte následující kód. Zástupné symboly musíte aktualizovat <> názvem datového prostředku, verzí, popisem a cestou k jednomu souboru v podporovaném umístění.

$schema: https://azuremlschemas.azureedge.net/latest/data.schema.json

# Supported paths include:
# local: './<path>/<file>' (this will be automatically uploaded to cloud storage)
# blob:  'wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>/<file>'
# ADLS gen2: 'abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/<file>'
# Datastore: 'azureml://datastores/<data_store_name>/paths/<path>/<file>'

type: uri_file
name: <NAME OF DATA ASSET>
version: <VERSION>
description: <DESCRIPTION>
path: <SUPPORTED PATH>

Potom v rozhraní příkazového řádku spusťte následující příkaz (aktualizujte <filename> zástupný symbol na název souboru YAML):

az ml data create -f <filename>.yml

Pokud chcete vytvořit datový asset, který je typem Soubor, použijte následující kód a aktualizujte <> zástupné symboly s vašimi informacemi.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Set the version number of the data asset (for example: '1')
VERSION = "<VERSION>"

# Set the path, supported paths include:
# local: './<path>/<file>' (this will be automatically uploaded to cloud storage)
# blob:  'wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>/<file>'
# ADLS gen2: 'abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/<file>'
# Datastore: 'azureml://datastores/<data_store_name>/paths/<path>/<file>'
path = "<SUPPORTED PATH>"

# Define the Data asset object
my_data = Data(
    path=path,
    type=AssetTypes.URI_FILE,
    description="<ADD A DESCRIPTION HERE>",
    name="<NAME OF DATA ASSET>",
    version=VERSION,
)

# Create the data asset in the workspace
ml_client.data.create_or_update(my_data)

Vytvoření datového assetu: Typ složky

Datový prostředek, který je typem Složka (uri_folder) je ten, který odkazuje na složku v úložišti (například složka obsahující několik podsložek obrázků). Datový asset typu složky můžete vytvořit pomocí:

Vytvořte soubor YAML a zkopírujte a vložte následující kód. Zástupné symboly musíte aktualizovat <> názvem datového prostředku, verzí, popisem a cestou ke složce v podporovaném umístění.

$schema: https://azuremlschemas.azureedge.net/latest/data.schema.json

# Supported paths include:
# local: './<path>/<folder>' (this will be automatically uploaded to cloud storage)
# blob:  'wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>/<folder>'
# ADLS gen2: 'abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/<folder>'
# Datastore: 'azureml://datastores/<data_store_name>/paths/<path>/<folder>'

type: uri_folder
name: <NAME OF DATA ASSET>
version: <VERSION>
description: <DESCRIPTION>
path: <SUPPORTED PATH>

Potom v rozhraní příkazového řádku spusťte následující příkaz (aktualizujte <filename> zástupný symbol na název souboru YAML):

az ml data create -f <filename>.yml

K vytvoření datového prostředku, který je typem složky, použijte následující kód a aktualizujte <> zástupné symboly informacemi.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Set the version number of the data asset (for example: '1')
VERSION = "<VERSION>"

# Set the path, supported paths include:
# local: './<path>/<folder>' (this will be automatically uploaded to cloud storage)
# blob:  'wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>/<folder>'
# ADLS gen2: 'abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/<folder>'
# Datastore: 'azureml://datastores/<data_store_name>/paths/<path>/<folder>'
path = "<SUPPORTED PATH>"

# Define the Data asset object
my_data = Data(
    path=path,
    type=AssetTypes.URI_FOLDER,
    description="<ADD A DESCRIPTION HERE>",
    name="<NAME OF DATA ASSET>",
    version=VERSION,
)

# Create the data asset in the workspace
ml_client.data.create_or_update(my_data)

Vytvoření datového assetu: Typ tabulky

Tabulky Azure Machine Učení (MLTable) mají bohaté funkce, které jsou podrobněji popsané v tématu Práce s tabulkami v azure Machine Učení. Místo opakování této dokumentace zde poskytujeme příklad vytvoření datového prostředku typu Table pomocí dat Titanic umístěných v veřejně dostupném účtu Azure Blob Storage.

Nejprve vytvořte nový adresář s názvem data a vytvořte soubor s názvem MLTable:

mkdir data
touch MLTable

Dále zkopírujte a vložte následující YAML do souboru MLTable , který jste vytvořili v předchozím kroku:

Upozornění

Nepřejmenovávat MLTable soubor na MLTable.yaml nebo MLTable.yml. Azure Machine Learning očekává MLTable soubor.

paths:
- file: wasbs://data@azuremlexampledata.blob.core.windows.net/titanic.csv
transformations:
- read_delimited:
    delimiter: ','
    empty_as_string: false
    encoding: utf8
    header: all_files_same_headers
    include_path_column: false
    infer_column_types: true
    partition_size: 20971520
    path_column: Path
    support_multi_line: false
- filter: col('Age') > 0
- drop_columns:
  - PassengerId
- convert_column_types:
  - column_type:
      boolean:
        false_values:
        - 'False'
        - 'false'
        - '0'
        mismatch_as: error
        true_values:
        - 'True'
        - 'true'
        - '1'
    columns: Survived
type: mltable

Potom v rozhraní příkazového řádku spusťte následující příkaz. Nezapomeňte aktualizovat <> zástupné symboly názvem datového assetu a hodnotami verzí.

az ml data create --path ./data --name <DATA ASSET NAME> --version <VERSION> --type mltable

Důležité

Měla path by to být složka , která obsahuje platný MLTable soubor.

Pomocí následujícího kódu vytvořte datový asset, který je typem Table (mltable) a aktualizujte <> zástupné symboly informacemi.

import mltable
from mltable import MLTableHeaders, MLTableFileEncoding, DataType
from azure.ai.ml import MLClient
from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

# create paths to the data files
paths = [{"file": "wasbs://data@azuremlexampledata.blob.core.windows.net/titanic.csv"}]

# create an MLTable from the data files
tbl = mltable.from_delimited_files(
    paths=paths,
    delimiter=",",
    header=MLTableHeaders.all_files_same_headers,
    infer_column_types=True,
    include_path_column=False,
    encoding=MLTableFileEncoding.utf8,
)

# filter out rows undefined ages
tbl = tbl.filter("col('Age') > 0")

# drop PassengerId
tbl = tbl.drop_columns(["PassengerId"])

# ensure survived column is treated as boolean
data_types = {
    "Survived": DataType.to_bool(
        true_values=["True", "true", "1"], false_values=["False", "false", "0"]
    )
}
tbl = tbl.convert_column_types(data_types)

# show the first few records
print(tbl.show())

# save the data loading steps in an MLTable file
mltable_folder = "./titanic"
tbl.save(mltable_folder)

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Define the Data asset object
my_data = Data(
    path=mltable_folder,
    type=AssetTypes.MLTABLE,
    description="<ADD A DESCRIPTION HERE>",
    name="<NAME OF DATA ASSET>",
    version="<SET VERSION HERE>",
)

# Create the data asset in the workspace
ml_client.data.create_or_update(my_data)

Vytváření datových prostředků z výstupů úloh

Datový prostředek můžete vytvořit z úlohy Učení Azure Machine tak, že nastavíte name parametr ve výstupu. V tomto příkladu odešlete úlohu, která kopíruje data z veřejného úložiště objektů blob do výchozího úložiště dat Azure Machine Učení Datastore a vytvoří datový asset s názvem job_output_titanic_asset.

Vytvoření souboru YAML specifikace úlohy (<file-name>.yml):

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# path: Set the URI path for the data. Supported paths include
# local: `./<path>
# Blob: wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>
# ADLS: abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>
# Datastore: azureml://datastores/<data_store_name>/paths/<path>
# Data Asset: azureml:<my_data>:<version>

# type: What type of data are you pointing to?
# uri_file (a specific file)
# uri_folder (a folder)
# mltable (a table)

# mode: Set INPUT mode:
# ro_mount (read-only mount)
# download (download from storage to node)
# mode: Set the OUTPUT mode
# rw_mount (read-write mount)
# upload (upload data from node to storage)

type: command
command: cp ${{inputs.input_data}} ${{outputs.output_data}}
compute: azureml:cpu-cluster
environment: azureml://registries/azureml/environments/sklearn-1.1/versions/4
inputs:
  input_data:
    mode: ro_mount
    path: azureml:wasbs://data@azuremlexampledata.blob.core.windows.net/titanic.csv
    type: uri_file
outputs:
  output_data:
    mode: rw_mount
    path: azureml://datastores/workspaceblobstore/paths/quickstart-output/titanic.csv
    type: uri_file
    name: job_output_titanic_asset

Pak odešlete úlohu pomocí rozhraní příkazového řádku:

az ml job create --file <file-name>.yml

from azure.ai.ml import command, Input, Output, MLClient
from azure.ai.ml.constants import AssetTypes, InputOutputModes
from azure.identity import DefaultAzureCredential

# Set your subscription, resource group and workspace name:
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

# connect to the AzureML workspace
ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# ==============================================================
# Set the input and output URI paths for the data. Supported paths include:
# local: `./<path>
# Blob: wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>
# ADLS: abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>
# Datastore: azureml://datastores/<data_store_name>/paths/<path>
# Data Asset: azureml:<my_data>:<version>
# As an example, we set the input path to a file on a public blob container
# As an example, we set the output path to a folder in the default datastore
# ==============================================================
input_path = "wasbs://data@azuremlexampledata.blob.core.windows.net/titanic.csv"
output_path = "azureml://datastores/workspaceblobstore/paths/quickstart-output/titanic.csv"

# ==============================================================
# What type of data are you pointing to?
# AssetTypes.URI_FILE (a specific file)
# AssetTypes.URI_FOLDER (a folder)
# AssetTypes.MLTABLE (a table)
# The path we set above is a specific file
# ==============================================================
data_type = AssetTypes.URI_FILE

# ==============================================================
# Set the input mode. The most commonly-used modes:
# InputOutputModes.RO_MOUNT
# InputOutputModes.DOWNLOAD
# Set the mode to Read Only (RO) to mount the data
# ==============================================================
input_mode = InputOutputModes.RO_MOUNT

# ==============================================================
# Set the output mode. The most commonly-used modes:
# InputOutputModes.RW_MOUNT
# InputOutputModes.UPLOAD
# Set the mode to Read Write (RW) to mount the data
# ==============================================================
output_mode = InputOutputModes.RW_MOUNT

# ==============================================================
# Set a data asset name for the output
# ==============================================================
data_asset_name = "job_output_titanic_asset"

# Set the input and output for the job:
inputs = {
    "input_data": Input(type=data_type, path=input_path, mode=input_mode)
}

outputs = {
    "output_data": Output(type=data_type, path=output_path, mode=output_mode, name = data_asset_name)
}

# This command job copies the data to your default Datastore
job = command(
    command="cp ${{inputs.input_data}} ${{outputs.output_data}}",
    inputs=inputs,
    outputs=outputs,
    environment="azureml://registries/azureml/environments/sklearn-1.1/versions/4",
    compute="cpu-cluster",
)

# Submit the command
ml_client.jobs.create_or_update(job)

Správa datových prostředků

Odstranění datového prostředku

Důležité

Odstranění datového assetu se záměrně nepodporuje.

Pokud by služba Azure Machine Learning povolila odstranění datového prostředku, mělo by to následující nepříznivé účinky:

Produkční úlohy , které využívají datové prostředky, které byly později odstraněny, selžou.
Reprodukování experimentu ML by bylo obtížnější.
Rodokmen úlohy by se přerušil, protože by nebylo možné zobrazit verzi odstraněného datového assetu.
Nebudete moct správně sledovat a auditovat, protože můžou chybět verze.

Neměnnost datových prostředků proto poskytuje úroveň ochrany při práci v týmu, který vytváří produkční úlohy.

Pokud byl datový prostředek chybně vytvořen – například s nesprávným názvem, typem nebo cestou – Azure Machine Učení nabízí řešení pro řešení situace bez negativních důsledků odstranění:

Chci tento datový prostředek odstranit, protože...	Řešení
Název je nesprávný.	Archivace datového assetu
Tým už datový asset nepoužívá .	Archivace datového assetu
Zahltí výpis datového assetu.	Archivace datového assetu
Cesta je nesprávná.	Vytvořte novou verzi datového prostředku (se stejným názvem) se správnou cestou. Další informace najdete v tématu Vytvoření datových prostředků.
Má nesprávný typ.	Azure Machine Učení v současné době neumožňuje vytvoření nové verze s jiným typem v porovnání s počáteční verzí. (1) Archivace datového assetu (2) Vytvořte nový datový asset pod jiným názvem se správným typem.

Archivace datového assetu

Archivace datového assetu ho ve výchozím nastavení skryje v obou dotazech seznamu (například v rozhraní příkazového řádku az ml data list) a datového assetu výpisu v uživatelském rozhraní studia. V pracovních postupech můžete i nadále odkazovat na archivovaný datový asset a používat ho. Archivovat můžete:

všechny verze datového assetu pod daným názvem nebo
konkrétní verze datového assetu

Archivace všech verzí datového assetu

Chcete-li archivovat všechny verze datového prostředku pod daným názvem, použijte:

Spusťte následující příkaz (aktualizujte <> zástupný symbol názvem datového assetu):

az ml data archive --name <NAME OF DATA ASSET>

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Create the data asset in the workspace
ml_client.data.archive(name="<DATA ASSET NAME>")

Archivace konkrétní verze datového assetu

Pokud chcete archivovat konkrétní verzi datového assetu, použijte:

Spusťte následující příkaz (aktualizujte <> zástupné symboly názvem datového prostředku a verze):

az ml data archive --name <NAME OF DATA ASSET> --version <VERSION TO ARCHIVE>

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Create the data asset in the workspace
ml_client.data.archive(name="<DATA ASSET NAME>", version="<VERSION TO ARCHIVE>")

Obnovení archivovaného datového assetu

Archivovaný datový asset můžete obnovit. Pokud jsou všechny verze datového assetu archivovány, nemůžete obnovit jednotlivé verze datového assetu – musíte obnovit všechny verze.

Obnovení všech verzí datového assetu

Pokud chcete obnovit všechny verze datového assetu pod daným názvem, použijte:

Spusťte následující příkaz (aktualizujte <> zástupný symbol názvem datového assetu):

az ml data restore --name <NAME OF DATA ASSET>

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Create the data asset in the workspace
ml_client.data.restore(name="<DATA ASSET NAME>")

Obnovení konkrétní verze datového assetu

Důležité

Pokud byly všechny verze datových assetů archivovány, nemůžete obnovit jednotlivé verze datového assetu – musíte obnovit všechny verze.

Pokud chcete obnovit konkrétní verzi datového assetu, použijte:

Spusťte následující příkaz (aktualizujte <> zástupné symboly názvem datového prostředku a verze):

az ml data restore --name <NAME OF DATA ASSET> --version <VERSION TO ARCHIVE>

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Create the data asset in the workspace
ml_client.data.restore(name="<DATA ASSET NAME>", version="<VERSION TO ARCHIVE>")

Rodokmen dat

Rodokmen dat je široce pochopen jako životní cyklus, který zahrnuje původ dat a kde se přesouvá v průběhu času napříč úložištěm. Různé druhy zpětně vypadajících scénářů ho používají, například řešení potíží, trasování původních příčin v kanálech ML a ladění. Scénáře analýzy kvality dat, dodržovánípředpisůch Rodokmen je znázorněn vizuálně tak, aby zobrazoval data, která se přesouvají ze zdroje do cíle, a navíc zahrnuje transformace dat. Vzhledem ke složitosti většiny podnikových datových prostředí se tato zobrazení můžou těžko pochopit bez konsolidace nebo maskováníperiferních

Ve službě Azure Machine Učení Pipeline zobrazují datové prostředky původ dat a způsob zpracování dat, například:

Screenshot showing data lineage in the job details.

Úlohy, které spotřebovávají datový asset, můžete zobrazit v uživatelském rozhraní studia. Nejprve v nabídce vlevo vyberte Data a pak vyberte název datového assetu. Můžete vidět úlohy, které využívají datový asset:

Screenshot that shows the jobs that consume a data asset.

Zobrazení úloh v datových prostředcích usnadňuje vyhledání selhání úloh a analýzu příčin směrování v kanálech ML a ladění.

Označování datových assetů

Datové prostředky podporují označování, což jsou další metadata použitá u datového assetu ve formě páru klíč-hodnota. Označování dat přináší mnoho výhod:

Popis kvality dat Pokud například vaše organizace používá architekturu jezera medallion, můžete prostředky označit (medallion:bronzenezpracovanými), medallion:silver (ověřenými) a medallion:gold (obohacenými).
Poskytuje efektivní vyhledávání a filtrování dat, které pomáhá zjišťovat data.
Pomáhá identifikovat citlivé osobní údaje a správně spravovat a řídit přístup k datům. Například, sensitivity:PII/sensitivity:nonPII.
Určete, jestli jsou data schválena z zodpovědného auditu AI (RAI). Například, RAI_audit:approved/RAI_audit:todo.

Značky můžete do datových assetů přidat jako součást jejich toku vytváření nebo můžete přidat značky do existujících datových prostředků. Tato část ukazuje obojí.

Přidání značek v rámci toku vytváření datových prostředků

Vytvořte soubor YAML a zkopírujte a vložte následující kód. Zástupné symboly musíte aktualizovat <> názvem datového prostředku, verzí, popisem, značkami (páry klíč-hodnota) a cestou k jednomu souboru v podporovaném umístění.

$schema: https://azuremlschemas.azureedge.net/latest/data.schema.json

# Supported paths include:
# local: './<path>/<file>' (this will be automatically uploaded to cloud storage)
# blob:  'wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>/<file>'
# ADLS gen2: 'abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/<file>'
# Datastore: 'azureml://datastores/<data_store_name>/paths/<path>/<file>'

# Data asset types, use one of:
# uri_file, uri_folder, mltable

type: uri_file
name: <NAME OF DATA ASSET>
version: <VERSION>
description: <DESCRIPTION>
tags:
    <KEY1>: <VALUE>
    <KEY2>: <VALUE>
path: <SUPPORTED PATH>

Potom v rozhraní příkazového řádku spusťte následující příkaz (aktualizujte <filename> zástupný symbol na název souboru YAML):

az ml data create -f <filename>.yml

Pokud chcete vytvořit datový asset typu Soubor, použijte následující kód a aktualizujte <> zástupné symboly informacemi.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Set the version number of the data asset (for example: '1')
VERSION = "<VERSION>"

# Set the path, supported paths include:
# local: './<path>/<file>' (this will be automatically uploaded to cloud storage)
# blob:  'wasbs://<container_name>@<account_name>.blob.core.windows.net/<path>/<file>'
# ADLS gen2: 'abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>/<file>'
# Datastore: 'azureml://datastores/<data_store_name>/paths/<path>/<file>'
path = "<SUPPORTED PATH>"

# Set the type, use on of the following asset type constants:
# AssetTypes.URI_FILE, AssetTypes.URI_FOLDER, AssetTypes.MLTABLE
data_asset_type = AssetTypes.<TYPE>

# Set the tags - update with your key-value pairs
tags = {
    "<KEY1>:" "<VALUE>"
    "<KEY2>:" "<VALUE>"
}

# Define the Data asset object
my_data = Data(
    path=path,
    type=data_asset_type,
    description="<ADD A DESCRIPTION HERE>",
    name="<NAME OF DATA ASSET>",
    version=VERSION,
    tags=tags,
)

# Create the data asset in the workspace
ml_client.data.create_or_update(my_data)

Přidání značek do existujícího datového assetu

V Azure CLI spusťte následující příkaz a aktualizujte <> zástupné symboly názvem datového prostředku, verzí a párem klíč-hodnota pro značku.

az ml data update --name <DATA ASSET NAME> --version <VERSION> --set tags.<KEY>=<VALUE>

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Get the data asset in the workspace
data = ml_client.data.get(name="<DATA ASSET NAME>", version="<VERSION>")

# add a tag
tags = {
    "<KEY1>": "<VALUE>",
    "<KEY2>": "<VALUE>",
}

# add the tags to the data asset object
data.tags = tags

# update the data asset in your workspace
ml_client.data.create_or_update(data)

Osvědčené postupy správy verzí

Procesy ETL obvykle uspořádají strukturu složek v úložišti Azure podle času, například:

/
└── 📁 mydata
    ├── 📁 year=2022
    │   ├── 📁 month=11
    │   │   └── 📄 file1
    │   │   └── 📄 file2
    │   └── 📁 month=12
    │       └── 📄 file1
    │   │   └── 📄 file2
    └── 📁 year=2023
        └── 📁 month=1
            └── 📄 file1
    │   │   └── 📄 file2

Kombinace strukturovaných složek time/version a tabulek Azure Machine Učení (MLTable) umožňuje vytvářet datové sady s verzemi. Abychom ukázali, jak pomocí tabulek Učení Azure machine dosáhnout dat s verzemi, použijeme hypotetický příklad. Předpokládejme, že máte proces, který každý týden nahrává obrázky fotoaparátů do úložiště objektů blob v Azure, a to v následující struktuře:

/myimages
└── 📁 year=2022
    ├── 📁 week52
    │   ├── 📁 camera1
    │   │   └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg
    │   └── 📁 camera2
    │       └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg
└── 📁 year=2023
    ├── 📁 week1
    │   ├── 📁 camera1
    │   │   └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg
    │   └── 📁 camera2
    │       └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg

Poznámka:

I když si ukážeme, jak se dají data image (jpeg) verze používat, stejná metodologie se dá použít u libovolného typu souboru (například Parquet, CSV).

Pomocí azure Machine Učení Tables (mltable) vytvoříte tabulku cest, které obsahují data až do konce prvního týdne v roce 2023, a pak vytvoříte datový asset:

import mltable
from mltable import MLTableHeaders, MLTableFileEncoding, DataType
from azure.ai.ml import MLClient
from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

# The ** in the pattern below will glob all sub-folders (camera1, ..., camera2)
paths = [
    {
        "pattern": "abfss://<file_system>@<account_name>.dfs.core.windows.net/myimages/year=2022/week=52/**/*.jpeg"
    },
    {
        "pattern": "abfss://<file_system>@<account_name>.dfs.core.windows.net/myimages/year=2023/week=1/**/*.jpeg"
    },
]

tbl = mltable.from_paths(paths)
tbl.save("./myimages")

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Define the Data asset object
my_data = Data(
    path=mltable_folder,
    type=AssetTypes.MLTABLE,
    description="My images. Version includes data through to 2023-Jan-08.",
    name="myimages",
    version="20230108",
)

# Create the data asset in the workspace
ml_client.data.create_or_update(my_data)

Na konci následujícího týdne vaše ETL aktualizovala data tak, aby zahrnovala další data:

/myimages
└── 📁 year=2022
    ├── 📁 week52
    │   ├── 📁 camera1
    │   │   └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg
    │   └── 📁 camera2
    │   │   └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg
└── 📁 year=2023
    ├── 📁 week1
    │   ├── 📁 camera1
    │   │   └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg
    │   └── 📁 camera2
    │   │   └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg
    ├── 📁 week2
    │   ├── 📁 camera1
    │   │   └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg
    │   └── 📁 camera2
    │   │   └── 🖼️ file1.jpeg
    │   │   └── 🖼️ file2.jpeg

Vaše první verze (20230108) bude dál připojovat nebo stahovat soubory pouze z year=2022/week=52 a year=2023/week=1 protože cesty jsou deklarovány v MLTable souboru. Tím se zajistí reprodukovatelnost experimentů. Pokud chcete vytvořit novou verzi datového prostředku, který obsahuje year=2023/week2, použijte:

import mltable
from mltable import MLTableHeaders, MLTableFileEncoding, DataType
from azure.ai.ml import MLClient
from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

# The ** in the pattern below will glob all sub-folders (camera1, ..., camera2)
paths = [
    {
        "pattern": "abfss://<file_system>@<account_name>.dfs.core.windows.net/myimages/year=2022/week=52/**/*.jpeg"
    },
    {
        "pattern": "abfss://<file_system>@<account_name>.dfs.core.windows.net/myimages/year=2023/week=1/**/*.jpeg"
    },
    {
        "pattern": "abfss://<file_system>@<account_name>.dfs.core.windows.net/myimages/year=2023/week=2/**/*.jpeg"
    },
]

# Save to an MLTable file on local storage
tbl = mltable.from_paths(paths)
tbl.save("./myimages")

# Next, you create a data asset - the MLTable file will automatically be uploaded

# Connect to the AzureML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

# Define the Data asset object
my_data = Data(
    path=mltable_folder,
    type=AssetTypes.MLTABLE,
    description="My images. Version includes data through to 2023-Jan-15.",
    name="myimages",
    version="20230115", # update version to the date
)

# Create the data asset in the workspace
ml_client.data.create_or_update(my_data)

Teď máte dvě verze dat, kde název verze odpovídá datu, kdy se obrázky nahrály do úložiště:

20230108: Obrázky do roku 2023-Jan-08.
20230115: Obrázky do 15. ledna 2023.

V obou případech mlTable vytvoří tabulku cest, které obsahují pouze obrázky až do těchto kalendářních dat.

V úloze Azure Machine Učení můžete tyto cesty připojit nebo stáhnout ve verzi tabulky MLTable do cílového výpočetního objektu pomocí těchto eval_download režimů nebo eval_mount režimů:

from azure.ai.ml import MLClient, command, Input
from azure.ai.ml.entities import Environment
from azure.identity import DefaultAzureCredential
from azure.ai.ml.constants import InputOutputModes

# connect to the AzureML workspace
ml_client = MLClient.from_config(
    DefaultAzureCredential()
)

# Get the 20230115 version of the data
data_asset = ml_client.data.get(name="myimages", version="20230115")

input = {
    "images": Input(type="mltable",
                   path=data_asset.id,
                   mode=InputOutputModes.EVAL_MOUNT
            )
}

cmd = """
ls ${{inputs.images}}/**
"""

job = command(
    command=cmd,
    inputs=input,
    compute="cpu-cluster",
    environment="azureml://registries/azureml/environments/sklearn-1.1/versions/4"
)

ml_client.jobs.create_or_update(job)

Poznámka:

Režimy eval_mount a eval_download režimy jsou jedinečné pro MLTable. V tomto případě funkce modulu runtime dat AzureML vyhodnocuje MLTable soubor a připojí cesty k cílovému výpočetnímu objektu.

Vytváření a správa datových prostředků

Předpoklady

Vytváření datových prostředků

Vytvoření datového assetu: Typ souboru

Vytvoření datového assetu: Typ složky

Vytvoření datového assetu: Typ tabulky

Vytváření datových prostředků z výstupů úloh

Správa datových prostředků

Odstranění datového prostředku

Archivace datového assetu

Archivace všech verzí datového assetu

Archivace konkrétní verze datového assetu

Obnovení archivovaného datového assetu

Obnovení všech verzí datového assetu

Obnovení konkrétní verze datového assetu

Rodokmen dat

Označování datových assetů

Přidání značek v rámci toku vytváření datových prostředků

Přidání značek do existujícího datového assetu

Osvědčené postupy správy verzí

Další kroky

Další materiály