Partilhar via

Criar arquivos de dados

APLICA-SE A:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Neste artigo, você aprenderá a se conectar aos serviços de armazenamento de dados do Azure com armazenamentos de dados do Azure Machine Learning.

Pré-requisitos

Nota

Os armazenamentos de dados do Machine Learning não criam os recursos da conta de armazenamento subjacente. Em vez disso, eles vinculam uma conta de armazenamento existente para uso do Machine Learning. Os armazenamentos de dados do Machine Learning não são necessários. Se você tiver acesso aos dados subjacentes, poderá usar URIs de armazenamento diretamente.

Criar um armazenamento de dados de Blob do Azure

from azure.ai.ml.entities import AzureBlobDatastore
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = AzureBlobDatastore(
    name="",
    description="",
    account_name="",
    container_name=""
)

ml_client.create_or_update(store)

Criar um armazenamento de dados do Azure Data Lake Storage Gen2

from azure.ai.ml.entities import AzureDataLakeGen2Datastore
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = AzureDataLakeGen2Datastore(
    name="",
    description="",
    account_name="",
    filesystem=""
)

ml_client.create_or_update(store)

Criar um armazenamento de dados do Azure Files

from azure.ai.ml.entities import AzureFileDatastore
from azure.ai.ml.entities import AccountKeyConfiguration
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = AzureFileDatastore(
    name="file_example",
    description="Datastore pointing to an Azure File Share.",
    account_name="mytestfilestore",
    file_share_name="my-share",
    credentials=AccountKeyConfiguration(
        account_key= "aaaaaaaa-0b0b-1c1c-2d2d-333333333333"
    ),
)

ml_client.create_or_update(store)

Criar um armazenamento de dados do Azure Data Lake Storage Gen1

from azure.ai.ml.entities import AzureDataLakeGen1Datastore
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = AzureDataLakeGen1Datastore(
    name="",
    store_name="",
    description="",
)

ml_client.create_or_update(store)

Criar um armazenamento de dados OneLake (Microsoft Fabric) (visualização)

Esta seção descreve várias opções para criar um armazenamento de dados OneLake. O armazenamento de dados OneLake faz parte do Microsoft Fabric. No momento, o Machine Learning oferece suporte à conexão com artefatos lakehouse do Microsoft Fabric na pasta "Arquivos" que incluem pastas ou arquivos e atalhos do Amazon S3. Para obter mais informações sobre lakehouses, consulte O que é uma lakehouse no Microsoft Fabric?.

A criação do armazenamento de dados do OneLake requer as seguintes informações da sua instância do Microsoft Fabric:

  • Ponto final
  • GUID do espaço de trabalho
  • GUID do artefato

As capturas de tela a seguir descrevem a recuperação desses recursos de informações necessários da sua instância do Microsoft Fabric.

Captura de tela que mostra como clicar nas propriedades do artefato do espaço de trabalho do Microsoft Fabric na interface do usuário do Microsoft Fabric.

Em seguida, você encontrará "Endpoint", "Workspace GUID" e "Artifact GUID" em "URL" e "ABFS path" na página "Properties":

  • Formato URL: https://{your_one_lake_endpoint}/{your_one_lake_workspace_guid}/{your_one_lake_artifact_guid}/Files
  • Formato de caminho ABFS: abfss://{your_one_lake_workspace_guid}@//Files

Captura de tela que mostra a URL e o caminho ABFS de um artefato OneLake na interface do usuário do Microsoft Fabric.

Criar um armazenamento de dados OneLake

from azure.ai.ml.entities import OneLakeDatastore, OneLakeArtifact
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = OneLakeDatastore(
    name="onelake_example_id",
    description="Datastore pointing to a Microsoft fabric artifact.",
    one_lake_workspace_name="bbbbbbbb-7777-8888-9999-cccccccccccc", #{your_one_lake_workspace_guid}
    endpoint="msit-onelake.dfs.fabric.microsoft.com" #{your_one_lake_endpoint}
    artifact = OneLakeArtifact(
        name="cccccccc-8888-9999-0000-dddddddddddd/Files", #{your_one_lake_artifact_guid}/Files
        type="lake_house"
    )
)

ml_client.create_or_update(store)

Próximos passos

  • Last updated on