Compartilhar via

Criar armazenamentos de dados

APLICA-SE A:Extensão de ML da CLI do Azure v2 (atual)SDK do Python azure-ai-ml v2 (atual)

Neste artigo, você aprenderá a se conectar aos serviços de armazenamento de dados do Azure com os armazenamentos de dados do Azure Machine Learning.

Pré-requisitos

Observação

Os armazenamentos de dados do Azure Machine Learning não criam os recursos de conta de armazenamento subjacentes. Em vez disso, eles vinculam uma conta de armazenamento existente para uso do Azure Machine Learning. Os armazenamentos de dados do Machine Learning não são necessários. Se você tiver acesso aos dados subjacentes, poderá usar URIs de armazenamento diretamente.

Criar um armazenamento de dados de Blob do Azure

from azure.ai.ml.entities import AzureBlobDatastore
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = AzureBlobDatastore(
    name="",
    description="",
    account_name="",
    container_name=""
)

ml_client.create_or_update(store)

Criar uma conta do Azure Data Lake Storage Gen2

from azure.ai.ml.entities import AzureDataLakeGen2Datastore
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = AzureDataLakeGen2Datastore(
    name="",
    description="",
    account_name="",
    filesystem=""
)

ml_client.create_or_update(store)

Criar um armazenamento de dados dos Arquivos do Azure

from azure.ai.ml.entities import AzureFileDatastore
from azure.ai.ml.entities import AccountKeyConfiguration
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = AzureFileDatastore(
    name="file_example",
    description="Datastore pointing to an Azure File Share.",
    account_name="mytestfilestore",
    file_share_name="my-share",
    credentials=AccountKeyConfiguration(
        account_key= "aaaaaaaa-0b0b-1c1c-2d2d-333333333333"
    ),
)

ml_client.create_or_update(store)

Criar uma conta do Azure Data Lake Storage Gen1

from azure.ai.ml.entities import AzureDataLakeGen1Datastore
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = AzureDataLakeGen1Datastore(
    name="",
    store_name="",
    description="",
)

ml_client.create_or_update(store)

Criar um armazenamento de dados do OneLake (Microsoft Fabric) (versão prévia)

Esta seção descreve várias opções para criar um armazenamento de dados do OneLake. O armazenamento de dados do OneLake faz parte do Microsoft Fabric. No momento, o Azure Machine Learning dá suporte à conexão com artefatos do lakehouse do Microsoft Fabric que incluem pastas ou arquivos e atalhos do Amazon S3. Para obter mais informações sobre lakehouses, consulte O que é um lakehouse no Microsoft Fabric?.

A criação do armazenamento de dados do OneLake requer as seguintes informações da instância do Microsoft Fabric:

  • Ponto de extremidade
  • GUID do espaço de trabalho
  • GUID do artefato

As capturas de tela a seguir descrevem a recuperação desses recursos de informação necessários de sua instância do Microsoft Fabric.

Captura de tela que mostra como clicar em propriedades de artefato do artefato do espaço de trabalho do Microsoft Fabric na interface do usuário do Microsoft Fabric.

Em seguida, você encontrará "Ponto de Extremidade", "GUID do Espaço de Trabalho" e "GUID de Artefato" em "URL" e "Caminho do ABFS" na página "Propriedades":

  • Formato de URL: https://{seu_ponto_de_extremidade_do_one_lake}///Files
  • Formato de caminho do ABFS: abfss://{seu_guid_de_espaço_de_trabalho_do_one_lake}@//Files

Captura de tela que mostra o caminho de URL e ABFS de um artefato OneLake na interface do usuário do Microsoft Fabric.

Criar um armazenamento de dados do OneLake

from azure.ai.ml.entities import OneLakeDatastore, OneLakeArtifact
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())

store = OneLakeDatastore(
    name="onelake_example_id",
    description="Datastore pointing to a Microsoft fabric artifact.",
    one_lake_workspace_name="bbbbbbbb-7777-8888-9999-cccccccccccc", #{your_one_lake_workspace_guid}
    endpoint="msit-onelake.dfs.fabric.microsoft.com" #{your_one_lake_endpoint}
    artifact = OneLakeArtifact(
        name="cccccccc-8888-9999-0000-dddddddddddd/Files", #{your_one_lake_artifact_guid}/Files
        type="lake_house"
    )
)

ml_client.create_or_update(store)

Próximas etapas

  • Last updated on