Criar armazenamentos de dados

APLICA-SE A:Extensão de ML da CLI do Azure v2 (atual)SDK do Python azure-ai-ml v2 (atual)

Neste artigo, saiba como se conectar aos serviços de armazenamento de dados do Azure por meio dos armazenamentos de dados do Azure Machine Learning.

Pré-requisitos

Observação

Os armazenamentos de dados do Azure Machine Learning não criam os recursos de conta de armazenamento subjacentes. Em vez disso, eles vinculam uma conta de armazenamento existente para uso do Azure Machine Learning. Isso não necessita de armazenamentos de dados do Azure Machine Learning. Se você tiver acesso aos dados subjacentes, poderá usar URIs de armazenamento diretamente.

Criar um armazenamento de dados de Blob do Azure

from azure.ai.ml.entities import AzureBlobDatastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureBlobDatastore(
    name="",
    description="",
    account_name="",
    container_name=""
)

ml_client.create_or_update(store)

Criar um armazenamento de dados do Azure Data Lake Gen2

from azure.ai.ml.entities import AzureDataLakeGen2Datastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureDataLakeGen2Datastore(
    name="",
    description="",
    account_name="",
    filesystem=""
)

ml_client.create_or_update(store)

Criar um armazenamento de dados dos Arquivos do Azure

from azure.ai.ml.entities import AzureFileDatastore
from azure.ai.ml.entities import AccountKeyConfiguration
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureFileDatastore(
    name="file_example",
    description="Datastore pointing to an Azure File Share.",
    account_name="mytestfilestore",
    file_share_name="my-share",
    credentials=AccountKeyConfiguration(
        account_key= "XXXxxxXXXxXXXXxxXXXXXxXXXXXxXxxXxXXXxXXXxXXxxxXXxxXXXxXxXXXxxXxxXXXXxxxxxXXxxxxxxXXXxXXX"
    ),
)

ml_client.create_or_update(store)

Criar um armazenamento de dados do Azure Data Lake Gen1

from azure.ai.ml.entities import AzureDataLakeGen1Datastore
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = AzureDataLakeGen1Datastore(
    name="",
    store_name="",
    description="",
)

ml_client.create_or_update(store)

Criar um armazenamento de dados do OneLake (Microsoft Fabric) (versão prévia)

Esta seção descreve várias opções para criar um armazenamento de dados do OneLake. O armazenamento de dados do OneLake faz parte do Microsoft Fabric. No momento, o Azure Machine Learning dá suporte à conexão com artefatos do Lakehouse do Microsoft Fabric que incluem pastas/arquivos e atalhos do Amazon S3. Para obter mais informações sobre o Lakehouse, visite O que é um lakehouse no Microsoft Fabric.

É necessário para criar o armazenamento de dados do OneLake

  • Ponto de extremidade
  • Nome do workspace do Fabric ou GUID
  • Nome do artefato ou GUID

Informações de sua instância do Microsoft Fabric. Estas três capturas de tela descrevem a recuperação desses recursos de informação necessários de sua instância do Microsoft Fabric:

Nome do workspace do OneLake

Em sua instância do Microsoft Fabric, você pode encontrar as informações do workspace, conforme mostrado nesta captura de tela. Você pode usar um valor GUID ou um "nome amigável" para criar um armazenamento de dados do Onelake no Azure Machine Learning.

Screenshot that shows Fabric Workspace details in Microsoft Fabric UI.

Ponto de extremidade do OneLake

Esta captura de tela mostra como você pode encontrar informações de ponto de extremidade em sua instância do Microsoft Fabric:

Screenshot that shows Fabric endpoint details in Microsoft Fabric UI.

Nome do artefato do Onelake

Esta captura de tela mostra como você pode encontrar as informações do artefato em sua instância do Microsoft Fabric. A captura de tela também mostra como é possível usar um valor GUID ou um "nome amigável" para criar um armazenamento de dados OneLake do Azure Machine Learning:

Screenshot showing how to get Fabric LH artifact details in Microsoft Fabric UI.

Criar um armazenamento de dados do OneLake

from azure.ai.ml.entities import OneLakeDatastore, OneLakeArtifact
from azure.ai.ml import MLClient

ml_client = MLClient.from_config()

store = OneLakeDatastore(
    name="onelake_example_id",
    description="Datastore pointing to an Microsoft fabric artifact.",
    one_lake_workspace_name="AzureML_Sample_OneLakeWS",
    endpoint="msit-onelake.dfs.fabric.microsoft.com"
    artifact = OneLakeArtifact(
        name="AzML_Sample_LH",
        type="lake_house"
    )
)

ml_client.create_or_update(store)

Próximas etapas