Copie uma tabela OneLake lakehouse para Azure Machine Learning através da interface

Este artigo mostra como disponibilizar dados do tipo tabela (/Tables) do Microsoft Fabric OneLake no Azure Machine Learning, copiando-os para uma conta do Azure Data Lake Storage (ADLS) e criando um armazenamento de dados sobre a cópia. Fazes toda a tarefa na interface do estúdio.

O Azure Machine Learning pode ligar-se diretamente a dados do tipo ficheiro no OneLake (/Files) através de um arquivo de dados do OneLake, sem necessidade de cópia. Esse datastore sem cópias não suporta tabelas lakehouse, como mostrado na captura de ecrã seguinte, por isso este artigo aborda uma solução alternativa baseada na interface de utilizador para dados de tabelas.

Captura de tela mostrando uma tabela no Microsoft Fabric.

Note

Este procedimento copia os dados para o Azure Data Lake Storage. Os dados copiados são um instantâneo de um determinado momento, não uma ligação dinâmica, pelo que é necessário executar novamente a cópia quando a tabela de origem é alterada. Se não precisar de um fluxo de trabalho apenas de interface, considere primeiro as opções sem cópia: um armazenamento /Filesde dados OneLake (Microsoft Fabric) para dados, ou acesso direto a partir do computo. Para uma visão geral de todas as opções de integração OneLake, veja Integrar OneLake com Azure Machine Learning.

Quando utilizar esta abordagem

Use o método baseado em cópia neste artigo quando ambas as condições forem verdadeiras:

  • Os seus dados são dados do tipo tabela do OneLake (/Tables), que um arquivo de dados do OneLake não pode referenciar diretamente.
  • Queres construir a ligação inteiramente no Estúdio do Azure Machine Learning, sem a CLI ou SDK.

Se precisar de acesso em direto, sem cópia, ou se os seus dados estiverem na secção do lakehouse /Files, utilize antes um arquivo de dados OneLake.

Pré-requisitos

Como funciona o fluxo de trabalho de cópia

Esta solução tem três partes:

  1. Crie e configure uma conta Data Lake Storage no portal Azure.
  2. Utilize um pipeline de dados do Fabric para copiar os dados da tabela do OneLake para o Azure Data Lake Storage.
  3. Crie um Azure Machine Learning datastore sobre o contentor Azure Data Lake Storage.

O diagrama seguinte mostra o fluxo global:

Captura de tela mostrando o fluxo geral da solução.

Importante

Como esta abordagem copia os dados, o arquivo de dados do Azure Machine Learning contém um instantâneo de um determinado momento. Execute novamente a cópia quando a tabela de origem no lakehouse for alterada. A cópia também duplica o armazenamento, o que acrescenta custo, e não preserva a governação ou a linhagem do OneLake.

Configurar a conta de armazenamento do Data Lake no portal do Azure

Atribuir as funções Contribuidor de Dados de Blob de Armazenamento e Contribuidor de Dados Privilegiados de Ficheiro de Armazenamento à identidade do utilizador ou ao principal de serviço para conceder acesso ao plano de dados e permissão para criar contentores. O acesso à chave de conta é controlado separadamente pela definição Permitir acesso à chave de conta de armazenamento , que pode ativar numa etapa posterior. Para atribuir as funções à identidade de utilizador:

  1. Abra o portal do Microsoft Azure.

  2. Selecione o serviço Contas de armazenamento .

    Captura de ecrã a mostrar a seleção do serviço Contas de Armazenamento.

  3. Na página Contas de armazenamento , selecione a conta de armazenamento Data Lake criada na etapa de pré-requisito. Uma página mostrando as propriedades da conta de armazenamento é aberta.

    Captura de tela mostrando a página de propriedades da conta de armazenamento do data lake.

  4. Seleciona as teclas de Acesso no painel esquerdo e regista a chave. Precisa deste valor numa etapa posterior.

  5. Selecione e habilite Permitir acesso à chave da conta de armazenamento , conforme mostrado na captura de tela a seguir:

    Sugestão

    Para cargas de trabalho de produção, utilize autenticação baseada em identidade (Microsoft Entra ID) em vez de chaves de conta. Para obter mais informações, consulte Criar datastores.

    Captura de tela mostrando como habilitar o acesso de chave da conta de armazenamento do data lake no portal do Azure.

  6. Selecione Controlo de Acesso (IAM) no painel da esquerda e atribua as funções Storage Blob Data Contributor e Storage File Data Privileged Contributor à entidade de serviço.

    Captura de ecrã a mostrar como atribuir funções de conta de armazenamento de data lake no portal do Azure.

  7. Crie um contêiner na conta de armazenamento. Nomeie-o onelake-table.

    Captura de tela mostrando a criação de um contêiner de conta de armazenamento data lake no portal do Azure.

Usar um pipeline de dados Fabric para copiar dados para uma conta do "Azure Data Lake Storage"

Sugestão

Também pode utilizar um job de cópia do Fabric, que proporciona uma experiência mais simples para cenários de cópia de dados.

  1. No portal Fabric, selecione Pipeline de dados na página de Novo item.

    Captura de tela mostrando a seleção do pipeline de dados na página Novo item do Fabric.

  2. Selecione Assistente de cópia de dados.

    Captura de ecrã que mostra a seleção do Assistente de cópia de dados.

  3. Em Assistente de cópia de dados, selecione Blobs do Azure:

    Captura de ecrã mostrando a seleção de blobs do Azure no assistente de dados Copy Fabric.

  4. Para criar uma conexão com a conta de armazenamento do Azure Data Lake, selecione Tipo de autenticação: Chave da conta e, em seguida, Avançar:

    Captura de tela que mostra como criar uma conexão em um pipeline de dados Fabric.

    Sugestão

    Para evitar chaves de conta, selecione um tipo de Autenticação baseada em identidade, como conta organizacional, e crie o Azure Machine Learning datastore com acesso baseado em identidade. Esta abordagem utiliza as funções do plano de dados que atribuiu anteriormente e não requer a ativação do acesso com chave de conta.

  5. Selecione o destino dos dados e selecione Próximo:

    Captura de tela que mostra a seleção do destino dos dados.

  6. Ligue-se ao destino de dados e selecione Próximo:

    Captura de tela que mostra a conexão com o destino dos dados.

  7. Essa etapa inicia automaticamente o trabalho de cópia de dados:

    Captura de tela que mostra que a atividade de cópia está agendada.

    Esta etapa pode demorar um pouco. Isso leva diretamente ao próximo passo.

  8. Verifique se o trabalho de cópia de dados foi concluído com êxito:

    Captura de tela mostrando que a operação de cópia foi bem-sucedida.

Crie um Azure Machine Learning datastore sobre o contentor Azure Data Lake Storage

Agora que seus dados estão no recurso de armazenamento do Azure Data Lake, você pode criar um armazenamento de dados do Azure Machine Learning.

  1. Na conta de armazenamento do Azure, o contêiner mostrado à esquerda tem dados, conforme mostrado à direita:

    Captura de tela que mostra como verificar os dados no contêiner da conta de armazenamento do Azure.

  2. No Estúdio do Azure Machine Learning, crie um asset de dados. Para decidir o tipo, abrir o contentor onelake-table e verificar se a cópia produziu um único ficheiro ou uma pasta de ficheiros. Selecione Ficheiro (uri_file) para um único ficheiro, ou Pasta (uri_folder) para uma pasta de ficheiros, o que é comum quando a tabela exporta como múltiplos ficheiros:

    Captura de ecrã que mostra a seleção do tipo de ativo de dados.

  3. Selecione Do armazenamento do Azure:

    Captura de tela que mostra como selecionar o armazenamento do Azure.

  4. Usando o valor da chave Account da etapa anterior, crie uma conexão com a conta de armazenamento do Azure Data Lake e crie um Novo armazenamento de dados:

    Captura de ecrã que mostra como criar um novo armazenamento de dados no Azure Machine Learning.

  5. Também pode criar diretamente um datastore no Azure Machine Learning Studio:

    Captura de ecrã que mostra como criar um armazenamento de dados no Azure Machine Learning.

  6. Você pode revisar os detalhes do armazenamento de dados criado:

    Captura de tela que mostra detalhes do armazenamento de dados que você criou.

  7. Rever os dados na base de dados.

    Captura de ecrã que mostra como aceder a um armazenamento de dados no Azure Machine Learning.

Agora que você criou com êxito o armazenamento de dados no Azure Machine Learning, pode usá-lo em exercícios de aprendizado de máquina.

Troubleshooting

  • Atribuição de funções ainda não eficaz: As atribuições de funções no Azure podem demorar vários minutos a propagar-se. Se o trabalho de cópia ou a criação do datastore falhar com um erro de autorização, espere alguns minutos e tente novamente.
  • Acesso à chave da conta desativado: Se não conseguir recuperar ou usar a chave da conta, confirme que o Permitir acesso à chave da conta de armazenamento está ativado na conta de armazenamento.
  • Falha a ligação Fabric: Verifique o nome e a chave da conta de armazenamento e confirme que o contentor onelake-table existe.
  • Instantâneo desatualizado: A cópia cria um instantâneo de um determinado momento. Para o manter atualizado, agende o pipeline de dados do Fabric para ser executado regularmente.

Referências