Copiar uma tabela do OneLake Lakehouse para Azure Machine Learning pela interface do usuário

Este artigo mostra como disponibilizar dados do tipo table-type do Microsoft Fabric OneLake (/Tables) no Azure Machine Learning, copiando-os para uma conta do Azure Data Lake Storage (ADLS) e criando um datastore sobre a cópia. Você realiza a tarefa inteira na interface do Studio.

O Azure Machine Learning pode se conectar diretamente a dados do OneLake do tipo /Files () por meio de um datastore do OneLake, sem necessidade de cópia. Esse armazenamento de dados sem cópia não dá suporte a tabelas lakehouse, conforme mostrado na captura de tela a seguir, portanto, este artigo aborda uma solução alternativa baseada em interface do usuário para dados de tabela.

Captura de tela mostrando uma tabela no Microsoft Fabric.

Note

Este procedimento copia dados em Azure Data Lake Storage. Os dados copiados são um instantâneo de um determinado momento, não um vínculo dinâmico; portanto, é necessário copiar novamente quando a tabela de origem é alterada. Se você não precisar de um fluxo de trabalho baseado apenas na interface do usuário, considere primeiro as opções sem cópia: um repositório de dados OneLake (Microsoft Fabric) para dados /Files, ou acesso direto do ambiente de computação. Para obter uma visão geral de todas as opções de integração do OneLake, consulte Integrar o OneLake ao Azure Machine Learning.

Quando utilizar esta abordagem

Use o método baseado em cópia neste artigo quando ambas as condições forem verdadeiras:

  • Seus dados são dados do OneLake do tipo /Tables (), que um repositório de dados do OneLake não pode referenciar diretamente.
  • Você deseja criar a conexão inteiramente em Estúdio do Azure Machine Learning, sem a CLI ou o SDK.

Se você precisar de acesso em tempo real, sem cópia, ou se seus dados estiverem na seção Lakehouse /Files, use um repositório de dados do OneLake em vez disso.

Pré-requisitos

Como funciona o fluxo de trabalho de cópia

Essa solução alternativa tem três partes:

  1. Crie e configure uma conta Data Lake Storage no portal do Azure.
  2. Use um pipeline de dados do Fabric para copiar os dados da tabela do OneLake para o Azure Data Lake Storage.
  3. Crie um armazenamento de dados Azure Machine Learning no contêiner de Azure Data Lake Storage.

O diagrama a seguir mostra o fluxo geral:

Captura de tela mostrando o fluxo geral da solução.

Importante

Como essa abordagem copia os dados, o datastore do Azure Machine Learning contém um instantâneo de um determinado momento. Execute novamente a cópia quando a tabela lakehouse de origem for alterada. A cópia também duplica o armazenamento, que adiciona custo e não preserva a governança ou a linhagem do OneLake.

Configurar a conta de armazenamento do Data Lake no portal do Azure

Atribua as funções Storage Blob Data Contributor e Storage File Data Privileged Contributor à identidade do usuário ou ao service principal para conceder acesso ao plano de dados e permissão para criar contêineres. O acesso à chave de conta é controlado separadamente pela configuração permitir acesso à chave da conta de armazenamento , que você habilita em uma etapa posterior. Para atribuir as funções à identidade do usuário:

  1. Abra o portal do Microsoft Azure.

  2. Selecione o serviço contas de armazenamento .

    Captura de tela mostrando a seleção do serviço Contas de Armazenamento.

  3. Na página Contas de Armazenamento , selecione a conta do Data Lake Storage que você criou na etapa de pré-requisito. Uma página mostrando as propriedades da conta de armazenamento é aberta.

    Captura de tela mostrando a página de propriedades da conta de armazenamento do data lake.

  4. Selecione as chaves do Access no painel esquerdo e registre a chave. Você precisa desse valor em uma etapa posterior.

  5. Selecione e habilite Permitir acesso à chave da conta de armazenamento , conforme mostrado na seguinte captura de tela:

    Dica

    Para cargas de trabalho de produção, use a autenticação baseada em identidade (ID do Microsoft Entra) em vez de chaves de conta. Para saber mais, confira Criar armazenamentos de dados.

    Captura de tela mostrando como habilitar o acesso à chave da conta de armazenamento do data lake no portal do Azure.

  6. Selecione Controle de Acesso (IAM) no painel esquerdo e atribua as funções Storage Blob Data Contributor e Storage File Data Privileged Contributor à entidade de serviço.

    Captura de tela mostrando como atribuir funções da conta de armazenamento do data lake no portal do Azure.

  7. Criar um contêiner na conta de armazenamento. Nomeie tabela-onelake.

    Captura de tela mostrando a criação de um contêiner de conta de armazenamento do data lake no portal do Azure.

Usar um pipeline de dados do Fabric para copiar dados para uma conta do Azure Data Lake Storage

Dica

Você também pode usar uma Tarefa de Cópia do Fabric, que proporciona uma experiência mais simples para cenários de cópia de dados.

  1. No portal do Fabric, selecione Pipeline de dados na página Novo item.

    Captura de tela mostrando a seleção de pipeline de dados na página Novo item do Fabric.

  2. Selecione Assistente de cópia de dados.

    Captura de tela mostrando a seleção do assistente de cópia de dados.

  3. Em Assistente de cópia de dados, selecione Blobs do Azure:

    Captura de tela mostrando a seleção de Selecionar Blobs do Azure no assistente de Cópia de dados do Fabric.

  4. Para criar uma conexão com a conta de armazenamento do Azure Data Lake, selecione Tipo de autenticação: chave de conta e , em seguida, Avançar:

    Captura de tela que mostra como criar uma conexão em um pipeline de dados do Fabric.

    Dica

    Para evitar chaves de conta, selecione um tipo de Autenticação baseado em identidade, como conta organizacional, e crie o armazenamento de dados Azure Machine Learning com acesso baseado em identidade. Essa abordagem usa as funções de plano de dados atribuídas anteriormente e não requer habilitar o acesso à chave de conta.

  5. Selecione o destino de dados e selecione Avançar:

    Captura de tela que mostra a seleção do destino de dados.

  6. Conecte-se ao destino de dados e selecione Avançar:

    Captura de tela que mostra a conexão com o destino dos dados.

  7. Essa etapa inicia automaticamente o trabalho de cópia de dados:

    Captura de tela que mostra que a atividade de cópia está agendada.

    Essa etapa pode demorar um pouco. Isso leva diretamente à próxima etapa.

  8. Verifique se o trabalho de cópia de dados foi concluído com êxito:

    Captura de tela mostrando que a operação de cópia foi bem-sucedida.

Criar um armazenamento de dados Azure Machine Learning no contêiner de Azure Data Lake Storage

Agora que seus dados estão no recurso de armazenamento do Azure Data Lake, você pode criar um armazenamento de dados do Azure Machine Learning.

  1. Na conta de armazenamento do Azure, o contêiner , conforme mostrado à esquerda, tem dados, conforme mostrado à direita:

    Captura de tela que mostra como verificar os dados no contêiner da conta de armazenamento do Azure.

  2. Em Estúdio do Azure Machine Learning, crie um ativo de dados. Para decidir o tipo, abra o contêiner de tabela onelake e verifique se a cópia produziu um único arquivo ou uma pasta de arquivos. Selecione Arquivo (uri_file) para um único arquivo ou Pasta (uri_folder) para uma pasta de arquivos, o que é comum quando a tabela é exportada como vários arquivos:

    Captura de tela mostrando a seleção do tipo de ativo de dados.

  3. Selecione do armazenamento do Azure:

    Captura de tela que mostra como selecionar o armazenamento do Azure.

  4. Usando o valor da chave de conta da etapa anterior Criar uma conexão com a conta de armazenamento do Azure Data Lake , crie um novo armazenamento de dados:

    Captura de tela que mostra como criar um novo armazenamento de dados no Azure Machine Learning.

  5. Você também pode criar diretamente um armazenamento de dados no Azure Machine Learning Studio:

    Captura de tela que mostra como criar um armazenamento de dados no Azure Machine Learning.

  6. Você pode examinar os detalhes do armazenamento de dados que você criou:

    Captura de tela que mostra detalhes do armazenamento de dados que você criou.

  7. Revisar os dados no banco de dados

    Captura de tela que mostra como acessar um armazenamento de dados no Azure Machine Learning.

Agora que você criou com êxito o armazenamento de dados no Azure Machine Learning, você pode usá-lo em exercícios de machine learning.

Resolução de problemas

  • Atribuição de função ainda não está em vigor: As atribuições de função do Azure podem levar vários minutos para serem propagadas. Se o trabalho de cópia ou a criação do armazenamento de dados falhar com um erro de autorização, aguarde alguns minutos e tente novamente.
  • Acesso à chave de conta desabilitado: se você não puder recuperar ou usar a chave da conta, confirme se Permitir acesso à chave da conta de armazenamento está habilitado na conta de armazenamento.
  • Falha na conexão com o Fabric: verifique o nome da conta de armazenamento e a chave, e confirme que o contêiner onelake-table existe.
  • O snapshot está desatualizado: a cópia produz um snapshot de um ponto específico no tempo. Para mantê-lo atualizado, agende a execução recorrente do pipeline de dados do Fabric.

Referências