Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Este artigo mostra como disponibilizar dados do tipo tabela (/Tables) do Microsoft Fabric OneLake no Azure Machine Learning, copiando-os para uma conta do Azure Data Lake Storage (ADLS) e criando um armazenamento de dados sobre a cópia. Fazes toda a tarefa na interface do estúdio.
O Azure Machine Learning pode ligar-se diretamente a dados do tipo ficheiro no OneLake (/Files) através de um arquivo de dados do OneLake, sem necessidade de cópia. Esse datastore sem cópias não suporta tabelas lakehouse, como mostrado na captura de ecrã seguinte, por isso este artigo aborda uma solução alternativa baseada na interface de utilizador para dados de tabelas.
Note
Este procedimento copia os dados para o Azure Data Lake Storage. Os dados copiados são um instantâneo de um determinado momento, não uma ligação dinâmica, pelo que é necessário executar novamente a cópia quando a tabela de origem é alterada. Se não precisar de um fluxo de trabalho apenas de interface, considere primeiro as opções sem cópia: um armazenamento /Filesde dados OneLake (Microsoft Fabric) para dados, ou acesso direto a partir do computo. Para uma visão geral de todas as opções de integração OneLake, veja Integrar OneLake com Azure Machine Learning.
Quando utilizar esta abordagem
Use o método baseado em cópia neste artigo quando ambas as condições forem verdadeiras:
- Os seus dados são dados do tipo tabela do OneLake (
/Tables), que um arquivo de dados do OneLake não pode referenciar diretamente. - Queres construir a ligação inteiramente no Estúdio do Azure Machine Learning, sem a CLI ou SDK.
Se precisar de acesso em direto, sem cópia, ou se os seus dados estiverem na secção do lakehouse /Files, utilize antes um arquivo de dados OneLake.
Pré-requisitos
- Uma assinatura do Azure; se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
- Uma área de trabalho do Azure Machine Learning. Visite Criar recursos de espaço de trabalho.
- Uma conta de armazenamento do Azure Data Lake Storage (ADLS). Visite Criar uma conta de armazenamento do Azure Data Lake Storage (ADLS).
- Conhecimento da atribuição de funções na conta de armazenamento do Azure.
- Acesso a um espaço de trabalho Microsoft Fabric com uma casa de lago que contém dados do tipo tabela.
- Permissão para criar um pipeline de dados no espaço de trabalho do Fabric, como a função Contributor ou Member no espaço de trabalho.
Como funciona o fluxo de trabalho de cópia
Esta solução tem três partes:
- Crie e configure uma conta Data Lake Storage no portal Azure.
- Utilize um pipeline de dados do Fabric para copiar os dados da tabela do OneLake para o Azure Data Lake Storage.
- Crie um Azure Machine Learning datastore sobre o contentor Azure Data Lake Storage.
O diagrama seguinte mostra o fluxo global:
Importante
Como esta abordagem copia os dados, o arquivo de dados do Azure Machine Learning contém um instantâneo de um determinado momento. Execute novamente a cópia quando a tabela de origem no lakehouse for alterada. A cópia também duplica o armazenamento, o que acrescenta custo, e não preserva a governação ou a linhagem do OneLake.
Configurar a conta de armazenamento do Data Lake no portal do Azure
Atribuir as funções Contribuidor de Dados de Blob de Armazenamento e Contribuidor de Dados Privilegiados de Ficheiro de Armazenamento à identidade do utilizador ou ao principal de serviço para conceder acesso ao plano de dados e permissão para criar contentores. O acesso à chave de conta é controlado separadamente pela definição Permitir acesso à chave de conta de armazenamento , que pode ativar numa etapa posterior. Para atribuir as funções à identidade de utilizador:
Abra o portal do Microsoft Azure.
Selecione o serviço Contas de armazenamento .
Na página Contas de armazenamento , selecione a conta de armazenamento Data Lake criada na etapa de pré-requisito. Uma página mostrando as propriedades da conta de armazenamento é aberta.
Seleciona as teclas de Acesso no painel esquerdo e regista a chave. Precisa deste valor numa etapa posterior.
Selecione e habilite Permitir acesso à chave da conta de armazenamento , conforme mostrado na captura de tela a seguir:
Sugestão
Para cargas de trabalho de produção, utilize autenticação baseada em identidade (Microsoft Entra ID) em vez de chaves de conta. Para obter mais informações, consulte Criar datastores.
Selecione Controlo de Acesso (IAM) no painel da esquerda e atribua as funções Storage Blob Data Contributor e Storage File Data Privileged Contributor à entidade de serviço.
Crie um contêiner na conta de armazenamento. Nomeie-o onelake-table.
Usar um pipeline de dados Fabric para copiar dados para uma conta do "Azure Data Lake Storage"
Sugestão
Também pode utilizar um job de cópia do Fabric, que proporciona uma experiência mais simples para cenários de cópia de dados.
No portal Fabric, selecione Pipeline de dados na página de Novo item.
Selecione Assistente de cópia de dados.
Em Assistente de cópia de dados, selecione Blobs do Azure:
Para criar uma conexão com a conta de armazenamento do Azure Data Lake, selecione Tipo de autenticação: Chave da conta e, em seguida, Avançar:
Sugestão
Para evitar chaves de conta, selecione um tipo de Autenticação baseada em identidade, como conta organizacional, e crie o Azure Machine Learning datastore com acesso baseado em identidade. Esta abordagem utiliza as funções do plano de dados que atribuiu anteriormente e não requer a ativação do acesso com chave de conta.
Selecione o destino dos dados e selecione Próximo:
Ligue-se ao destino de dados e selecione Próximo:
Essa etapa inicia automaticamente o trabalho de cópia de dados:
Esta etapa pode demorar um pouco. Isso leva diretamente ao próximo passo.
Verifique se o trabalho de cópia de dados foi concluído com êxito:
Crie um Azure Machine Learning datastore sobre o contentor Azure Data Lake Storage
Agora que seus dados estão no recurso de armazenamento do Azure Data Lake, você pode criar um armazenamento de dados do Azure Machine Learning.
Na conta de armazenamento do Azure, o contêiner mostrado à esquerda tem dados, conforme mostrado à direita:
No Estúdio do Azure Machine Learning, crie um asset de dados. Para decidir o tipo, abrir o contentor onelake-table e verificar se a cópia produziu um único ficheiro ou uma pasta de ficheiros. Selecione Ficheiro (uri_file) para um único ficheiro, ou Pasta (uri_folder) para uma pasta de ficheiros, o que é comum quando a tabela exporta como múltiplos ficheiros:
Selecione Do armazenamento do Azure:
Usando o valor da chave Account da etapa anterior, crie uma conexão com a conta de armazenamento do Azure Data Lake e crie um Novo armazenamento de dados:
Também pode criar diretamente um datastore no Azure Machine Learning Studio:
Você pode revisar os detalhes do armazenamento de dados criado:
Rever os dados na base de dados.
Agora que você criou com êxito o armazenamento de dados no Azure Machine Learning, pode usá-lo em exercícios de aprendizado de máquina.
Troubleshooting
- Atribuição de funções ainda não eficaz: As atribuições de funções no Azure podem demorar vários minutos a propagar-se. Se o trabalho de cópia ou a criação do datastore falhar com um erro de autorização, espere alguns minutos e tente novamente.
- Acesso à chave da conta desativado: Se não conseguir recuperar ou usar a chave da conta, confirme que o Permitir acesso à chave da conta de armazenamento está ativado na conta de armazenamento.
- Falha a ligação Fabric: Verifique o nome e a chave da conta de armazenamento e confirme que o contentor onelake-table existe.
- Instantâneo desatualizado: A cópia cria um instantâneo de um determinado momento. Para o manter atualizado, agende o pipeline de dados do Fabric para ser executado regularmente.
Conteúdo relacionado
- Criar armazenamentos de dados
- Criar um armazenamento de dados OneLake (Microsoft Fabric) (visualização)
- Criar ativos de dados
- Integre o OneLake com Azure Machine Learning
Referências
- Ler de uma tabela especificada do lakehouse em um espaço de trabalho usando o Bloco de Anotações em outro espaço de trabalho
- Tabelas Delta Lake para obter um desempenho ideal do Direct Lake no Notebook Python Fabric
- Conector Spark para Microsoft Fabric Data Warehouse
- AML e OneLake e Fabric Demonstrativo de "Melhor Juntos"