Azure Data Lake Storage Gen2

Artigo
02/28/2024

Resumo

Item	Descrição
Estado da liberação	Disponibilidade geral
Produtos	Power BI (Modelos semânticos) Power BI (Fluxos de dados) Malha (fluxo de dados Gen2) Power Apps (Fluxos de dados) Dynamics 365 Customer Insights Analysis Services
Tipos de autenticação compatíveis	Conta organizacional Chave de Conta Chave SAS (Assinatura de Acesso Compartilhado) Entidade de serviço
Documentação de referência da função	AzureStorage.DataLake AzureStorage.DataLakeContents

Observação

Alguns recursos podem estar presentes em um produto, mas não em outros devido a cronogramas de implantação e funcionalidades específicas do host.

Pré-requisitos

Uma assinatura do Azure. Acesse Obter uma avaliação gratuita do Azure.
Uma conta de armazenamento que tenha um namespace hierárquico. Siga as instruções em Criar uma conta de armazenamento para criar uma. Este artigo pressupõe que você tenha criado uma conta de armazenamento chamada myadlsg2.
Verifique se você recebeu uma das seguintes funções na conta de armazenamento: Leitor de Dados de Blob, Colaborador de Dados de Blob ou Proprietário de Dados de Blob.
Um arquivo de dados de exemplo chamado Drivers.txt localizado em sua conta de armazenamento. Você pode baixar este exemplo do Repositório Git do Azure Data Lake e carregar esse arquivo em sua conta de armazenamento.

Funcionalidades com suporte

Importação
Exibição do Sistema de Arquivos
Exibição de Pasta do CDM

Conectar-se ao Azure Data Lake Storage Gen2 por meio do Power Query Desktop

Selecione Azure Data Lake Storage Gen2 na experiência para obter dados. A experiência para obter dados no Power Query Desktop varia entre aplicativos. Para saber mais informações sobre a experiência para obter dados no Power Query Desktop para seu aplicativo, acesse Onde obter dados.
Na caixa de diálogo Azure Data Lake Storage Gen2, forneça a URL da sua conta, contêiner ou subpasta do Azure Data Lake Storage Gen2 usando o formato do ponto de extremidade de contêiner. As URLs para o Data Lake Storage Gen2 têm o seguinte padrão:

https://<accountname>.dfs.core.windows.net/<container>/<subfolder>

Você também pode selecionar se deseja usar a exibição do sistema de arquivos ou o modo de exibição de pasta do Common Data Model.

Selecione OK para continuar.
Se essa for a primeira vez que você está usando esse endereço de URL, será solicitado que você selecione o método de autenticação.

Se você selecionar o método de Conta organizacional, selecione Entrar para entrar em sua conta de armazenamento. Você será redirecionado à página de entrada da sua organização. Siga os prompts para entrar na conta. Depois de entrar com êxito, selecione Conectar.

Se você selecionar o método de Chave de conta, insira a chave da conta e selecione Conectar.
A caixa de diálogo Navegador mostra todos os arquivos na URL fornecida. Verifique as informações e selecione Transformar dados para transformar os dados no Power Query ou Carregar para carregar os dados.

Conectar-se ao Azure Data Lake Storage Gen2 por meio do Power Query Online

Selecione a opção Azure Data Lake Storage Gen2 na experiência para obter dados. Cada aplicativo acessa de uma forma diferente a experiência para obter dados do Power Query Online. Para saber mais informações sobre como acessar a experiência para obter dados do Power Query Online pelo seu aplicativo, acesse Onde obter dados.
Em Conectar-se à fonte de dados, insira a URL para a sua conta do Azure Data Lake Storage Gen2. Consulte Limitações para determinar a URL a ser usada.
Selecione se deseja usar a exibição do sistema de arquivos ou o modo de exibição de pasta do Common Data Model.
Se necessário, selecione o gateway de dados local em Gateway de dados.
Selecione Entrar para entrar na conta do Azure Data Lake Storage Gen2. Você será redirecionado à página de entrada da sua organização. Siga os prompts para entrar na conta.
Depois de entrar, selecione Avançar.
A página Escolher dados mostra todos os arquivos na URL fornecida. Verifique as informações e selecione Transformar Dados para transformar os dados no Power Query.

Limitações

Subpasta ou arquivo sem suporte no Power Query Online

Atualmente, no Power Query Online, o conector do Azure Data Lake Storage Gen2 dá suporte apenas a caminhos com contêineres e não a subpastas ou arquivos. Por exemplo, https://<accountname>.dfs.core.windows.net/<container> funcionará, enquanto https://<accountname>.dfs.core.windows.net/<container>/<filename> ou https://<accountname>.dfs.core.windows.net/<container>/<subfolder> falhará.

Atualizar autenticação

A Microsoft não dá suporte à atualização de fluxo de dados ou modelo semântico usando a autenticação OAuth2 quando a conta do ADLS (Azure Data Lake Storage Gen2) está em um locatário diferente. Essa limitação só se aplica ao ADLS quando o método de autenticação é o OAuth2, ou seja, quando você tenta se conectar a um ADLS entre locatários usando uma conta do Microsoft Entra ID. Nesse caso, recomendamos que você use um método de autenticação diferente do OAuth2/Microsoft Entra ID, como o método de autenticação por chave.

Requisitos de rede e firewall

Ao criar um fluxo de dados usando um gateway, talvez seja necessário alterar algumas das configurações de proxy ou portas do firewall para se conectar com êxito ao data lake do Azure. Se um fluxo de dados falhar com uma atualização associada ao gateway, poderá ser devido a um problema de firewall ou proxy no gateway para os pontos de extremidade de armazenamento do Azure.

Se você estiver usando um proxy com seu gateway, talvez seja necessário configurar o arquivo Microsoft.Mashup.Container.NetFX45.exe.config no gateway de dados local. Para mais informações: Definir as configurações de proxy do gateway de dados local.

Para habilitar a conectividade da rede com o data lake do Azure, talvez seja necessário habilitar endereços IP específicos da lista no computador do gateway. Por exemplo, se sua rede tiver alguma regra de firewall em vigor que possa bloquear essas tentativas, você precisará desbloquear as conexões de rede de saída para o data lake do Azure. Para habilitar a lista dos endereços de saída necessários, use a marca de serviço AzureDataLake. Para mais informações: Marcas de serviço de rede virtual

Os fluxos de dados também dão suporte à opção "Traga seu próprio" data lake, o que significa que você pode criar o seu data lake, gerenciar suas permissões e conectá-lo explicitamente ao fluxo de dados. Nesse caso, ao se conectar ao ambiente de desenvolvimento ou de produção usando uma Conta organizacional, você deverá habilitar uma das seguintes funções para a conta de armazenamento: Leitor de Dados de Blob, Colaborador de Dados de Blob ou Proprietário de Dados de Blob.

O Power Query Online e o armazenamento do Azure estão na mesma região

Não há suporte para acesso direto a uma conta de armazenamento do Azure com o firewall habilitado e na mesma região que o Power Query Online. Essa limitação ocorre porque os serviços do Power Query, quando implantados na mesma região da conta de armazenamento do Azure, usam endereços IP privados do Azure para comunicação. Para obter mais detalhes, confira a documentação do Azure sobre segurança da rede de armazenamento.

Para contornar essa limitação e habilitar o acesso ao armazenamento do Azure no Power Query Online na mesma região, use um dos seguintes métodos:

Utilize um Gateway de dados local, que serve como uma ponte entre o Power Query Online e o armazenamento do Azure.
Use um Gateway de dados de rede virtual (VNet).