Problemas conhecidos do Azure Data Lake Storage Gen2

Artigo
11/08/2023

Este artigo descreve limitações e problemas conhecidos para contas que têm o recurso de namespace hierárquico habilitado.

Nota

Alguns dos recursos descritos neste artigo podem não ser suportados em contas com suporte a NFS (Network File System) 3.0 habilitado. Para exibir uma tabela que mostra o impacto do suporte a recursos quando vários recursos são habilitados, consulte Suporte a recursos de Armazenamento de Blob em contas de Armazenamento do Azure.

Funcionalidades suportadas do Armazenamento de Blobs

Um número crescente de recursos de armazenamento de Blob agora funciona com contas que têm um namespace hierárquico. Para obter uma lista completa, consulte Recursos de armazenamento de Blob disponíveis no Azure Data Lake Storage Gen2.

Integrações de serviço do Azure suportadas

O Azure Data Lake Storage Gen2 dá suporte a vários serviços do Azure que você pode usar para ingerir dados, executar análises e criar representações visuais. Para obter uma lista de serviços do Azure suportados, consulte Serviços do Azure que suportam o Azure Data Lake Storage Gen2.

Para obter mais informações, consulte Serviços do Azure que dão suporte ao Azure Data Lake Storage Gen2.

Plataformas open source suportadas

Várias plataformas de código aberto suportam o Data Lake Storage Gen2. Para obter uma lista completa, consulte Plataformas de código aberto que suportam o Azure Data Lake Storage Gen2.

Para obter mais informações, consulte Plataformas de código aberto que dão suporte ao Azure Data Lake Storage Gen2.

APIs de armazenamento de Blob

As APIs do Data Lake Storage Gen2, NFS 3.0 e Blob podem operar nos mesmos dados.

Esta seção descreve problemas e limitações com o uso de APIs de blob, NFS 3.0 e APIs do Data Lake Storage Gen2 para operar nos mesmos dados.

Não é possível usar APIs de blob, NFS 3.0 e APIs de armazenamento Data Lake para gravar na mesma instância de um arquivo. Se você gravar em um arquivo usando APIs do Data Lake Storage Gen2 ou NFS 3.0, os blocos desse arquivo não ficarão visíveis para chamadas para a API de blob Get Block List . A única exceção é quando você está substituindo. Você pode substituir um arquivo/blob usando a API ou o NFS 3.0 usando a opção de truncar zero.

Os blobs criados usando uma operação Data Lake Storage Gen2, como a operação Path - Create, não podem ser substituídos usando operações PutBlock ou PutBlockList, mas podem ser substituídos usando uma operação PutBlob sujeita ao tamanho máximo permitido de blob imposto pela versão api correspondente que o PutBlob usa.
Quando você usa a operação Listar Blobs sem especificar um delimitador, os resultados incluem diretórios e blobs . Se você optar por usar um delimitador, use apenas uma barra (/). Este é o único delimitador suportado.
Se você usar a API Excluir Blob para excluir um diretório, esse diretório será excluído somente se estiver vazio. Isso significa que você não pode usar os diretórios de exclusão da API de Blob recursivamente.

Estas APIs REST de Blob não são suportadas:

Não há suporte para discos de VM não gerenciados em contas que têm um namespace hierárquico. Se você quiser habilitar um namespace hierárquico em uma conta de armazenamento, coloque discos de VM não gerenciados em uma conta de armazenamento que não tenha o recurso de namespace hierárquico habilitado.

Suporte para definir listas de controle de acesso (ACLs) recursivamente

A capacidade de aplicar alterações de ACL recursivamente do diretório pai para itens filho está geralmente disponível. Na versão atual desse recurso, você pode aplicar alterações de ACL usando o Gerenciador de Armazenamento do Azure, PowerShell, CLI do Azure e o SDK .NET, Java e Python. O suporte ainda não está disponível para o portal do Azure.

Listas de controle de acesso (ACL) e acesso de leitura anônimo

Se o acesso de leitura anônimo tiver sido concedido a um contêiner, as ACLs não terão efeito sobre esse contêiner ou os arquivos nesse contêiner. Isso afeta apenas as solicitações de leitura. As solicitações de gravação ainda honrarão as ACLs. Recomendamos exigir autorização para todas as solicitações de dados de blob.

AzCopy

Use apenas a versão mais recente do AzCopy (AzCopy v10). Não há suporte para versões anteriores do AzCopy, como o AzCopy v8.1.

Explorador de Armazenamento do Azure

Use apenas versões 1.6.0 ou superiores.

Navegador de armazenamento no portal do Azure

No navegador de armazenamento que aparece no portal do Azure, você não pode acessar um arquivo ou pasta especificando um caminho. Em vez disso, você deve navegar pelas pastas para chegar a um arquivo. Portanto, se uma ACL conceder a um usuário acesso de leitura a um arquivo, mas não acesso de leitura a todas as pastas que levam ao arquivo, esse usuário não poderá visualizar o arquivo no navegador de armazenamento.

Aplicações de terceiros

Os aplicativos de terceiros que usam APIs REST para funcionar continuarão a funcionar se você usá-los com o Data Lake Storage Gen2. Os aplicativos que chamam APIs de Blob provavelmente funcionarão.

Driver de Blob de Armazenamento do Windows Azure (WASB)

Atualmente, o driver WASB, que foi projetado para funcionar apenas com a API de Blob, encontra problemas em alguns cenários comuns. Especificamente, quando é um cliente para uma conta de armazenamento habilitada para namespace hierárquico. O acesso multiprotocolo no Data Lake Storage não atenuará esses problemas.

Não há suporte para o uso do driver WASB como um cliente para uma conta de armazenamento habilitada para namespace hierárquico. Em vez disso, recomendamos que você use o driver do Sistema de Arquivos de Blob do Azure (ABFS) em seu ambiente Hadoop. Se você estiver tentando migrar de um ambiente Hadoop local com uma versão anterior à ramificação 3 do Hadoop, abra um tíquete de Suporte do Azure para que possamos entrar em contato com você no caminho certo para você e sua organização.

Exclusão suave para capacidade de blobs

Se os diretórios pai para arquivos ou diretórios excluídos por software forem renomeados, os itens excluídos por software podem não ser exibidos corretamente no portal do Azure. Nesses casos, você pode usar o PowerShell ou a CLI do Azure para listar e restaurar os itens excluídos por software.

Eventos

Se sua conta tiver uma assinatura de evento, as operações de leitura no ponto de extremidade secundário resultarão em um erro. Para resolver esse problema, remova as assinaturas de eventos. Usar o ponto de extremidade do Armazenamento Data Lake (abfss://URI) para contas habilitadas para namespace não hierárquico não gerará eventos, mas o ponto de extremidade de blob (wasb:// URI) gerará eventos.

Gorjeta

O acesso de leitura ao ponto de extremidade secundário está disponível somente quando você habilita o armazenamento com redundância geográfica de acesso de leitura (RA-GRS) ou o armazenamento com redundância de zona geográfica de acesso de leitura (RA-GZRS).