Atualizar o Armazenamento de Blobs do Azure com os recursos do Armazenamento do Azure Data Lake

Este artigo ajuda você a habilitar um namespace hierárquico e desbloquear recursos, como segurança em nível de arquivo e diretório e operações mais rápidas. Esses recursos são amplamente usados por cargas de trabalho de análise de big data e são chamados coletivamente de Armazenamento Azure Data Lake.

Para saber mais sobre esses recursos e avaliar o impacto dessa atualização em cargas de trabalho, aplicativos, custos, integrações de serviços, ferramentas, recursos e documentação, consulte Atualizando o Armazenamento de Blobs do Azure com os recursos do Armazenamento do Azure Data Lake.

Importante

Uma atualização é definitiva. Não há forma de reverter a conta depois de ter feito a atualização. Recomendamos que você valide sua atualização em um ambiente que não seja de produção.

Prepare-se para atualizar

Para se preparar para atualizar sua conta de armazenamento para o Armazenamento Data Lake:

• Rever o suporte a funcionalidades
• Verifique se os segmentos de cada caminho de blob estão nomeados
• Impedir a atividade de gravação na conta de armazenamento

Rever o suporte a funcionalidades

Sua conta de armazenamento pode estar configurada para usar recursos que ainda não são suportados em contas habilitadas para Armazenamento Data Lake. Se sua conta estiver usando esses recursos, a atualização não passará na etapa de validação. Analise o artigo Suporte ao recurso de Armazenamento de Blob nas contas de Armazenamento do Azure para identificar recursos sem suporte. Se estiver a utilizar essas funcionalidades na sua conta, desative-as antes de iniciar a atualização.

Os seguintes recursos são suportados para contas de Armazenamento Data Lake, mas não são suportados pelo processo de atualização:

• Instantâneos de Blob
• Âmbitos de encriptação
• Armazenamento imutável
• Rastreamento do tempo do último acesso para gerenciamento do ciclo de vida
• Eliminação recuperável para blobs
• Eliminação recuperável para contentores

Se a sua conta de armazenamento tiver esses recursos ativados, você deverá desativá-los antes de executar a atualização. Se quiser continuar a usar os recursos após a conclusão da atualização, reative-os.

Em alguns casos, você terá que dar tempo para operações de limpeza depois que um recurso for desativado antes da atualização. Um exemplo é o recurso de exclusão suave de blob. Você deve desativar a exclusão suave de blob e, em seguida, permitir que todos os blobs de exclusão suave expirem antes de poder atualizar a conta.

Importante

Não é possível atualizar uma conta de armazenamento para o Armazenamento Data Lake que já tenha tido o recurso de feed de alterações habilitado. Simplesmente desativar o feed de alterações não permitirá que você execute uma atualização. Em vez disso, você deve criar uma conta com o recurso de namespace hierárquico habilitado nela e mover e transferir seus dados para essa conta.

Remover blobs de página da conta de armazenamento

Não é possível atualizar uma conta de armazenamento que contenha blobs de página. Certifique-se de remover blobs de página da conta de armazenamento antes de executar a atualização.

Verifique se os segmentos de cada caminho de blob estão nomeados

O processo de migração cria um diretório para cada segmento de caminho de um blob. Os diretórios do Armazenamento Data Lake devem ter um nome, portanto, para que a migração seja bem-sucedida, cada segmento de caminho em um diretório virtual deve ter um nome. O mesmo requisito é verdadeiro para segmentos que são nomeados apenas com um caractere de espaço. Se quaisquer segmentos de caminho não tiverem nome (//) ou forem nomeados apenas com um caractere de espaço (_), antes de prosseguir com a migração, você deverá copiar esses blobs para um novo caminho compatível com esses requisitos de nomenclatura.

Impedir a atividade de gravação na conta de armazenamento

A atualização pode falhar se um aplicativo gravar na conta de armazenamento durante a atualização. Para evitar essa atividade de gravação:

1. Desative todos os aplicativos ou serviços que possam executar operações de gravação.

2. Liberar ou quebrar locações existentes em contêineres e blobs na conta de armazenamento.

Após a conclusão da atualização, interrompa as concessões criadas para continuar permitindo acesso de gravação aos contêineres e blobs.

Aviso

Interromper uma concessão ativa sem desabilitar normalmente aplicativos ou máquinas virtuais que estão acessando esses recursos no momento pode ter resultados inesperados. Certifique-se de desativar todas as atividades de gravação atuais antes de quebrar qualquer locação atual.

Executar a atualização

Portal

1. Entre no portal do Azure para começar.

2. Localize sua conta de armazenamento e exiba a visão geral da conta.

3. Selecione Migração do Data Lake Gen2.

   A página de configuração Atualizar para uma conta de armazenamento com os recursos do Azure Data Lake Gen2 é exibida.

   

4. Expanda a seção Etapa 1: revisar as alterações da conta antes de atualizar e clique em Revisar e concordar com as alterações.

5. Na página Rever alterações na conta, selecione a caixa de verificação e, em seguida, clique em Concordar com alterações.

6. Expanda a seção Etapa 2: Validar conta antes de atualizar e clique em Iniciar validação.

   Se a validação falhar, um erro aparecerá na página. Em alguns casos, um link Exibir erros é exibido. Se esse link aparecer, selecione-o.

   

   Em seguida, no menu de contexto do arquivo error.json , selecione Download.

   

   Abra o arquivo baixado para determinar por que a conta não passou na etapa de validação. O JSON a seguir indica que um recurso incompatível está habilitado na conta. Nesse caso, você desativaria o recurso e, em seguida, iniciaria o processo de validação novamente.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. Depois que sua conta for validada com êxito, expanda a seção Etapa 3: Atualizar conta e clique em Iniciar atualização.

   Importante

   As operações de gravação são desativadas enquanto sua conta está sendo atualizada. As operações de leitura não estão desativadas, mas é altamente recomendável que você suspenda as operações de leitura, pois elas podem desestabilizar o processo de atualização.

   Quando a migração for concluída com êxito, será exibida uma mensagem semelhante à seguinte.

   

PowerShell

1. Abra uma janela de comando do Windows PowerShell.

2. Verifique se você tem o módulo mais recente do Azure PowerShell. Consulte Instalar o módulo do Azure PowerShell.

3. Inicie sessão na sua subscrição do Azure com o comando Connect-AzAccount e siga as instruções no ecrã.

   Connect-AzAccount
   

4. Se a sua identidade estiver associada a mais do que uma subscrição, defina a sua subscrição ativa.

   $context = Get-AzSubscription -SubscriptionId <subscription-id>
   Set-AzContext $context
   

   Substitua o valor do espaço reservado <subscription-id> pelo ID da sua assinatura.

5. Valide sua conta de armazenamento usando o seguinte comando.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
   

   • Substitua o <resource-group-name> valor do espaço reservado pelo nome do seu grupo de recursos.

   • Substitua o valor de espaço reservado <storage-account-name> pelo nome da sua conta de armazenamento.

   Dependendo do tamanho da sua conta, esse processo pode levar algum tempo. Você pode usar a asJob opção para executar o comando em um trabalho em segundo plano para que seu cliente não seja bloqueado. O comando é executado remotamente, mas o trabalho existe na máquina local ou na VM a partir da qual você executa o comando. Os resultados são transmitidos para a máquina local ou para a VM.

6. Para verificar o status do trabalho e exibir todas as propriedades do trabalho em uma lista, canalize a variável de retorno para o Format-List cmdlet.

   $result | Format-List -Property *
   

   Se a validação for bem-sucedida, a propriedade State será definida como Completed.

   Se a validação falhar, a propriedade State será definida como Failed e a propriedade Error mostrará erros de validação.

   A saída a seguir indica que um recurso incompatível está habilitado na conta. Nesse caso, você desativaria o recurso e, em seguida, iniciaria o processo de validação novamente.

   

   Em alguns casos, a propriedade Error fornece um caminho para um arquivo chamado error.json. Você pode abrir esse arquivo para determinar por que a conta não passou na etapa de validação.

   O JSON a seguir indica que um recurso incompatível está habilitado na conta. Nesse caso, você desativaria o recurso e, em seguida, iniciaria o processo de validação novamente.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. Depois que sua conta for validada com êxito, inicie a atualização executando o seguinte comando.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
   

   Como o exemplo de validação acima, este exemplo usa a asJob opção para executar o comando em um trabalho em segundo plano. O Force switch substitui os prompts para confirmar a atualização. Se você não usar o AsJob switch, você não precisa usar o Force switch porque você pode apenas responder aos prompts.

   Importante

   As operações de gravação são desativadas enquanto sua conta está sendo atualizada. As operações de leitura não estão desativadas, mas é altamente recomendável que você suspenda as operações de leitura, pois elas podem desestabilizar o processo de atualização.

   Para verificar o status do trabalho, use as mesmas técnicas descritas nas etapas anteriores. À medida que o processo é executado, a propriedade State será definida como Running.

   Quando a migração for concluída com êxito, a propriedade State será definida como Completed e a propriedade Error não mostrará erros.

   

   Importante

   Uma estimativa aproximada do tempo de atualização seria de aproximadamente 5-10 minutos por 2 milhões de blobs. Por exemplo, se a conta tiver 10 milhões de blobs, a atualização levará aproximadamente de 25 a 50 minutos. Contas que contêm menos de 2 milhões de blobs normalmente são atualizadas em menos de 10 minutos.

CLI do Azure

1. Primeiro, abra o Azure Cloud Shell ou, se você tiver instalado a CLI do Azure localmente, abra um aplicativo de console de comando, como o Windows PowerShell.

2. Verifique se a versão da CLI do Azure instalada é 2.29.0 ou superior usando o comando a seguir.

    az --version
   

   Se a sua versão da CLI do Azure for inferior a 2.29.0, instale a versão mais recente. Para obter mais informações, consulte Instalar a CLI do Azure.

3. Se a sua identidade estiver associada a mais do que uma subscrição, defina a sua subscrição ativa.

      az account set --subscription <subscription-id>
   

   Substitua o valor do espaço reservado <subscription-id> pelo ID da sua assinatura.

4. Valide sua conta de armazenamento usando o seguinte comando.

   az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
   

   • Substitua o <resource-group-name> valor do espaço reservado pelo nome do seu grupo de recursos.

   • Substitua o valor de espaço reservado <storage-account-name> pelo nome da sua conta de armazenamento.

   Se a validação for bem-sucedida, o processo será concluído e nenhum erro aparecerá.

   Se a validação falhar, um erro de validação aparecerá no console. Por exemplo, o erro (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled indica que um recurso incompatível (Controle de versão) está habilitado na conta. Nesse caso, você desativaria o recurso e, em seguida, iniciaria o processo de validação novamente.

   Em alguns casos, o caminho para um arquivo chamado error.json aparece no console. Você pode abrir esse arquivo para determinar por que a conta não passou na etapa de validação.

   O JSON a seguir indica que um recurso incompatível está habilitado na conta. Nesse caso, você desativaria o recurso e, em seguida, iniciaria o processo de validação novamente.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

5. Depois que sua conta for validada com êxito, inicie a atualização executando o seguinte comando.

   az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
   

   Importante

   As operações de gravação são desativadas enquanto sua conta está sendo atualizada. As operações de leitura não estão desativadas, mas é altamente recomendável que você suspenda as operações de leitura, pois elas podem desestabilizar o processo de atualização.

   Se a migração for bem-sucedida, o processo será concluído e nenhum erro aparecerá.

Parar a atualização

Você pode interromper a migração antes que ela seja concluída.

Portal

Para interromper a atualização antes que ela seja concluída, selecione Cancelar atualização enquanto a atualização estiver em andamento.

PowerShell

Para interromper a atualização antes que ela seja concluída, use o Stop-AzStorageAccountHierarchicalNamespaceUpgrade comando.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

CLI do Azure

Para interromper a atualização antes que ela seja concluída, use o az storage account hns-migration stop comando.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Migrar dados, cargas de trabalho e aplicativos

1. Configure serviços em suas cargas de trabalho para apontar para o ponto de extremidade do serviço Blob ou para o ponto de extremidade de armazenamento do Data Lake.

   

2. Para cargas de trabalho Hadoop que usam o driver de Blob de Armazenamento do Windows Azure ou o driver WASB, certifique-se de modificá-las para usar o driver do Sistema de Arquivos de Blob do Azure (ABFS). Ao contrário do driver WASB que faz solicitações para o ponto de extremidade do serviço Blob, o driver ABFS fará solicitações para o ponto de extremidade do Armazenamento Data Lake da sua conta.

3. Teste aplicativos personalizados para garantir que eles funcionem conforme o esperado com sua conta atualizada.

   O acesso multiprotocolo no Data Lake Storage permite que a maioria dos aplicativos continue usando APIs de Blob sem modificações. Se você encontrar problemas ou quiser usar APIs para trabalhar com operações de diretório e ACLs, considere mover parte do seu código para usar APIs de armazenamento Data Lake. Consulte os guias para .NET, Java, Python, Node.js e REST.

4. Teste todos os scripts personalizados para garantir que eles funcionem conforme o esperado com sua conta atualizada.

   Como é o caso das APIs de Blob, muitos dos seus scripts provavelmente funcionarão sem exigir que você os modifique. No entanto, se necessário, você pode atualizar arquivos de script para usar cmdlets do PowerShell do Armazenamento Data Lake e comandos da CLI do Azure.

Consulte também

Introdução ao armazenamento do Azure Data Lake