Atualizar o Armazenamento de Blobs do Azure com os recursos do Azure Data Lake Storage Gen2

Este artigo ajuda você a habilitar um namespace hierárquico e desbloquear recursos como segurança no nível de arquivo e de diretório e operações mais rápidas. Esses recursos são amplamente utilizados por cargas de trabalho de análise de Big Data e são chamados coletivamente de Azure Data Lake Storage Gen2.

Para saber mais sobre esses recursos e avaliar o impacto dessa atualização nas cargas de trabalho, aplicativos, custos, integrações de serviço, ferramentas, recursos e documentação, consulte Atualizar o Armazenamento de Blobs do Azure com recursos do Azure Data Lake Storage Gen2.

Importante

A atualização é unidirecional. Não há como reverter sua conta depois de fazer a atualização. Recomendamos que você valide a atualização em um ambiente de não produção.

Prepare-se para atualizar

Para se preparar para atualizar sua conta de armazenamento para Data Lake Storage Gen2:

• Revisar suporte do recurso
• Verifique se os segmentos de cada caminho de blob são nomeados
• Impedir a atividade de gravação na conta de armazenamento

Revisar suporte do recurso

Sua conta de armazenamento pode estar configurada para usar recursos que ainda não têm suporte em contas habilitadas para Data Lake Storage Gen2. Se a conta estiver usando esses recursos, a atualização não passará na etapa de validação. Revise o artigo Suporte ao recurso de Armazenamento de Blobs em contas do Armazenamento do Azure para identificar os recurso sem suporte. Se você estiver usando qualquer um desses recursos em sua conta, desabilite-os antes de iniciar a atualização.

Os seguintes recursos têm suporte para contas Data Lake Storage Gen2, mas não têm suporte no processo de atualização:

• Instantâneos de blobs
• Escopos de criptografia
• Armazenamento imutável
• Controle de tempo do último acesso para o gerenciamento do ciclo de vida
• Exclusão reversível para blobs
• Exclusão reversível para contêineres

Se sua conta de armazenamento tiver esses recursos habilitados, você deverá desabilitá-los antes de executar a atualização. Se você quiser continuar usando os recursos após a conclusão da atualização, habilite-os novamente.

Em alguns casos, você terá que dar tempo para operações de limpeza depois que um recurso for desabilitado antes da atualização. Um exemplo é o recurso de exclusão temporária de blob. Desabilite a exclusão temporária de blob e permita que todos os blobs de exclusão temporária expirem antes de atualizar a conta.

Importante

Não é possível atualizar uma conta de armazenamento para Data Lake Storage Gen2 que já teve o recurso de feed de alterações habilitado. Simplesmente desabilitar o feed de alterações não permitirá que você execute uma atualização. Em vez disso, você deve criar uma conta com o recurso de namespace hierárquico habilitado e, em seguida, mover e transferir seus dados para essa conta.

Verifique se os segmentos de cada caminho de blob são nomeados

O processo de migração cria um diretório para cada segmento de caminho de um blob. Os diretórios do Data Lake Storage Gen2 devem ter um nome para que a migração seja bem-sucedida, cada segmento de caminho em um diretório virtual deve ter um nome. O mesmo requisito é verdadeiro para segmentos que são nomeados apenas com um caractere de espaço. Se os segmentos de caminho não tiverem nome (//) ou nomeados apenas com um caractere de espaço (_), antes de prosseguir com a migração, você deverá copiar esses blobs para um novo caminho compatível com esses requisitos de nomenclatura.

Impedir a atividade de gravação na conta de armazenamento

A atualização poderá falhar se um aplicativo gravar na conta de armazenamento durante a atualização. Para evitar essa atividade de gravação:

1. Verifique todos os aplicativos ou serviços que possam executar operações de gravação.

2. Libere ou interrompa as concessões existentes em contêineres e blobs na conta de armazenamento.

Depois que a atualização for concluída, interrompa as concessões criadas para retomar, permitindo o acesso de gravação aos contêineres e blobs.

Aviso

Interromper uma concessão ativa sem desabilitar normalmente aplicativos ou máquinas virtuais que estão acessando esses recursos no momento pode ter resultados inesperados. Certifique-se de confirmar as atividades de gravação atuais antes de interromper as concessões atuais.

Realizar a atualização

Portal

1. Entre no portal do Azure para começar.

2. Localize sua conta de armazenamento e exiba a visão geral dela.

3. Selecione Migração do Data Lake Gen2.

   A página de configuração Atualizar para uma conta de armazenamento com funcionalidades do Azure Data Lake Gen2 aparecerá.

   

4. Expanda a seção Etapa 1: Revisar alterações de conta antes de atualizar e clique em Revisar e concordar com as alterações.

5. Na página Revisar alterações de conta, marque a caixa de seleção e clique em Concordar com as alterações.

6. Expanda a seção Etapa 2: Validar conta antes de atualizar e clique em Iniciar validação.

   Se a validação falhar, um erro aparecerá na página. Em alguns casos, aparece um link Exibir erros. Se esse link for exibido, selecione-o.

   

   Em seguida, no menu de contexto do arquivo error.json, selecione Baixar.

   

   Abra o arquivo baixado para determinar por que a conta não passou na etapa de validação. O JSON a seguir indica que um recurso incompatível está habilitado na conta. Nesse caso, você desabilitaria o recurso e iniciaria o processo de validação novamente.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. Depois que sua conta tiver sido validada com êxito, expanda a seção Etapa 3: Atualizar conta e clique em Iniciar atualização.

   Importante

   As operações de gravação são desabilitadas enquanto sua conta está sendo atualizada. As operações de leitura não estão desabilitadas, mas é altamente recomendável suspendê-las, pois elas podem desestabilizar o processo de atualização.

   Quando a migração for concluída com êxito, uma mensagem semelhante à seguinte será exibida.

   

PowerShell

1. Abra uma janela de comando do Windows PowerShell.

2. Certifique-se de que você tenha o Azure PowerShell mais recente instalado. Consulte Instalar o módulo do Azure PowerShell.

3. Entre na sua assinatura do Azure com o comando Connect-AzAccount e siga as instruções na tela.

   Connect-AzAccount
   

4. Se sua identidade estiver associada a mais de uma assinatura, defina a assinatura como ativa.

   $context = Get-AzSubscription -SubscriptionId <subscription-id>
   Set-AzContext $context
   

   Substitua o valor de espaço reservado <subscription-id> pela ID da sua assinatura.

5. Valide a conta de armazenamento usando o comando a seguir.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
   

   • Substitua o valor do espaço reservado <resource-group-name> pelo nome do grupo de recursos.

   • Substitua o valor de espaço reservado <storage-account-name> pelo nome da sua conta de armazenamento.

   Dependendo do tamanho da conta, esse processo pode levar algum tempo. Você pode usar a opção asJob para executar o comando em um trabalho em segundo plano para que o cliente não seja bloqueado. O comando é executado remotamente, mas o trabalho existe no computador local ou na VM da qual você executa o comando. Os resultados são transmitidos para o computador local ou para a VM.

6. Para verificar o status do trabalho e exibir todas as propriedades do trabalho em uma lista, redirecione a variável de retorno para o cmdlet Format-List.

   $result | Format-List -Property *
   

   Se a validação for realizada com sucesso, a propriedade State será definida como Concluída.

   Se a validação falhar, a propriedade State será definida como Falhou e a propriedade Error mostrará erros de validação.

   A saída a seguir indica que um recurso incompatível está habilitado na conta. Nesse caso, você desabilitaria o recurso e iniciaria o processo de validação novamente.

   

   Em alguns casos, a propriedade Error fornece um caminho para um arquivo chamado error.json. Você pode abrir o arquivo para determinar por que a conta não passou na etapa de validação.

   O JSON a seguir indica que um recurso incompatível está habilitado na conta. Nesse caso, você desabilitaria o recurso e iniciaria o processo de validação novamente.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. Depois que a conta for validada com êxito, inicie a atualização executando o comando a seguir.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
   

   Como o exemplo de validação acima, este exemplo usa a opção asJob para executar o comando em um trabalho em segundo plano. A opção Force substitui os prompts para confirmar a atualização. Se você não usar a opção AsJob, não precisará usar a opção Force porque pode simplesmente responder às solicitações.

   Importante

   As operações de gravação são desabilitadas enquanto sua conta está sendo atualizada. As operações de leitura não estão desabilitadas, mas é altamente recomendável suspendê-las, pois elas podem desestabilizar o processo de atualização.

   Para verificar o status do trabalho, use as mesmas técnicas descritas nas etapas anteriores. À medida que o processo é executado, a propriedade State será definida como Em execução.

   Quando a migração for concluída com êxito, a propriedade State será definida como Concluída e a propriedade Error não mostrará nenhum erro.

   

   Importante

   Uma estimativa aproximada do tempo de atualização seria de cerca de 5 a 10 minutos por 2 milhões de blobs. Por exemplo, se a conta tiver 10 milhões de blobs, a atualização levará aproximadamente de 25 a 50 minutos. As contas que contêm menos de 2 milhões de blobs normalmente são atualizadas em menos de 10 minutos.

CLI do Azure

1. Primeiro, abra o Azure Cloud Shellou, se você instalou a CLI do Azure localmente, abra um aplicativo de console de comando, como o Windows PowerShell.

2. Verifique se a versão da CLI do Azure que foi instalada é 2.29.0 ou superior usando o seguinte comando.

    az --version
   

   Se a versão da CLI do Azure for anterior a 2.29.0, instale uma versão mais recente. Para obter mais informações, consulte Instalar a CLI do Azure.

3. Se sua identidade estiver associada a mais de uma assinatura, defina a assinatura como ativa.

      az account set --subscription <subscription-id>
   

   Substitua o valor de espaço reservado <subscription-id> pela ID da sua assinatura.

4. Valide a conta de armazenamento usando o comando a seguir.

   az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
   

   • Substitua o valor do espaço reservado <resource-group-name> pelo nome do grupo de recursos.

   • Substitua o valor de espaço reservado <storage-account-name> pelo nome da sua conta de armazenamento.

   Se a validação for realizada com sucesso, o processo será concluído e não aparecerá erro.

   Se a validação falhar, um erro de validação aparecerá no console. Por exemplo, o erro (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled indica que um recurso incompatível (controle de versão) está habilitado na conta. Nesse caso, você desabilitaria o recurso e iniciaria o processo de validação novamente.

   Em alguns casos, o caminho para um arquivo chamado error.json aparece no console. Você pode abrir o arquivo para determinar por que a conta não passou na etapa de validação.

   O JSON a seguir indica que um recurso incompatível está habilitado na conta. Nesse caso, você desabilitaria o recurso e iniciaria o processo de validação novamente.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

5. Depois que a conta for validada com êxito, inicie a atualização executando o comando a seguir.

   az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
   

   Importante

   As operações de gravação são desabilitadas enquanto sua conta está sendo atualizada. As operações de leitura não estão desabilitadas, mas é altamente recomendável suspendê-las, pois elas podem desestabilizar o processo de atualização.

   Se a migração for realizada com sucesso, o processo será concluído e não haverá erros.

Parar a atualização

Você pode interromper a migração antes que ela seja concluída.

Portal

Para interromper a atualização antes da conclusão, selecione Cancelar atualização enquanto a atualização estiver em andamento.

PowerShell

Para interromper a atualização antes da conclusão, use o comando Stop-AzStorageAccountHierarchicalNamespaceUpgrade.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

CLI do Azure

Para interromper a atualização antes da conclusão, use o comando az storage account hns-migration stop.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Migrar dados, cargas de trabalho e aplicativos

1. Configure os serviços em suas cargas de trabalho para apontar para o ponto de extremidade do serviço Blob ou para o ponto de extremidade de Armazenamento do Data Lake.

   

2. Para as cargas de trabalho do Hadoop que usam o driver do Azure Storage Blob do Windows ou o driver do WASB, certifique-se de modificá-las para usar o driver do Azure Blob File System (ABFS). Ao contrário do driver do WASB, que faz solicitações para o ponto de extremidade do serviço Blob, o driver do ABFS fará solicitações para o ponto de extremidade do Data Lake Storage de sua conta.

3. Teste aplicativos personalizados para garantir que eles funcionem conforme o esperado com sua conta atualizada.

   O Acesso de vários protocolos no Data Lake Storage permite que a maioria dos aplicativos continue usando APIs de Blob sem modificação. Se você encontrar problemas ou se quiser usar APIs para trabalhar com operações de diretório e ACLs, considere mover parte do seu código para usar as APIs do Data Lake Storage Gen2. Consulte as diretrizes para .NET, Java, Python, Node.js e REST.

4. Teste qualquer script personalizado para garantir que eles funcionem conforme o esperado com sua conta atualizada.

   Como é o caso das APIs de BLOB, muitos de seus scripts provavelmente funcionarão sem precisar que você os modifique. No entanto, se necessário, é possível atualizar os arquivo de script para usar cmdlets do PowerShell do Data Lake Storage Gen2 e comandos da CLI do Azure.

Confira também

Introdução ao Azure Data Lake Storage Gen2