Migrar dados do Google Cloud Storage para Armazenamento de Blobs do Azure com Armazenamento do Azure Mover

O recurso de migração de origem S3 (Simple Storage Service) no Armazenamento do Azure Mover transfere com segurança dados de repositórios de objetos do GCS (Google Cloud Storage) compatíveis com S3 para Armazenamento de Blobs do Azure.

Ao contrário das migrações do AWS S3 (Amazon Simple Storage Services) que usam Azure Arc conectores multinuvem, as migrações de origem compatíveis com S3 usam uma abordagem simplificada. Ao armazenar com segurança a URL do ponto de extremidade de origem e as credenciais HMAC (Código de Autenticação de Mensagens Baseado em Hash) no Azure Key Vault, você não precisa de um conector multinuvem nem de descoberta automatizada da origem.

Este artigo orienta você pelo processo completo de configuração do Storage Mover para migrar seus dados de uma fonte compatível com GCS S3 para Armazenamento de Blobs do Azure. O processo consiste em armazenar credenciais de origem em Azure Key Vault, configurar pontos de extremidade de origem e de destino e criar e executar um trabalho de migração.

Pré-requisitos

Antes de começar, verifique se você tem:

  • Uma assinatura ativa do Azure com permissões para criar e gerenciar recursos do Armazenamento do Azure Mover.
  • Uma conta do Google Cloud com acesso ao bucket do GCS do qual você deseja migrar.
  • Uma conta Armazenamento do Azure a ser usada como destino.
  • Um recurso do Storage Mover implantado na sua assinatura do Azure.
  • Um Azure Key Vault para armazenar com segurança suas credenciais HMAC de origem.
  • Chaves HMAC geradas para o bucket do GCS. Consulte como gerar chaves HMAC para o GCS.
  • Uma configuração de conexão privada no Azure, se os dados de origem estiverem acessíveis somente por meio de uma rede privada.

Limits

O recurso de migração de origem GCS compatível com S3 no Armazenamento do Azure Mover tem os seguintes limites:

  • Cada trabalho de migração dá suporte à transferência de 500 milhões de objetos.
  • No máximo, 10 tarefas simultâneas são suportadas para cada assinatura. Se você precisar executar mais de 10, crie uma solicitação de suporte.
  • Há suporte apenas para acesso HTTPS à fonte compatível com S3.
  • A origem compatível com S3 deve dar suporte à autenticação de estilo SigV4 (AWS Signature Version 4).

O que você deve saber...

Antes de iniciar a migração, examine as seguintes considerações específicas para migrações de origem compatíveis com o GCS S3:

Método de autenticação

O acesso compatível com GCS S3 usa chaves HMAC (ID da Chave de Acesso e Chave Secreta) associadas a uma conta de serviço ou conta de usuário do GCS. Essas chaves permitem que o GCS responda às solicitações de API S3 padrão usando o processo de autenticação de Assinatura da AWS Versão 4.

Gerar chaves HMAC para GCS

Para acessar o bucket do GCS usando a interface compatível com S3, você precisa gerar chaves HMAC no Console do Google Cloud.

  1. Navegue até o Console do Google Cloud.

  2. Vá para Armazenamento em nuvem>Configurações>Interoperabilidade.

  3. Caso ainda não tenha feito isso, selecione Definir um projeto padrão para acesso de interoperabilidade.

  4. Na seção Chaves do Access para contas de serviço , selecione a conta de serviço que você deseja usar e selecione Criar uma chave.

  5. Observe os valores da Chave de Acesso e da Chave Secreta . Você precisa desses valores na próxima etapa.

    Importante

    Armazene essas chaves com segurança. A Chave Secreta é mostrada apenas uma vez. A chave só fica visível durante a criação inicial e não pode ser recuperada posteriormente.

  6. Verifique se as credenciais de HMAC têm um período mínimo de validade de uma semana para garantir a conclusão do trabalho e a segurança ideal.

Armazenar credenciais de origem no Azure Key Vault

Depois de gerar chaves HMAC para seu bucket do GCS, armazene-as como segredos no Azure Key Vault para que o serviço Storage Mover possa acessá-las com segurança.

  1. Usando o portal Azure, navegue até o Azure Key Vault que reside na mesma assinatura que o recurso do Storage Mover.

  2. Na navegação à esquerda, expanda o menu Objetos e selecione Segredos. Em seguida, selecione Gerar/Importar.

    Captura de tela destacando a localização do item de menu Segredos do Key Vault no menu de navegação à esquerda.

    Captura de tela realçando o local do item de menu Gerar Segredos do Key Vault.

  3. Crie um segredo para a Chave de Acesso:

    • Nome: fornecer um nome significativo (por exemplo, gcs-access-key).
    • Valor do segredo: cole o valor da Chave de Acesso HMAC da seção anterior.
    • Selecione Criar.

    Captura de tela exibindo os campos relevantes para o Key Vault janela

  4. Crie um segundo segredo para a Chave Secreta:

    • Nome: fornecer um nome significativo (por exemplo, gcs-secret-key).
    • Valor do segredo: cole o valor da Chave Secreta HMAC da seção anterior.
    • Selecione Criar.

    Captura de tela exibindo os campos relevantes para o Key Vault janela 'Criar um segredo' para salvar sua chave secreta.

  5. Observe o URI completo do Identificador de Segredo para cada segredo. Você precisa desses identificadores ao criar o ponto de extremidade de origem.

Note

Para garantir a segurança ideal, recomendamos desabilitar o acesso público no Key Vault que contém segredos HMAC e adicionar o Storage Mover como um serviço confiável.

Para obter mais informações, consulte Definir e recuperar um segredo no Key Vault usando o portal do Azure.

Configurar endpoints de origem e de destino

Depois de armazenar suas credenciais de HMAC em seu Azure Key Vault, a próxima etapa é criar os pontos de extremidade de origem e de destino da migração.

No contexto do serviço Armazenamento do Azure Mover, um endpoint é um recurso que contém o caminho para um local de origem ou de destino e outras informações relevantes. As definições de trabalho do Storage Mover usam endpoints para definir os locais de origem e destino para operações de cópia.

Configurar um ponto de extremidade de origem compatível com GCS S3

Os endpoints de origem identificam locais de onde seus dados são migrados. Os pontos de extremidade de origem são usados para definir a origem dos dados especificados em seu projeto de migração.

As etapas seguintes descrevem o processo de criação de um endpoint de origem.

  1. Navegue até sua instância do Mover Storage no Azure portal.

  2. No grupo de gerenciamento de recursos na navegação à esquerda, selecione Pontos de extremidade de armazenamento. Selecione a guia Pontos de extremidade de origem e, em seguida, selecione Criar ponto de extremidade para abrir o painel Criar ponto de extremidade de origem.

  3. No painel Criar ponto de extremidade de origem :

    • Selecione a migração multinuvem como o tipo migração.
    • Selecione o Armazenamento de Objetos do GCS– S3 como o tipo de origem.
    • URL de origem: insira a URL HTTPS completa no bucket do GCS no formato compatível com S3. Use o formato: https://storage.googleapis.com/<bucket-name>/ ou https://storage.googleapis.com/<bucket-name>/<prefix>/ para migrar apenas um subconjunto de objetos.
    • Acesso do URI secreto do Key Vault: insira o URI completo do segredo que contém sua chave de acesso HMAC
    • URI secreto do Key Vault secreto: insira o URI completo do segredo que contém sua chave secreta HMAC
    • Opcionalmente, forneça uma Descrição para o ponto de extremidade.

  4. Verifique se suas seleções estão corretas e selecione Criar para criar o ponto de extremidade.

    Captura de tela exibindo os campos relevantes da janela 'Criar endpoint de origem' do Storage Mover.

    Note

    Quando o ponto de extremidade de origem é criado, uma identidade gerenciada atribuída pelo sistema é provisionada automaticamente. Essa identidade requer acesso à função RBAC (Key Vault Secrets User Role-Based Controle de Acesso) em seu Azure Key Vault para recuperar as credenciais do HMAC durante a migração. O portal tenta atribuir essa função automaticamente. Se a atribuição falhar devido a permissões insuficientes, atribua-as manualmente ou contate o administrador do Azure para conceder a função manualmente.

Configurar um ponto de extremidade de destino do Armazenamento de Blobs do Azure

  1. No grupo de gerenciamento de recursos na navegação à esquerda, selecione Pontos de extremidade de armazenamento. Selecione a guia Pontos de extremidade de destino e, em seguida, selecione Adicionar ponto de extremidade para abrir o painel Criar ponto de extremidade de destino .

  2. No painel Criar ponto de extremidade de destino :

    • Selecione sua Conta de Assinatura e Armazenamento nas respectivas listas suspensas.
    • Selecione o Contêiner de Blob no campo Tipo de Destino.
    • Escolha, na lista suspensa, o Contêiner de Blob para o qual você deseja migrar.
    • Opcionalmente, forneça uma Descrição para o ponto de extremidade.

  3. Verifique se suas seleções estão corretas e selecione Criar para criar o ponto de extremidade.

Atribuir funções de RBAC

Quando você cria pontos de extremidade por meio do portal do Azure, as funções RBAC necessárias são atribuídas automaticamente às identidades gerenciadas atribuídas pelo sistema:

Endpoint Função Recurso de destino
Endpoint de origem Usuário de segredos do Key Vault Seu Azure Key Vault
Endpoint de destino Colaborador de Dados do Storage Blob Seu contêiner de blobs do Azure

Se a atribuição automática falhar (por exemplo, devido a permissões insuficientes), você deverá atribuir manualmente essas funções ou entrar em contato com o administrador do Azure.

Criar um projeto de migração e uma definição de trabalho

Depois de definir pontos de extremidade de origem e de destino para sua migração, as próximas etapas são criar um projeto de migração do Storage Mover e uma definição de tarefa.

Um projeto de migração permite organizar migrações grandes em unidades menores e mais gerenciáveis. Uma definição de trabalho descreve recursos e opções de migração para um conjunto específico de operações de cópia. Esses recursos incluem, por exemplo, os pontos de extremidade de origem e de destino e as configurações de migração que você deseja aplicar.

Siga as etapas nesta seção para criar um projeto de migração e executar um trabalho de migração.

Criar um projeto

  1. Navegue até a seção Projetos em Plano + execute migrações na instância do Storage Mover e selecione Criar projeto na guia Projetos .

  2. Forneça valores para os seguintes campos:

    • Nome: um nome significativo para o projeto de migração.
    • Descrição do projeto: uma descrição útil para o projeto.

  3. Selecione Criar para criar o projeto.

    Captura de tela exibindo os campos relevantes da janela 'Create project' do Storage Mover.

Criar uma definição de trabalho

Selecione o projeto depois que ele aparecer e, em seguida, selecione Criar um trabalho. O assistente de criação de trabalho tem quatro guias: Noções básicas, Agendamento, Configurações e Revisão.

Aba Básico

  1. Forneça valores para os seguintes campos:

    Campo Value
    Tipo de migração Selecionar migração multinuvem
    Tipo de Origem Selecionar Armazenamento de Objetos do GCS – S3 (versão prévia)
    Tipo de bucket S3 Selecionar Público ou Privado (Versão Prévia)
    Nome Um nome significativo para o trabalho
    Description (Opcional) Uma descrição para o trabalho (máximo de 1.024 caracteres)

    Captura de tela exibindo os campos relevantes para a guia Básicos da janela 'Criar projeto' do Storage Mover.

  2. Na seção Origem:

    • Ponto de extremidade de origem: selecione Adicionar ponto de extremidade de origem para criar um novo ponto de extremidade ou selecione um ponto de extremidade de origem compatível com GCS S3 existente.
    • Subcaminho de origem: (opcional) especifique um caminho de subpasta para migrar apenas uma parte do bucket. Se deixado vazio, o trabalho será iniciado a partir da raiz do bucket.
    • Verifique se o caminho completo mostrado está correto.

  3. Na seção Destino :

    • Ponto de extremidade de destino: selecione Adicionar ponto de extremidade de destino para criar um novo ponto de extremidade ou selecione um ponto de extremidade de destino Armazenamento de Blobs do Azure existente.
    • Sub-caminho de destino: (Opcional) Especifique uma subpasta de destino. Se deixado vazio, todo o conteúdo será migrado para a raiz do contêiner. Um subcaminho exclusivo cria uma nova subpasta.

    Captura de tela exibindo os campos relevantes da janela 'Criar projeto' do Storage Mover na guia Noções básicas.

  4. Se você selecionou Private para o tipo de bucket S3, uma seção de conexões privadas será exibida:

    • Selecione Adicionar para associar conexões privadas aprovadas a este trabalho.
    • Somente conexões no estado Aprovado podem ser adicionadas.
    • Você pode associar várias conexões privadas ao balanceamento de carga.

    Note

    Buckets privados exigem conexões privadas. Você deve ter pelo menos uma conexão privada aprovada antes de iniciar um trabalho do tipo bucket privado. Consulte Conectividade de rede privada para GCS para ver as etapas de configuração.

  5. Selecione Avançar para continuar.

Guia Agenda

Escolha quando quiser que a migração seja executada:

Opção Descrição
Sem agendamento Iniciar a migração manualmente
Agendamento único Executar a migração uma vez em um momento específico
Agendamento recorrente Executar a migração em uma programação diária, semanal ou mensal

Importante

O agendamento não está disponível no momento para o tipo de origem GCS Object Storage - S3. Trabalhos só podem ser executados manualmente. Selecione Não agendar e selecione Avançar para continuar.

Aba de Configurações

  1. Selecione o modo de cópia desejado na lista suspensa:

    Modo de cópia Behavior
    Mesclar conteúdo no destino Os arquivos são mantidos no destino mesmo que não existam na origem. Os arquivos com nomes e caminhos correspondentes são atualizados para corresponderem à origem. As renomeações de pasta entre cópias podem levar a conteúdo duplicado no destino.
    Espelhar origem no destino Torna o destino uma réplica exata da origem. Os objetos excluídos da origem também são excluídos do destino.

  2. Examine a seção Resultados da Migração para entender como seus dados são mapeados:

    Resultado Descrição
    Estrutura de diretório O destino oferece suporte a pastas "virtuais". Os arquivos têm o caminho de origem prefixado ao nome e são colocados em uma lista plana. As pastas vazias são representadas como um blob vazio com metadados de pasta preservados em metadados personalizados.
    Criar registro de data e hora Preservados como metadados de blob personalizados. O timestamp nativo do blob indica o momento em que o arquivo foi migrado.
    Alterar data e hora Preservados como metadados de blob personalizados. Não existe um carimbo de data/hora nativo do blob desse tipo.
    Data/hora de modificação Preservados como metadados de blob personalizados. O timestamp nativo do blob indica o momento em que o arquivo foi migrado.
    Carimbo de data/hora acessado pela última vez São preservados como metadados personalizados de blob se existirem na fonte. Nenhum carimbo de data/hora nativo do blob desse tipo.
    Outros metadados Persistido em metadados personalizados no blob de destino. Somente 4 KiB de metadados podem ser armazenados. Metadados maiores que 4 KiB não são migrados.
    Protocolo de migração na nuvem API REST de Blob

  3. Selecione Avançar para continuar.

Guia Revisão

Examine o resumo da configuração:

  • Noções básicas: nome do trabalho, tipo de migração
  • Fonte: Tipo de origem, URL de origem com nome de bucket, GCS (nome da nuvem), subcaminho de origem
  • Destino: conta de armazenamento, contêiner de blob Azure, subcaminho de destino
  • Agendamento: Frequência de migração
  • Configurações: modo de cópia

Se todas as configurações estiverem corretas, selecione Criar para implantar o trabalho. Selecione Anterior para fazer alterações.

Executar um trabalho de migração

Iniciar um trabalho

portal do Azure

  1. Navegue até a guia Projetos . Seu trabalho recém-criado aparece na lista em seu projeto.
  2. Selecione sua definição de trabalho para exibir seus detalhes na guia Propriedades .
  3. Selecione o botão Iniciar trabalho .
  4. No painel Iniciar trabalho , confirme os detalhes do trabalho e selecione Iniciar para iniciar a migração.

O trabalho é executado em segundo plano. Você pode monitorar seu progresso na guia Visão geral da Migração .

Monitorar o progresso da migração

Ao usar o Storage Mover para migrar seus dados, você deve monitorar as operações de cópia para possíveis problemas. Os dados relacionados às operações que estão sendo executadas durante a migração são exibidos na guia Visão geral da Migração . Esses dados permitem que você acompanhe o progresso da migração fornecendo informações de status e chave atuais, como progresso, velocidade e tempo de conclusão estimado.

Quando configurado, o Armazenamento do Azure Mover também fornece logs de cópia e logs de execução do trabalho. Esses logs permitem rastrear o resultado da migração de execuções de trabalho e de arquivos individuais.

  1. Navegue até a aba Trabalhos de Migração.
  2. Selecione seu trabalho para exibir o progresso, a velocidade e o tempo de conclusão estimado.
  3. Selecione Logs para verificar se há erros ou avisos.
  4. Após a conclusão da migração, verifique os dados no Armazenamento de Blobs do Azure.

Para saber mais sobre os logs de cópia e de execução de trabalho do Storage Mover, consulte o artigo Como habilitar os logs de cópia e de execução de trabalho do Armazenamento do Azure Mover.

Validação pós-migração

A validação de dados pós-migração garante que seus dados sejam precisos e que a transferência do GCS para o Armazenamento de Blobs do Azure esteja concluída. Esse processo de validação verifica a integridade dos dados comparando dados migrados com os mesmos dados da origem.

Siga estas etapas para concluir a validação manual e limpar recursos GCS não utilizados:

  1. Comparar origem e destino: verifique se todos os objetos esperados são transferidos comparando contagens de objetos e o tamanho total dos dados entre o bucket do GCS e o contêiner de Blob Azure.
  2. Verifique por amostragem a integridade dos dados: baixe uma amostra representativa de objetos da origem e do destino e compare as somas de verificação.
  3. Habilitar a sincronização incremental (se necessário): Se você precisar manter o bucket do GCS e o contêiner de Blob do Azure sincronizados ao longo do tempo, agende execuções recorrentes do trabalho.
  4. Origem do descomissionamento: exclua o bucket do GCS e as chaves HMAC após a migração ser totalmente concluída e verificada. Remova os segredos correspondentes de Azure Key Vault quando não for mais necessário.

Solução de problemas e suporte

Se você encontrar problemas durante a migração, comece a solucionar problemas seguindo as etapas a seguir.

Issue Resolução
O trabalho de migração falhou Verifique os registros de cópia e de trabalho para obter mensagens de erro detalhadas. As causas comuns incluem credenciais inválidas ou problemas de conectividade de rede.
Erro de autenticação Verifique se a Chave de Acesso HMAC e a Chave Secreta armazenadas em Azure Key Vault estão corretas e não expiraram. Verifique se a identidade gerenciada do ponto de extremidade de origem tem acesso de Usuário de Segredos do Key Vault ao seu Key Vault.
Erro de permissão no destino Verifique se a identidade gerenciada do ponto de extremidade de destino tem a função Colaborador de Dados do Blob de Armazenamento no contêiner de blobs de destino.
A transferência de dados está lenta Verifique se a largura de banda da rede é suficiente. O GCS pode implementar limites de taxa para solicitações de API compatíveis com S3. Considere reduzir o número de trabalhos simultâneos se ocorrer limitação.
Objetos ausentes após a sincronização Devido à granularidade de segundo nível do carimbo de data/hora do GCS, os objetos modificados no mesmo segundo da última sincronização podem não ser detectados até a próxima execução do trabalho. Aguarde e execute uma sincronização suplementar.
Objetos inesperados no destino Os objetos de espaço reservado do diretório do GCS (objetos de byte zero que terminam em /) são ignorados automaticamente e não devem aparecer no destino. Se houver objetos inesperados, examine os logs de cópia para obter detalhes.
URL de origem rejeitada Verifique se a URL de origem usa HTTPS, não contém parâmetros de consulta, fragmentos ou endereços IP e aponta para um nome de domínio totalmente qualificado válido.

Se você não conseguir resolver o problema, crie uma solicitação Suporte do Azure.

Conteúdo relacionado

Os artigos a seguir podem ajudá-lo a conhecer melhor o serviço Storage Mover:

  • Last updated on