Migre data from Google Cloud Storage to Armazenamento de Blobs do Azure with Armazenamento do Azure Mover

A funcionalidade de migração de código-fonte S3 (Simple Storage Service) no Armazenamento do Azure Mover transfere de forma segura dados dos armazenamentos de objetos do Google Cloud Storage (GCS) compatíveis com S3 para o Armazenamento de Blobs do Azure.

Ao contrário das migrações AWS S3 (Amazon Simple Storage Services) que utilizam conectores multicloud Azure Arc, as migrações de código fonte compatíveis com S3 utilizam uma abordagem simplificada. Quando armazena o URL do endpoint de origem e as credenciais HMAC (Hash-based Message Authentication Code) de forma segura no Azure Key Vault, não precisa de um conector multicloud nem de descoberta automática de fonte.

Este artigo guia-o através do processo completo de configuração do Storage Mover para migrar os seus dados de uma fonte compatível com GCS S3 para o Armazenamento de Blobs do Azure. O processo consiste em armazenar as credenciais de origem no Azure Key Vault, configurar os endpoints de origem e destino, e criar e executar um trabalho de migração.

Pré-requisitos

Antes de começar, certifique-se de que tem:

  • Uma subscrição ativa do Azure com permissões para criar e gerir recursos do Armazenamento do Azure Mover.
  • Uma conta Google Cloud com acesso ao bucket GCS de onde queres migrar.
  • Uma conta do Armazenamento do Azure para usar como destino.
  • Um recurso do Storage Mover implementado na sua subscrição do Azure.
  • Um Azure Key Vault para armazenar de forma segura as suas credenciais HMAC de origem.
  • Chaves HMAC geradas para o seu bucket do GCS. Consulte Gerar chaves HMAC para GCS.
  • Uma ligação privada estabelecida no Azure, se os seus dados de origem forem acessíveis apenas através de uma rede privada.

Limits

A funcionalidade de migração de código-fonte GCS compatível com S3 no Armazenamento do Azure Mover tem os seguintes limites:

  • Cada trabalho de migração suporta a transferência de 500 milhões de objetos.
  • É suportado um máximo de 10 tarefas simultâneas por subscrição. Se precisares de gerir mais de 10, cria um pedido de suporte.
  • Apenas o acesso HTTPS à fonte compatível com S3 é suportado.
  • A fonte compatível com S3 deve suportar autenticação ao estilo AWS Signature Version 4 (SigV4).

Coisas a saber

Antes de iniciar a sua migração, reveja as seguintes considerações específicas para migrações de código-fonte compatíveis com GCS S3:

Método de autenticação

O acesso compatível com GCS S3 utiliza chaves HMAC (Access Key ID e Secret Key) associadas a uma conta de serviço GCS ou conta de utilizador. Estas chaves permitem que o GCS responda a pedidos padrão da API S3 utilizando o processo de autenticação AWS Signature Versão 4.

Gerar chaves HMAC para GCS

Para aceder ao seu bucket GCS usando a interface compatível com S3, precisa de gerar chaves HMAC na Google Cloud Console.

  1. Navegue até à Google Cloud Console.

  2. Aceda a Armazenamento na nuvem>Definições> ao separador Interoperabilidade.

  3. Se ainda não o fez, selecione Definir um projeto predefinido para acesso à interoperabilidade.

  4. Na secção de chaves de acesso para contas de serviço , selecione a conta de serviço que pretende usar e selecione Criar uma chave.

  5. Note os valores da Chave de Acesso e da Chave Secreta . Precisas destes valores no próximo passo.

    Importante

    Guarda estas chaves de forma segura. A Chave Secreta é mostrada apenas uma vez. A chave só é visível durante a criação inicial e não pode ser recuperada mais tarde.

  6. Garantir que as credenciais HMAC tenham um período mínimo de validade de uma semana para garantir a conclusão do trabalho e a segurança ideal.

Armazene as credenciais de origem no Azure Key Vault

Depois de gerares chaves HMAC para o teu bucket GCS, guarda-as como segredos no Azure Key Vault para acesso seguro pelo serviço Storage Mover.

  1. Usando o portal Azure, navegue até ao Azure Key Vault que reside na mesma subscrição do seu recurso Storage Mover.

  2. Na navegação à esquerda, expanda o menu Objetos e selecione Segredos. De seguida, selecione Gerar/Importar.

    Captura de ecrã a destacar a localização do elemento do menu segredos do Key Vault na navegação à esquerda.

    Captura de ecrã que destaca a localização do item do menu Generate Secrets do Key Vault.

  3. Crie um segredo para a Chave de Acesso:

    • Nome: Forneça um nome significativo (por exemplo, gcs-access-key).
    • Valor secreto: Cole o valor da Chave de Acesso HMAC da secção anterior.
    • Selecione Criar.

    Captura de ecrã a mostrar os campos relevantes para a janela 'Criar um segredo' do Key Vault para guardar a sua chave de acesso.

  4. Crie um segundo segredo para a Chave Secreta:

    • Nome: Forneça um nome significativo (por exemplo, gcs-secret-key).
    • Valor secreto: Cole o valor da Chave Secreta HMAC da secção anterior.
    • Selecione Criar.

    Captura de ecrã a mostrar os campos relevantes para a janela 'Criar um segredo' do Key Vault para guardar a sua chave secreta.

  5. Tome nota do URI completo do Identificador Secreto para cada segredo. Precisas destes identificadores ao criar o endpoint de origem.

Note

Para garantir uma segurança ótima, recomendamos desativar o acesso público ao Key Vault que contém segredos HMAC e adicionar o Storage Mover como um serviço de confiança.

Para mais informações, consulte Definir e recuperar um segredo do Key Vault usando o portal Azure.

Configurar endpoints de origem e destino

Depois de guardar as suas credenciais HMAC no Azure Key Vault, o passo seguinte é criar os endpoints de origem e destino da migração.

No contexto do serviço Armazenamento do Azure Mover, um endpoint é um recurso que contém o caminho para uma localização de origem ou destino e outras informações relevantes. As definições de tarefas do Storage Mover usam endpoints para definir as localizações de origem e destino para operações de cópia.

Configurar um endpoint de origem compatível com GCS S3

Os pontos de extremidade de origem identificam os locais dos quais seus dados são migrados. Os pontos de extremidade de origem são usados para definir a origem dos dados especificados em seu projeto de migração.

Os passos seguintes descrevem o processo de criação de um endpoint de origem.

  1. Navegue até à sua instância do Storage Mover no Azure portal.

  2. No grupo Gerenciamento de recursos na navegação à esquerda, selecione Pontos de extremidade de armazenamento. Selecione o separador Pontos finais de origem e, em seguida, selecione Criar ponto final para abrir o painel Criar ponto final de origem.

  3. No painel Criar ponto de extremidade de origem :

    • Selecione migração multicloud como tipo de migração.
    • Selecione GCS Object Storage - S3 como tipo de Fonte.
    • URL de origem: Introduza o URL HTTPS completo do seu bucket GCS em formato compatível com S3. Use o formato: https://storage.googleapis.com/<bucket-name>/ ou https://storage.googleapis.com/<bucket-name>/<prefix>/ para migrar apenas um subconjunto de objetos.
    • Access Key Vault Secret URI: Introduza o URI completo do segredo que contém a sua Chave de Acesso HMAC
    • Secret Key Vault Secret URI: Introduza o URI completo do segredo que contém a sua Chave Secreta HMAC
    • Opcionalmente, forneça uma Descrição para o endpoint.

  4. Verifica se as tuas escolhas estão corretas e seleciona Criar para criar o endpoint.

    Captura de ecrã a mostrar os campos relevantes para a janela 'Criar endpoint de origem' do Storage Mover.

    Note

    Quando o endpoint de origem é criado, uma identidade gerida atribuída pelo sistema é automaticamente provisionada. Esta identidade requer acesso à função de controlo de acesso baseado em funções (RBAC) Key Vault Secrets User no seu Azure Key Vault para recuperar as credenciais HMAC durante a migração. O portal tenta atribuir este papel automaticamente. Se a atribuição falhar devido a permissões insuficientes, atribui-as manualmente ou contacte o seu administrador do Azure para conceder a função manualmente.

Configurar um ponto final de destino do Armazenamento de Blobs do Azure

  1. No grupo Gerenciamento de recursos na navegação à esquerda, selecione Pontos de extremidade de armazenamento. Selecione o separador Pontos finais de destino e depois selecione Adicionar ponto final para abrir o painel Criar ponto final de destino.

  2. No painel Criar ponto de extremidade de destino :

    • Selecione a sua Subscrição e a conta de armazenamento nas respetivas listas pendentes.
    • Selecione o contentor de Blob no campo Tipo de Alvo .
    • Escolhe o contentor de Blob para onde queres migrar a partir da lista suspensa.
    • Opcionalmente, forneça uma Descrição para o endpoint.

  3. Verifica se as tuas escolhas estão corretas e seleciona Criar para criar o endpoint.

Atribuir funções RBAC

Ao criar endpoints através do portal do Azure, as funções RBAC necessárias são automaticamente atribuídas às identidades geridas atribuídas pelo sistema:

Endpoint Funções Recurso alvo
Ponto final de origem Utilizador do Key Vault Secrets O seu Azure Key Vault
Ponto final alvo Contribuidor de Dados de Storage Blob O seu contentor do Azure Blob

Se a atribuição automática falhar (por exemplo, devido a permissões insuficientes), deve atribuir manualmente estas funções ou contactar o seu administrador do Azure.

Criar um projeto de migração e definição de trabalho

Depois de definir os pontos de extremidade de origem e de destino para sua migração, as próximas etapas são criar um projeto de migração do Storage Mover e uma definição de tarefa.

Um projeto de migração permite-lhe organizar grandes migrações em unidades mais pequenas e geríveis. Uma definição de trabalho descreve recursos e opções de migração para um conjunto específico de operações de cópia. Esses recursos incluem, por exemplo, os pontos de extremidade de origem e de destino e quaisquer configurações de migração que você queira aplicar.

Siga as etapas nesta seção para criar um projeto de migração e executar um trabalho de migração.

Criar um projeto

  1. Dirija-se à secção Projetos em Planear + executar migrações na sua instância do Storage Mover e selecione Criar projeto no separador Projetos .

  2. Forneça valores para os seguintes campos.

    • Nome: um nome significativo para o projeto de migração.
    • Descrição do projeto: Uma descrição útil para o projeto.

  3. Selecione Criar para criar o projeto.

    Captura de ecrã a mostrar os campos relevantes para a janela 'Criar projeto' do Storage Mover.

Criar uma definição de trabalho

Seleciona o projeto depois de aparecer e depois seleciona Criar um trabalho. O assistente de criação de tarefas tem quatro separadores: Geral, Agendamento, Definições e Revisão.

Aba Básico

  1. Forneça valores para os seguintes campos.

    Field Valor
    Tipo de migração Selecione Migração multicloud
    Tipo de fonte Selecionar Armazenamento de Objetos GCS - S3 (Pré-visualização)
    Tipo de bucket do S3 Selecione Público ou Privado (Pré-visualização)
    Nome Um nome significativo para o cargo
    Descrição (Opcional) Uma descrição do trabalho (máximo 1.024 caracteres)

    Captura de ecrã que mostra os campos relevantes para o separador Basics da janela 'Criar projeto' do Storage Mover.

  2. Na seção Fonte :

    • Endpoint de origem: Selecione Adicionar endpoint de origem para criar um novo endpoint, ou selecione um endpoint de origem já compatível com GCS S3.
    • Sub-caminho de origem: (Opcional) Especifique um caminho de subpasta para migrar apenas parte do seu bucket. Se ficar vazio, o trabalho começa na raiz do balde.
    • Verifique se o caminho completo mostrado está correto.

  3. Na secção Alvo :

    • Endpoint Destino: Selecione Adicionar endpoint destino para criar um novo endpoint, ou selecione um endpoint de destino Armazenamento de Blobs do Azure existente.
    • Subcaminho do destino: (Opcional) Especificar uma subpasta do destino. Se for deixado vazio, todo o conteúdo é migrado para a raiz do contentor. Um subcaminho único cria uma nova subpasta.

    Captura de ecrã a mostrar os campos relevantes para a janela 'Criar projeto' do Storage Mover dentro do separador Basics.

  4. Se selecionares Private para o tipo de bucket S3, aparece uma secção de ligações privadas :

    • Selecione Adicionar para associar ligações privadas aprovadas a esta tarefa.
    • Só podem ser adicionadas ligações no estado Aprovado .
    • Podes associar várias ligações privadas para balanceamento de carga.

    Note

    Os buckets privados requerem conexões privadas. Tem de ter pelo menos uma ligação privada aprovada antes de poder iniciar uma tarefa com o tipo de bucket privado. Consulte conectividade de rede privada para GCS para os passos de configuração.

  5. Selecione Seguinte para continuar.

Separador Agenda

Escolha quando quer que a migração seja executada:

Option Description
Sem calendário Iniciar a migração manualmente
Agendamento único Execute a migração uma vez a um momento específico
Calendário recorrente Realize a migração num calendário diário, semanal ou mensal

Importante

O agendamento não está atualmente disponível para o tipo de fonte GCS Object Storage - S3. Os trabalhos só podem ser executados manualmente. Selecione Sem horário e selecione Próximo para continuar.

Separador de Definições

  1. Selecione o modo de Cópia desejado na lista suspensa:

    Modo de cópia Comportamento
    Unir conteúdo no destino Os ficheiros são mantidos no alvo mesmo que não existam na fonte. Os arquivos com nomes e caminhos correspondentes são atualizados para corresponder à origem. A renomeação de pastas entre cópias pode levar a conteúdo duplicado no destino.
    Espelhar origem no destino Faz do alvo uma réplica exata da fonte. Objetos eliminados da fonte também são eliminados do destino.

  2. Consulte a secção de Resultados de Migração para perceber como os seus dados são mapeados:

    Resultado Description
    Estrutura de diretórios O destino suporta pastas "virtuais". Os ficheiros têm o caminho de origem prefixado ao nome e são colocados numa lista plana. Pastas vazias são representadas como um blob vazio com metadados da pasta preservados em metadados personalizados.
    Criar marca temporal Preservado como metadados de blob personalizados. O carimbo temporal nativo do blob reflete a hora em que o ficheiro foi migrado.
    Data e hora da alteração Preservado como metadados de blob personalizados. Não existe carimbo temporal nativo de blobs deste tipo.
    Carimbo temporal modificado Preservado como metadados de blob personalizados. O carimbo temporal nativo do blob reflete a hora em que o ficheiro foi migrado.
    Marca temporal da última vez que foi acedido Preservado como metadados personalizados do blob, se existirem na origem. Não existe nenhuma marca temporal nativa do blob deste tipo.
    Outros metadados Persistiu nos metadados personalizados no blob alvo. Apenas 4 KiB de metadados podem ser armazenados. Metadados superiores a 4 KiB não são migrados.
    Protocolo de migração para a nuvem Blob REST API

  3. Selecione Seguinte para continuar.

Revisão

Revise o resumo da sua configuração:

  • Básicos: Nome do trabalho, tipo de migração
  • Fonte: Tipo de fonte, URL da origem com nome do bucket, nome da nuvem (GCS), subcaminho da origem
  • Destino: Conta de armazenamento, contentor de blobs do Azure, subcaminho do destino
  • Calendário: Frequência de migração
  • Definições: Modo de cópia

Se todas as definições estiverem corretas, selecione Criar para implementar o trabalho. Selecione Anterior para fazer alterações.

Executar uma tarefa de migração

Iniciar um trabalho

portal do Azure

  1. Navegue até ao separador Projetos . O seu novo emprego aparece na lista sob o seu projeto.
  2. Selecione a definição da tarefa para ver os respetivos detalhes no separador Propriedades.
  3. Selecione o botão Iniciar trabalho .
  4. No painel de tarefas Iniciar , confirme os detalhes do trabalho e selecione Iniciar para iniciar a migração.

A tarefa é executada em segundo plano. Pode monitorizar o seu progresso no separador de visão geral da migração .

Monitorar o progresso da migração

Ao usar o Storage Mover para migrar os seus dados, deve monitorizar as operações de cópia para possíveis problemas. Os dados relacionados às operações que estão sendo executadas durante a migração são exibidos na guia Visão geral da migração . Esses dados permitem acompanhar o progresso da migração, fornecendo o status atual e informações importantes, como progresso, velocidade e tempo estimado de conclusão.

Quando configurado, o Armazenamento do Azure Mover também fornece registos de cópia e registos de execução de trabalhos. Estes registos permitem-lhe rastrear o resultado da migração das execuções de trabalhos e de ficheiros individuais.

  1. Navegue até o separador Trabalhos de migração.
  2. Selecione o seu trabalho para ver o progresso, a velocidade e o tempo estimado de conclusão.
  3. Selecione Logs para verificar se há erros ou avisos.
  4. Depois de concluída a migração, verifique os dados no Armazenamento de Blobs do Azure.

Para saber mais sobre a cópia e os logs de trabalho do Storage Mover, consulte o artigo Como habilitar a cópia e os logs de trabalho do Storage Mover do Azure .

Validação pós-migração

A validação dos dados pós-migração garante que os seus dados são precisos e que a transferência do GCS para o Armazenamento de Blobs do Azure está concluída. Este processo de validação verifica a integridade dos dados comparando dados migrados com os mesmos dados da fonte.

Siga estes passos para completar a validação manual e limpar os recursos não utilizados do GCS:

  1. Compare origem e destino: Verifique se todos os objetos esperados são transferidos comparando a contagem de objetos e o tamanho total dos dados entre o bucket GCS e o contentor Azure Blob.
  2. Verificação pontual da integridade dos dados: Descarregue uma amostra representativa de objetos tanto da origem como do destino e compare as somas de verificação.
  3. Ativar a sincronização incremental (se necessário): Se precisares de manter o bucket GCS e o contentor Azure Blob sincronizados ao longo do tempo, agenda execuções de tarefas recorrentes.
  4. Fonte de desativação: Eliminar o bucket GCS e as chaves HMAC após a migração estar totalmente concluída e verificada. Remova os segredos correspondentes do Azure Key Vault quando já não for necessário.

Resolução de problemas e suporte

Se encontrar problemas durante a migração, comece a resolver os problemas seguindo os seguintes passos.

Questão Resolução
A tarefa de migração falhou Verifique os registos de cópia e de tarefas para obter mensagens de erro detalhadas. As causas comuns incluem credenciais inválidas ou problemas de conectividade de rede.
Erro de autenticação Verifique se a Chave de Acesso HMAC e a Chave Secreta armazenadas no Azure Key Vault estão corretas e não expiraram. Certifique-se de que a identidade gerida do endpoint de origem tem acesso de Key Vault Secrets User no seu Key Vault.
Erro de permissão no alvo Verifique se a identidade gerida do ponto final de destino tem a função Contribuidor de Dados de Blobs de Armazenamento no contentor de blobs de destino.
A transferência de dados é lenta Garanta que a largura de banda da sua rede é suficiente. O GCS pode implementar limites de taxa para pedidos de API compatíveis com S3. Considere reduzir o número de trabalhos simultâneos se ocorrer limitação.
Objetos em falta após sincronização Devido à granularidade de segundo nível do carimbo temporal do GCS, objetos modificados no mesmo segundo da última sincronização podem não ser detetados até à próxima execução do trabalho. Espera e executa uma sincronização suplementar.
Objetos inesperados no alvo Os objetos marcadores do diretório GCS (objetos de zero byte que terminam em /) são automaticamente ignorados e não devem aparecer no destino. Se existirem objetos inesperados, consulte os registos de cópia para mais detalhes.
URL de origem rejeitada Garanta que a URL de origem usa HTTPS, não contém parâmetros de consulta, fragmentos ou endereços IP, e aponta para um nome de domínio válido e totalmente qualificado.

Se não conseguir resolver o seu problema, crie um pedido de suporte do Azure.

Conteúdo relacionado

Os seguintes artigos podem ajudá-lo a familiarizar-se melhor com o serviço Storage Mover:

  • Last updated on