Planejamento da migração: SQL Server a Fabric Data Warehouse

Aplica-se a:✅Armazém de dados no Microsoft Fabric

Este artigo detalha a estratégia, considerações e métodos para migrar data warehouses de SQL Server para Microsoft Fabric Data Warehouse.

Dica

Uma experiência automatizada para migração a partir de SQL Server está disponível usando o Fabric Assistente de Migração para Data Warehouse. Este artigo contém informações estratégicas e de planejamento importantes.

Introdução à migração

Microsoft Fabric é uma solução de análise SaaS tudo-em-um para empresas que oferece um conjunto abrangente de serviços, incluindo Data Factory, Data Engineering, Data Warehousing, Data Science, Real-Time Intelligence e Power BI.

Este artigo descreve opções para esquema (DDL), código de banco de dados (DML) e migração de dados, ajudando você a escolher uma opção para o seu cenário. Utiliza o padrão TPC-DS da indústria para ilustração e testes de desempenho. Seus resultados podem variar dependendo de fatores como tipos de dados, largura da tabela e latência de origem.

Preparar para a migração

Planeje cuidadosamente seu projeto de migração antes de começar e certifique-se de que seu esquema, código e dados sejam compatíveis com Fabric Data Warehouse. Considere as limitações. Quantifique o trabalho de refatoração dos itens incompatíveis, bem como todos os outros recursos necessários antes da entrega da migração.

Outro objetivo fundamental do planejamento é ajustar seu design para garantir que sua solução aproveite ao máximo o alto desempenho de consulta que o Fabric Data Warehouse foi projetado para fornecer. O design de data warehouses para larga escala apresenta padrões de design diferentes. Portanto, as abordagens tradicionais nem sempre são as melhores. Revise as diretrizes de desempenho. Embora alguns ajustes de design possam ser feitos após a migração, fazer alterações mais cedo no processo vai economizar tempo e esforço. A migração de uma tecnologia ou ambiente para outro é sempre um grande esforço.

O diagrama a seguir mostra o ciclo de vida da migração. Ele lista os principais pilares: Avaliar e Avaliar, Planejar e Projetar, Migrar, Monitorar e Governar, e Otimizar e Modernizar, com as tarefas associadas em cada pilar para planejar e preparar uma migração suave.

Diagrama do ciclo de vida da migração, incluindo Avaliar e Avaliar, Planejar e Projetar, Migrar, Monitorar e Governar, e Otimizar e Modernizar.

Manual de procedimentos para migração

Considere as seguintes atividades como um manual de planejamento para sua migração de SQL Server para Fabric Data Warehouse.

  1. Analisar e Avaliar
    1. Identifique objetivos e motivações. Estabeleça resultados claros desejados.
    2. Identifique, avalie e estabeleça uma linha de base da arquitetura existente.
    3. Identifique os principais stakeholders e patrocinadores.
    4. Defina o escopo do que migrar.
      1. Comece pequeno e simples, e prepare-se para múltiplas migrações pequenas.
      2. Monitore e documente todas as fases do processo.
      3. Construa um inventário de dados e processos para migração.
      4. Defina mudanças no modelo de dados, se houver.
      5. Configure o espaço de trabalho Fabric.
    5. Avalie as habilidades e preferências da sua equipe.
      1. Automatize sempre que possível.
      2. Use ferramentas e recursos integrados para reduzir o esforço de migração.
    6. Treine a equipe antecipadamente na nova plataforma.
      1. Identifique as necessidades de qualificação e os ativos de treinamento, incluindo o Microsoft Learn.
  2. Planejar e Projetar
    1. Defina a arquitetura desejada.
    2. Selecione os métodos e ferramentas para a migração a fim de realizar as seguintes tarefas:
      1. Extraia dados da fonte.
      2. Converter o esquema (DDL), incluindo metadados para tabelas e visualizações.
      3. Ingestão de dados, incluindo dados históricos.
        1. Se necessário, reengenheira-se o modelo de dados usando o desempenho e a escalabilidade da nova plataforma.
      4. Migrar código de banco de dados (DML).
        1. Migre ou refatore os processos de negócios e procedimentos armazenados.
    3. Inventariar e extrair os recursos de segurança e as permissões de objeto da origem.
    4. Projetar e planejar a substituição ou modificação de processos ETL ou ELT existentes para carga incremental.
      1. Crie processos paralelos de ETL ou ELT no novo ambiente.
    5. Prepare um plano de migração detalhado.
      1. Mapeie o estado atual para o novo estado desejado.
  3. Migrar
    1. Migre o esquema, os dados e o código.
      1. Extraia dados da fonte.
      2. Converta o esquema (DDL).
      3. Ingerir dados.
      4. Migrar código de banco de dados (DML).
    2. Se necessário, escale temporariamente os recursos do SQL Server para aumentar a velocidade de migração.
    3. Aplique segurança e permissões.
    4. Migre processos ETL ou ELT existentes para carga incremental.
      1. Migre ou refatore processos de carga incremental ETL ou ELT.
      2. Teste e compare processos paralelos de carga incremental.
    5. Adapte o plano detalhado de migração conforme necessário.
  4. Monitorar e Controlar
    1. Execute em paralelo e compare com o ambiente da sua origem.
      1. Teste aplicativos, plataformas de business intelligence e ferramentas de consulta.
      2. Crie um parâmetro de comparação e otimize o desempenho da consulta.
      3. Monitore e gerencie custo, segurança e desempenho.
    2. Realize um benchmark e avaliação de governança.
  5. Otimizar e Modernizar
    1. Quando a empresa estiver confortável, faça a transição de aplicativos e das principais plataformas de relatórios para o Fabric.
      1. Escale recursos conforme a carga de trabalho muda do SQL Server para o Microsoft Fabric.
      2. Crie um modelo repetível com base na experiência obtida para migrações futuras. Itere.
      3. Identifique oportunidades para otimização de custos, segurança, escalabilidade e excelência operacional.
      4. Identifique oportunidades para modernizar seu patrimônio de dados com os recursos mais recentes do Fabric.

Levantar e deslocar ou modernizar?

Em geral, há dois tipos de cenários de migração, independentemente do objetivo e do escopo da migração planejada: Lift-and-shift como está ou uma abordagem gradual que incorpora alterações de arquitetura e código.

Elevação e transferência

Em uma migração "lift and shift", você migra um modelo de dados existente com poucas alterações para o novo Fabric Data Warehouse. Essa abordagem minimiza o risco e o tempo de migração, reduzindo o novo trabalho necessário para alcançar os benefícios da migração.

A migração lift-and-shift é uma boa opção para estes cenários:

  • Você tem um ambiente existente com um pequeno número de data marts para migrar.
  • Você tem um ambiente existente com dados que já estão em um esquema estrela ou floco de neve bem projetado.
  • Você está sob pressão de tempo e custo para migrar para o Fabric Data Warehouse.

Em resumo, essa abordagem funciona bem para cargas de trabalho otimizadas para o seu ambiente SQL Server atual e, portanto, não exigem grandes mudanças no Fabric.

Modernizar em uma abordagem em fases com alterações arquitetônicas

Se um data warehouse legado evoluiu ao longo de um longo período, talvez seja necessário reengenheira-lo para manter os níveis de desempenho exigidos.

Você também pode querer redesenhar a arquitetura para aproveitar os novos motores e recursos disponíveis no espaço de trabalho do Fabric.

Diferenças de design entre SQL Server e Fabric Data Warehouse

Considere as seguintes diferenças entre SQL Server e Fabric Data Warehouse.

Considerações sobre tabelas

Ao migrar tabelas entre ambientes diferentes, normalmente só é possível migrar fisicamente dados brutos e os metadados. Normalmente, você não migra outros elementos do banco de dados do sistema fonte, como índices, porque eles podem ser desnecessários ou implementados de forma diferente no novo ambiente.

Otimizações de desempenho no ambiente de origem, como índices, indicam onde você pode adicionar otimização de desempenho em um novo ambiente, mas o Fabric cuida disso automaticamente para você.

Considerações do T-SQL

Fique atento a várias diferenças na sintaxe da Linguagem de Manipulação de Dados (DML). Consulte a superfície do T-SQL no Fabric Data Warehouse. Além disso, considere uma avaliação de código ao escolher métodos de migração para o código do banco de dados (DML).

Dependendo das diferenças de paridade no momento da migração, talvez seja necessário reescrever partes do código DML do T-SQL.

Diferenças de mapeamento de tipo de dados

Fabric Data Warehouse apresenta várias diferenças de tipo de dado em relação a outras plataformas Microsoft SQL. Para obter mais informações, consulte Tipos de dados no Microsoft Fabric.

A tabela a seguir mostra o mapeamento dos tipos de dados suportados do Mecanismo de Banco de Dados SQL para Fabric Data Warehouse.

SQL Server Armazém de Dados Fabric
money decimal(19,4)
smallmoney decimal(10,4)
smalldatetime datetime2
datetime datetime2
nchar char
nvarchar varchar
tinyint smallint
binary varbinary
datetimeoffset* datetime2

* datetime2 não armazena as informações sobre o deslocamento do fuso horário que datetimeoffset armazena. Como o tipo de dados datetimeoffset não é atualmente compatível com o Fabric Data Warehouse, extraia os dados de deslocamento de fuso horário para uma coluna separada.

Dica

Pronto para migrar?

Para começar a usar uma experiência de migração automatizada, consulte o Assistente de Migração do Fabric para Data Warehouse.

Para mais etapas manuais de migração e detalhes, veja Métodos de migração para SQL Server para Fabric Data Warehouse.

Conteúdo relacionado

  • Última atualização em