Compartilhar via

Fluxo de trabalho de ETL WideWorldImportersDW

Aplica-se a: SQL Server Banco de Dados SQL do Azure

Use o pacote ETL WWI_Integration para migrar dados do banco de dados WideWorldImporters para o banco de dados WideWorldImportersDW conforme os dados são alterados. O pacote é executado de forma periódica (geralmente todos os dias).

O pacote garante alto desempenho usando SQL Server Integration Services para orquestrar operações T-SQL em massa (em vez de transformações separadas no Integration Services).

As dimensões são carregadas primeiro e as Tabelas de fatos são carregadas. Você pode executar novamente o pacote a qualquer momento após uma falha.

O fluxo de trabalho tem esta aparência:

Fluxo de trabalho de ETL WideWorldImporters ETL

O fluxo de trabalho começa com uma tarefa de expressão que determina o tempo de corte apropriado. O tempo de corte é a hora atual menos alguns minutos. (Essa abordagem é mais robusta do que solicitar dados diretamente no horário atual.) Quaisquer milissegundos são truncados a partir do horário.

O processamento principal começa preenchendo a tabela de dimensões Data. O processamento garante que todas as datas do ano atual tenham sido preenchidas na tabela.

Em seguida, uma série de tarefas de fluxo de dados carrega cada dimensão. Em seguida, elas carregam cada fato.

Pré-requisitos

  • SQL Server 2016 (ou posterior), com os bancos de dados WideWorldImporters e WideWorldImportersDW (no mesmo ou em instâncias diferentes de SQL Server)
  • SQL Server Management Studio
  • SQL Server 2016 Integration Services
    • Assegure-se de criar um catálogo do Integration Services. Para criar um catálogo do Integration Services, no Pesquisador de objetos do SQL Server Management Studio, clique com o botão direito do mouse em Integration Services e selecione Adicionar catálogo. Mantenha as opções padrão. Você será solicitado a habilitar o SQLCLR e fornecer uma senha.

Download

Para obter a versão mais recente do exemplo, confira wide-world-importers-release. Baixe o arquivo do pacote Daily ETL.ispac Integration Services.

Para obter o código-fonte para recriar o banco de dados de exemplo, confira wide-world-importers.

Instalar

  1. Implante o pacote do Integration Services:

    1. No Windows Explorer, abra o pacote ETL.ispac diário. Isso inicia o Assistente de Implantação do SQL Server Integration Services.
    2. Em Selecionar Origem, siga os padrões para Desenvolvimento de Projeto, com o caminho apontando para o pacote ETL.ispac diário.
    3. Em Selecionar Destino, insira o nome do servidor que hospeda o catálogo do Integration Services.
    4. Selecione um caminho no catálogo do Integration Services, por exemplo, em uma nova pasta chamada WideWorldImporters.
    5. Selecione Implantar para concluir o assistente.

  2. Crie um trabalho do SQL Server Agent para o processo ETL:

    1. No Management Studio, clique com o botão direito do mouse em SQL Server Agent e selecione Novo>Trabalho.
    2. Insira um nome, por exemplo, WIDEWorldImporters ETL.
    3. Adicione uma Etapa de Trabalho do tipo Pacote do SQL Server Integration Services.
    4. Selecione o servidor que tem o catálogo do Integration Services e selecione o pacote ETL Diário.
    5. Em Configuração>Gerenciadores de Conexões, verifique se as conexões com a origem e o destino estão configuradas corretamente. O padrão é conectar-se à instância local.
    6. Selecione OK para criar o trabalho.

  3. Execute ou agende o trabalho.