Definir uma arquitetura de data warehouse moderna
Ao pensar nos padrões de uso que os clientes estão usando hoje para maximizar o valor dos dados, um data warehouse moderno permite reunir todos os dados em escala com facilidade, para que você obtenha insights por meio de dashboards de análise, relatórios operacionais ou análises avançadas para os usuários.
O processo de criação de um data warehouse moderno normalmente consiste em:
- Preparação e ingestão de dados.
- Preparar os dados para consumo por meio de ferramentas de análise.
- Fornecer acesso aos dados em um formato que permita que eles sejam facilmente consumidos por ferramentas de visualização de dados.
Antes da liberação do Azure Synapse Analytics, isso seria feito da maneira a seguir.
Preparação e ingestão de dados
No começo, os clientes criam um data lake para armazenar todos os dados e tipos de dados diferentes com o Azure Data Lake Storage Gen2.
Para ingerir os dados, os clientes podem usar mais de cem conectores de integração de dados ao Azure Data Factory sem necessidade de código. O Data Factory capacita os clientes a realizarem ETL/ELT sem código, incluindo a preparação e a transformação.
E, embora muitos dos nossos clientes estejam bastante dedicados aos SSIS (pacotes de SQL Server Integration Services), eles podem usá-los sem a necessidade de regenerar esses pacotes no Azure Data Factory.
Independente dos dados estarem em uma fonte de dados local, em outros serviços do Azure ou em outros serviços de nuvem, os clientes podem criar, monitorar e gerenciar diretamente os pipelines de Big Data com um ambiente visual fácil de usar.
Outra opção para a preparação de dados é o Azure Databricks, que adequa os formatos de dados e os prepara usando um Notebook, tornando a colaboração interna dos dados mais simplificada e eficiente.
Preparar os dados para consumo por meio de ferramentas de análise.
No coração de um data warehouse moderno, a solução analítica de escala em nuvem é o Azure Synapse Analytics. Isso implementa um data warehouse usando um pool de SQL dedicado que aproveita o mecanismo de processamento paralelo maciço que reúne o data warehousing corporativo e a análise de Big Data.
Fornecer acesso aos dados em um formato que permita que eles sejam facilmente consumidos por ferramentas de visualização de dados.
O Power BI permite que os clientes criem visualizações em grandes quantidades de dados e garante que os insights de dados estejam disponíveis para todos na organização. O Power BI dá suporte a um enorme conjunto de fontes de dados, que podem ser consultadas em tempo real ou usadas para modelar e ingerir a fim de obter análise e visualização detalhadas. Desenvolvida com funcionalidades de IA, é uma ferramenta poderosa para criar e implantar dashboards na empresa, por meio de visualizações avançadas e recursos como consulta de linguagem natural.
Como definir uma arquitetura de data warehousing moderna com o Azure Synapse Analytics
Com o lançamento do Azure Synapse Analytics, você tem uma escolha. Você pode usar o Azure Synapse exclusivamente, o que funciona bem em projetos greenfield. Mas, para organizações com investimentos existentes no Azure com o Azure Data Factory, o Azure Databricks e o Power BI, você pode usar uma abordagem híbrida e combiná-los com o Azure Synapse Analytics.
Há uma variedade de ferramentas e técnicas que podem ser usadas para implementar as várias fases de uma arquitetura de data warehouse moderna. Este módulo mostra exemplos que têm um foco específico nos componentes do Azure Synapse Analytics. Embora outras tecnologias e serviços também possam ser usados conforme ilustrado acima, também é importante entender que você também pode usar diversas linguagens para ingerir, limpar, transformar e fornecer os dados. Essas linguagens podem incluir a linguagem SQL, Python e Scale. Todas elas podem ser usadas no Azure Synapse Analytics.