Identificar serviços de dados
Dica
Consulte a guia Texto e imagens para obter mais detalhes!
O Microsoft Azure é uma plataforma de nuvem que potencializa os aplicativos e a infraestrutura de TI de algumas das maiores organizações do mundo. Ele inclui muitos serviços para dar suporte a soluções de nuvem, incluindo cargas de trabalho de dados transacionais e analíticas.
Alguns dos serviços de nuvem mais usados para dados estão descritos abaixo.
Observação
Este artigo aborda apenas alguns dos serviços de dados mais usados para soluções transacionais e analíticas modernas. Também há serviços adicionais disponíveis. Como iniciante, você não precisa memorizar todos os serviços, o objetivo é obter reconhecimento dos tipos de ferramentas disponíveis e das funções que os usam.
Dica
Ao longo desta unidade, você encontrará os termos PaaS (plataforma como serviço) e SaaS (software como serviço). Estes são modelos de entrega na nuvem: PaaS significa Microsoft gerencia a infraestrutura subjacente (servidores, patch, backups) para que você se concentre em seus dados e aplicativos. SaaS significa que todo o produto é entregue como um serviço pronto para uso pela Internet — nenhuma instalação ou gerenciamento de infraestrutura necessário.
SQL do Azure
SQL do Azure é o nome coletivo de uma família de soluções de banco de dados relacionais com base no mecanismo de banco de dados do Microsoft SQL Server. Os serviços específicos de SQL do Azure incluem:
- Banco de Dados SQL do Azure – um banco de dados de plataforma como serviço (PaaS) totalmente gerenciado e hospedado no Azure.
- Instância Gerenciada de SQL do Azure – uma instância hospedada do SQL Server com manutenção automatizada, que permite uma configuração mais flexível do que o BD de SQL do Azure, mas com mais responsabilidade administrativa para o proprietário.
- VM de SQL do Azure – uma máquina virtual com uma instalação do SQL Server, permitindo a máxima capacidade de configuração com total responsabilidade de gerenciamento.
Os administradores de banco de dados normalmente provisionam e gerenciam os sistemas de banco de dados SQL do Azure para dar suporte a aplicativos de LOB (linha de negócios) que precisam armazenar dados transacionais.
Os engenheiros de dados podem usar os sistemas de banco de dados SQL do Azure como fontes para pipelines de dados que executam operações de ETL (extração, transformação e carregamento) para ingerir os dados transacionais em um sistema analítico.
Os analistas de dados podem consultar os bancos de dados SQL do Azure diretamente para criar relatórios, no entanto, em grandes organizações, os dados geralmente são combinados com os dados de outras fontes em um armazenamento de dados analíticos para dar suporte às análises empresariais.
SQL do Azure inclui recursos internos de IA que os administradores e desenvolvedores de banco de dados podem usar para gerar consultas e solucionar problemas de desempenho usando linguagem natural.
Bancos de dados de software de código aberto no Azure
O Azure inclui serviços gerenciados para sistemas populares de bancos de dados relacionais de código aberto, incluindo:
- Banco de Dados do Azure para MySQL – um sistema de gerenciamento de banco de dados de código aberto fácil de usar que é comumente usado em aplicativos da pilha LAMP (Linux, Apache, MySQL e PHP).
- Banco de dados do Azure para PostgreSQL – um banco de dados híbrido relacional-objeto. Você pode armazenar dados em tabelas relacionais, mas um banco de dados PostgreSQL também permite armazenar tipos de dados personalizados, com suas próprias propriedades não relacionais.
Assim como acontece com os sistemas de banco de dados SQL do Azure, os bancos de dados relacionais de código aberto são gerenciados por administradores de banco de dados para dar suporte a aplicativos transacionais e fornecem uma fonte de dados para engenheiros de dados, criando pipelines para soluções analíticas e analistas de dados que criam relatórios.
Azure Cosmos DB
Azure Cosmos DB é um sistema de banco de dados não relacional em escala global (NoSQL) que dá suporte a várias APIs (interfaces de programação de aplicativos), permitindo que você armazene e gerencie dados como documentos JSON, pares chave-valor, famílias de colunas e grafos.
Em algumas organizações, instâncias do Cosmos DB podem ser provisionadas e gerenciadas por um administrador de banco de dados, embora os desenvolvedores de software tenham o costume de gerenciar o armazenamento de dados NoSQL como parte da arquitetura geral do aplicativo. Os engenheiros de dados geralmente precisam integrar fontes de dados do Cosmos DB a soluções analíticas corporativas que dão suporte à modelagem e geração de relatórios por analistas de dados.
Azure Cosmos DB inclui recursos internos de IA que os desenvolvedores podem usar para explorar e consultar dados usando linguagem natural.
Armazenamento do Azure
Armazenamento do Azure é um serviço de Azure principal que permite armazenar dados em:
- Contêineres de blobs – armazenamento escalonável e econômico para arquivos binários.
- Compartilhamentos de arquivos – compartilhamentos de arquivos de rede, semelhante ao que normalmente é encontrado nas redes corporativas.
- Tabelas – armazenamento de chave-valor para aplicativos que precisam ler e gravar valores de dados rapidamente.
Os engenheiros de dados usam o Armazenamento do Azure para hospedar data lakes – armazenamentos de blobs com um namespace hierárquico que permite que os arquivos sejam organizados em pastas em um sistema de arquivos distribuído.
Azure Data Factory
Azure Data Factory é um serviço Azure que permite definir e agendar pipelines de dados para transferir e transformar dados. Você pode integrar seus pipelines a outros serviços do Azure, possibilitando a ingestão de dados de armazenamentos de dados na nuvem, o processamento dos dados usando a computação baseada em nuvem e a manutenção dos resultados em outro armazenamento de dados.
O Azure Data Factory é usado por engenheiros de dados para criar soluções de ETL (extração, transformação e carregamento) que preenchem os armazenamentos de dados analíticos com os dados de sistemas transacionais na organização. Uma versão do Data Factory também está incorporada ao Microsoft Fabric como **Fabric Data Factory** — a opção recomendada para pipelines integrados de análise quando todo o seu trabalho com dados está na plataforma Fabric.
Microsoft Fabric
Microsoft Fabric é a plataforma de análise saaS (software como serviço) unificada da Microsoft. Ele reúne engenharia de dados, data warehousing, análise em tempo real, ciência de dados e Power BI em um único workspace baseado em navegador, além de uma camada de armazenamento compartilhada chamada OneLake. Você não gerencia servidores nem clusters — você cria espaços de trabalho e itens, e a Microsoft cuida da infraestrutura.
No Microsoft Fabric, os profissionais de dados trabalham com recursos integrados, incluindo:
- Ingestão de dados e ETL com Fabric Data Factory
- Análise do Data Lakehouse com Fabric Lakehouse
- Análises de armazém de dados com Fabric Warehouse
- Ciência de dados e machine learning
- Real-Time Intelligence para dados de streaming
- Visualização de dados com Power BI
- Bancos de dados (Banco de Dados SQL e Cosmos DB no Fabric)
- Governança e gerenciamento de dados
Os engenheiros de dados podem usar Microsoft Fabric para criar uma solução unificada de análise de dados que combina pipelines de ingestão de dados, data warehouses, análise em tempo real, business intelligence e insights baseados em IA, tudo armazenado centralmente no OneLake.
Microsoft Fabric inclui recursos internos de IA que os profissionais de dados podem usar para criar pipelines, gravar SQL, gerar código de notebook e explorar dados usando linguagem natural.
Microsoft Fabric IQ
Fabric IQ é uma carga de trabalho em Microsoft Fabric que unifica dados no OneLake e lhe dá um significado comercial consistente, portanto, cada ferramenta e equipe compartilha as mesmas definições para conceitos como CustomerOrder, ou Product. Ele permite que usuários empresariais e agentes de IA façam perguntas sobre dados em linguagem natural, com base em uma compreensão compartilhada de seus dados corporativos.
Observação
Fabric IQ está atualmente em versão prévia.
Power BI
Power BI é a plataforma de visualização de dados e business intelligence da Microsoft. Os analistas de dados usam Power BI para se conectar a fontes de dados, criar relatórios interativos e dashboards e compartilhar insights em toda a organização.
O Power BI está disponível como um serviço autônomo e também faz parte do Microsoft Fabric, onde funciona em conjunto com recursos de engenharia de dados e de data warehouse no mesmo espaço de trabalho. Em Fabric, Power BI se conecta aos dados por meio de **modelos semânticos— camadas analíticas estruturadas que definem medidas, relações e lógica de negócios.
Power BI inclui recursos internos de IA que os analistas de dados podem usar para resumir relatórios, sugerir visualizações, gerar medidas DAX e criar narrativas escritas a partir de dados usando linguagem natural.
Azure Databricks
Azure Databricks é uma plataforma de análise de nuvem criada no Apache Spark. Ele é otimizado para engenharia de dados em larga escala, ciência de dados e análises SQL em formatos abertos de lakehouse, principalmente Delta Lake. É executado como um serviço gerenciado dentro da sua assinatura do Azure e é uma opção comum para equipes que precisam de Spark com abordagem de código como prioridade e fluxos de trabalho baseados em notebooks.
Os engenheiros de dados podem usar as habilidades que já têm do Databricks e do Spark para criar armazenamentos de dados analíticos no Azure Databricks.
Os analistas de dados podem usar o suporte de notebook nativo em Azure Databricks para consultar e visualizar dados em uma interface baseada na Web fácil de usar.
Azure Databricks inclui recursos internos de IA que os engenheiros de dados e analistas podem usar para escrever código Spark, gerar consultas SQL e explicar lógica de notebook complexa usando linguagem natural.
Azure Stream Analytics
Azure Stream Analytics é um mecanismo de processamento de fluxo em tempo real que captura um fluxo de dados de uma entrada, aplica uma consulta para extrair e manipular dados do fluxo de entrada e grava os resultados em uma saída para análise ou processamento adicional.
Os engenheiros de dados podem incorporar o Azure Stream Analytics em arquiteturas de análise de dados que capturam fluxos dados para ingestão em um armazenamento de dados analíticos ou para visualização em tempo real.
Azure Data Explorer
Azure Data Explorer é uma plataforma de análise de Big Data totalmente gerenciada, autônoma e que oferece consultas de alto desempenho de dados de log e telemetria.
Os analistas de dados podem usar o Azure Data Explorer para consultar e analisar dados que incluem um atributo de carimbo de data/hora, como normalmente é encontrado em arquivos de log e dados de telemetria da IoT (Internet das Coisas).
Microsoft Purview
Microsoft Purview fornece uma solução para a governança e a descoberta de dados em toda a empresa. Use o Microsoft Purview para criar um mapa de seus dados e acompanhar a linhagem de dados em várias fontes de dados e sistemas, permitindo encontrar dados confiáveis para análise e relatórios.
Os engenheiros de dados podem usar o Microsoft Purview para impor a governança de dados em toda a empresa e garantir a integridade dos dados usados para dar suporte a cargas de trabalho analíticas.
Microsoft Foundry
Microsoft Foundry é Microsoft paaS (plataforma como serviço) Azure unificada da Microsoft para operações de IA corporativa, construtores de modelos e desenvolvimento de aplicativos. Ele fornece as ferramentas, o acesso a modelos e a infraestrutura que os engenheiros de IA e os desenvolvedores usam de forma mais ampla para projetar, testar e implantar soluções inteligentes, incluindo aplicativos de chat sobre seus dados, fluxos de trabalho de vários agentes e pipelines automatizados de IA integrados aos serviços de dados Azure.