Azure Synapse Link para Azure Cosmos DB: Casos de utilização de análise quase em tempo real
APLICA-SE A: 
NoSQL MongoDB Gremlin
O Azure Synapse Link for Azure Cosmos DB é um recurso de processamento transacional e analítico (HTAP) híbrido nativo da nuvem que permite executar análises quase em tempo real sobre dados operacionais. O Synapse Link cria uma integração perfeita entre o Azure Cosmos DB e o Azure Synapse Analytics.
Você pode estar curioso para entender quais casos de uso do setor podem aproveitar esse recurso HTAP nativo da nuvem para análises quase em tempo real sobre dados operacionais. Aqui estão três casos de uso comuns do Azure Synapse Link for Azure Cosmos DB:
- Análise da cadeia de suprimentos, previsão e relatórios
- Personalização em tempo real
- Manutenção preditiva, deteção de anomalias em cenários IOT
Nota
O Azure Synapse Link for Azure Cosmos DB destina-se ao cenário em que as equipas empresariais procuram executar análises quase em tempo real. Essas análises são executadas sem ETL sobre dados operacionais gerados em aplicativos transacionais criados no Azure Cosmos DB. Isso não substitui a necessidade de um data warehouse separado quando há requisitos tradicionais de data warehouse, como gerenciamento de carga de trabalho, alta simultaneidade e agregações de persistência em várias fontes de dados.
Nota
Synapse Link for Gremlin API está agora em pré-visualização. Você pode habilitar o Synapse Link em seus gráficos novos ou existentes usando a CLI do Azure. Para obter mais informações sobre como configurá-lo, clique aqui.
Análise da cadeia de suprimentos, previsão e relatórios
Estudos de pesquisa mostram que a incorporação de análises de big data nas operações da cadeia de suprimentos leva a melhorias nos prazos de entrega de ordem a ciclo e na eficiência da cadeia de suprimentos.
Os fabricantes estão integrando tecnologias nativas da nuvem para quebrar as restrições dos sistemas legados de Enterprise Resource Planning (ERP) e Supply Chain Management (SCM). Com as cadeias de suprimentos gerando volumes crescentes de dados operacionais a cada minuto (dados de pedidos, remessas, transações), os fabricantes precisam de um banco de dados operacional. Esse banco de dados operacional deve ser dimensionado para lidar com os volumes de dados, bem como uma plataforma analítica para chegar a um nível de inteligência contextual em tempo real para se manter à frente da curva.
A arquitetura a seguir mostra o poder de aproveitar o Azure Cosmos DB como o banco de dados operacional nativo da nuvem e o Synapse Link na análise da cadeia de suprimentos:
Com base na arquitetura anterior, você pode obter os seguintes casos de uso com o Synapse Link for Azure Cosmos DB:
Preparar o pipeline preditivo de treinamento de produtos: gere insights sobre os dados operacionais em toda a cadeia de suprimentos usando traduções de aprendizado de máquina. Dessa forma, você pode reduzir o estoque, os custos operacionais e reduzir os tempos de pedido até a entrega para os clientes.
O Synapse Link permite que você analise as alterações de dados operacionais no Azure Cosmos DB sem processos manuais de ETL. Ele economiza custos adicionais, latência e complexidade operacional. O Synapse Link permite que engenheiros de dados e cientistas de dados criem pipelines preditivos robustos:
Consulte dados operacionais do repositório analítico do Azure Cosmos DB aproveitando a integração nativa com pools do Apache Spark no Azure Synapse Analytics. Você pode consultar os dados em um bloco de anotações interativo ou trabalhos remotos agendados sem engenharia de dados complexa.
Crie modelos de Machine Learning (ML) com algoritmos do Spark ML e integração do Azure ML no Azure Synapse Analytics.
Escreva os resultados após a inferência do modelo no Azure Cosmos DB para pontuação operacional quase em tempo real.
Relatórios operacionais: As equipes da cadeia de suprimentos precisam de relatórios flexíveis e personalizados sobre dados operacionais precisos e em tempo real. Esses relatórios são necessários para obter uma visão instantânea da eficácia, rentabilidade e produtividade da cadeia de suprimentos. Ele permite que analistas de dados e outras partes interessadas reavaliem constantemente o negócio e identifiquem áreas a serem ajustadas para reduzir os custos operacionais.
O Synapse Link for Azure Cosmos DB permite cenários avançados de business intelligence (BI)/relatórios:
Consulte dados operacionais do repositório analítico do Azure Cosmos DB usando a integração nativa com o pool SQL sem servidor e a expressividade total da linguagem T-SQL.
Modele e publique painéis de BI de atualização automática no Azure Cosmos DB por meio do suporte a pool SQL sem servidor para ferramentas de BI familiares. Por exemplo, Azure Analysis Services, Power BI Premium, etc.
A seguir estão algumas orientações para a integração de dados para processamento em lote & streaming de dados no Azure Cosmos DB:
Integração de dados em lote e orquestração: Com as cadeias de suprimentos ficando mais complexas, as plataformas de dados da cadeia de suprimentos precisam se integrar com uma variedade de fontes e formatos de dados. O Azure Synapse vem incorporado com o mesmo motor de integração de dados e experiências que o Azure Data Factory. Essa integração permite que os engenheiros de dados criem pipelines de dados avançados sem um mecanismo de orquestração separado:
Mova dados de 85+ fontes de dados com suporte para o Azure Cosmos DB com o Azure Data Factory.
Escreva pipelines de ETL sem código no Azure Cosmos DB, incluindo mapeamentos relacionais para hierárquicos e hierárquicos para hierárquicos com fluxos de dados de mapeamento.
Integração de dados de streaming e processamento: Com o crescimento da IoT industrial (sensores que rastreiam ativos do "chão para a loja", frotas logísticas conectadas, etc.), há uma explosão de dados em tempo real sendo gerados de forma streaming que precisa ser integrada com os dados tradicionais de movimento lento para gerar insights. O Azure Stream Analytics é um serviço recomendado para streaming de ETL e processamento no Azure com uma ampla variedade de cenários. O Azure Stream Analytics dá suporte ao Azure Cosmos DB como um coletor de dados nativo.
Personalização em tempo real
Hoje em dia, os varejistas devem construir soluções de comércio eletrônico seguras e escaláveis que atendam às demandas dos clientes e das empresas. Essas soluções de comércio eletrônico precisam envolver os clientes por meio de produtos e ofertas personalizados, processar transações de forma rápida e segura e se concentrar no atendimento e no atendimento ao cliente. O Azure Cosmos DB, juntamente com o mais recente Synapse Link for Azure Cosmos DB, permite que os varejistas gerem recomendações personalizadas para os clientes em tempo real. Eles usam configurações de baixa latência e consistência ajustável para insights imediatos, conforme mostrado na arquitetura a seguir:
Caso de uso do Synapse Link for Azure Cosmos DB:
- Prepare o pipeline preditivo de treinamento de produtos: você pode gerar insights sobre os dados operacionais em suas unidades de negócios ou segmentos de clientes usando o Synapse Spark e modelos de aprendizado de máquina. Isso se traduz em entrega personalizada para segmentos de clientes-alvo, experiências preditivas do usuário final e marketing direcionado para atender às suas necessidades de usuário final.
Manutenção preditiva IOT
As inovações IOT industriais reduziram drasticamente os tempos de inatividade das máquinas e aumentaram a eficiência geral em todos os campos da indústria. Uma dessas inovações é a análise de manutenção preditiva para máquinas na borda da nuvem.
A seguir está uma arquitetura aproveitando os recursos HTAP nativos da nuvem do Azure Synapse Link para Azure Cosmos DB na manutenção preditiva da IoT:
Synapse Link para casos de uso do Azure Cosmos DB:
Prepare & train predictive pipeline: Os dados operacionais históricos de sensores de dispositivos IoT podem ser usados para treinar modelos preditivos, como detetores de anomalias. Estes detetores de anomalias são depois implementados na periferia para uma monitorização em tempo real. Tal ciclo virtuoso permite a reciclagem contínua dos modelos preditivos.
Relatórios operacionais: Com o crescimento das iniciativas de gêmeos digitais, as empresas estão coletando grandes quantidades de dados operacionais de um grande número de sensores para construir uma cópia digital de cada máquina. Esses dados alimentam as necessidades de BI para entender as tendências sobre dados históricos, além de aplicativos em tempo real sobre dados quentes recentes.
Cenário de exemplo: HTAP para Azure Cosmos DB
Por quase uma década, o Azure Cosmos DB tem sido usado por milhares de clientes para aplicativos de missão crítica que exigem escala elástica, distribuição global turnkey, replicação de gravação em várias regiões para baixa latência e alta disponibilidade de leituras e gravações em suas cargas de trabalho transacionais.
A lista a seguir mostra uma visão geral dos vários padrões de carga de trabalho suportados com dados operacionais usando o Azure Cosmos DB:
- Aplicações em tempo real & serviços
- Processamento de fluxos de eventos
- Painéis de BI
- Análise de macrodados
- Machine learning
O Azure Synapse Link permite que o Azure Cosmos DB não apenas alimente cargas de trabalho transacionais, mas também execute cargas de trabalho analíticas quase em tempo real sobre dados operacionais históricos. Isso acontece sem requisitos de ETL e com isolamento de desempenho garantido das cargas de trabalho transacionais.
A imagem a seguir mostra padrões de carga de trabalho usando o Azure Cosmos DB: 
Tomemos o exemplo de uma empresa de comércio eletrônico CompanyXYZ com operações globais em 20 países/regiões para ilustrar os benefícios de escolher o Azure Cosmos DB como o único banco de dados em tempo real que alimenta os requisitos transacionais e analíticos de uma plataforma de gerenciamento de inventário.
O negócio principal da empresaXYZ depende do sistema de gerenciamento de estoque – portanto, disponibilidade e confiabilidade são requisitos fundamentais do pilar. Benefícios de usar o Azure Cosmos DB:
- Em virtude da integração profunda com a infraestrutura do Azure, gravações transparentes em várias regiões e replicação global, o Azure Cosmos DB fornece 99,999% de alta disponibilidade contra interrupções regionais, líder do setor.
Os parceiros da cadeia de suprimentos da CompanyXYZ podem estar em localizações geográficas separadas, mas podem ter que ver uma visão única do inventário de produtos em todo o mundo para dar suporte às suas operações locais. Isso inclui a necessidade de ser capaz de ler atualizações feitas por outros parceiros da cadeia de suprimentos em tempo real. Além de poder fazer atualizações sem se preocupar com conflitos com outros parceiros em alto rendimento. Benefícios de usar o Azure Cosmos DB:
Com seu protocolo de replicação de gravações em várias regiões exclusivo e armazenamento transacional sem trava e otimizado para gravação, o Azure Cosmos DB garante latências inferiores a 10 ms para leituras e gravações indexadas no percentil 99 globalmente.
Ingestão de alta taxa de transferência de feeds de dados em lote e streaming com indexação em tempo real no repositório transacional.
O repositório transacional do Azure Cosmos DB fornece três opções a mais do que os dois extremos de níveis de consistência fortes e eventuais para alcançar as compensações de disponibilidade versus desempenho mais próximas da necessidade comercial.
Os parceiros da cadeia de suprimentos da CompanyXYZ têm padrões de tráfego altamente flutuantes, que variam de centenas a milhões de solicitações e, portanto, a plataforma de gerenciamento de estoque precisa lidar com picos inesperados no tráfego. Benefícios de usar o Azure Cosmos DB:
- O repositório transacional do Azure Cosmos DB oferece suporte à escalabilidade elástica de armazenamento e taxa de transferência usando particionamento horizontal. Os contêineres e bancos de dados configurados no modo Autopilot podem dimensionar automática e instantaneamente a taxa de transferência provisionada com base nas necessidades do aplicativo sem afetar a disponibilidade, a latência, a taxa de transferência ou o desempenho da carga de trabalho globalmente.
A empresaXYZ precisa estabelecer uma plataforma de análise segura para abrigar dados históricos de inventário em todo o sistema para permitir análises e insights em parceiros, unidades de negócios e funções da cadeia de suprimentos. A plataforma de análise precisa permitir a colaboração em todo o sistema, casos de uso tradicionais de BI/relatórios, casos de uso de análise avançada e soluções inteligentes preditivas sobre os dados de inventário operacional. Benefícios de usar o Synapse Link para o Azure Cosmos DB:
- Usando o repositório analítico do Azure Cosmos DB, um armazenamento de coluna totalmente isolado, o Synapse Link não permite nenhuma análise de Extract-Transform-Load (ETL) no Azure Synapse Analytics em relação a dados operacionais distribuídos globalmente em escala. Analistas de negócios, engenheiros de dados e cientistas de dados agora podem usar o Synapse Spark ou o Synapse SQL de maneira interoperável para executar pipelines de business intelligence, análises e aprendizado de máquina quase em tempo real sem afetar o desempenho de suas cargas de trabalho transacionais no Azure Cosmos DB. Consulte os benefícios do Synapse Link no Azure Cosmos DB para obter mais detalhes.
Próximos passos
Para saber mais, consulte os seguintes documentos: