Visão geral das integrações

  • Artigo

Há muitos conectores de dados, ferramentas e integrações que funcionam perfeitamente com a plataforma para ingestão, orquestração, saída e consulta de dados. Este documento é uma visão geral de alto nível sobre os conectores, ferramentas e integrações disponíveis. Informações detalhadas são fornecidas para cada conector, juntamente com links para sua documentação completa.

Para obter páginas de visão geral em um tipo específico de integração, selecione um dos botões a seguir.

Integrações de dados

Integrações de consulta

Integrações de visualização

Tabelas de comparação

As tabelas a seguir resumem os recursos de cada item. Selecione a guia correspondente a conectores ou ferramentas e integrações. Cada nome de item está vinculado à descrição detalhada.

A tabela a seguir resume os conectores disponíveis e seus recursos:

Nome Ingerir Exportação Orquestrar Consulta
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark para Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Azure Data Factory ✔️ ✔️
Grade de Eventos do Azure ✔️
Hubs de eventos do Azure ✔️
Azure Functions ✔️ ✔️
Hubs IoT do Azure ✔️
Azure Stream Analytics ✔️
Fluent Bit ✔️
JDBC ✔️
Aplicativos Lógicos ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
OpenTelemetry ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Encaminhador Universal do Splunk ✔️
Telegraf ✔️

Descrições detalhadas

Veja a seguir descrições detalhadas de conectores, ferramentas e integrações. Selecione a guia correspondente a conectores ou ferramentas e integrações. Todos os itens disponíveis são resumidos nas tabelas de comparação acima.

Apache Kafka

O Apache Kafka é uma plataforma de streaming distribuída para criar pipelines de dados de streaming em tempo real que movem dados de forma confiável entre sistemas ou aplicativos. O Kafka Connect é uma ferramenta para streaming de dados escalonável e confiável entre o Apache Kafka e outros sistemas. O Coletor Kafka serve como o conector do Kafka e não requer o uso de código. Isso é ouro certificado pela Confluent – passou por uma revisão abrangente e testes de qualidade, integridade de recursos, conformidade com padrões e desempenho.

O Apache Flink é uma estrutura e um mecanismo de processamento distribuído para cálculos com estado em fluxos de dados não associados e limitados. O conector implementa o coletor de dados para mover dados entre clusters do Azure Data Explorer e Flink. Usando o Azure Data Explorer e o Apache Flink, você pode criar aplicativos rápidos e escalonáveis direcionados a cenários controlados por dados. Por exemplo, ML (aprendizado de máquina), ETL (Extração, Transformação e Carregamento) e Log Analytics.

Apache Log4J 2

O Log4J é uma estrutura de log popular para aplicativos Java mantidos pelo Apache Foundation. O Log4j permite que os desenvolvedores controlem quais instruções de log são geradas com granularidade arbitrária com base no nome do agente, no nível do agente e no padrão de mensagem. O coletor do Apache Log4J 2 permite transmitir seus dados de log para o banco de dados, no qual você pode analisar e visualizar seus logs em tempo real.

Apache Spark

O Apache Spark é um mecanismo de análise unificado para processamento de dados em grande escala. O conector do Spark é um projeto código aberto que pode ser executado em qualquer cluster Spark. Ele implementa a fonte de dados e o coletor de dados para mover dados de ou para clusters Spark. Usando o conector do Apache Spark, você pode criar aplicativos rápidos e escalonáveis direcionados a cenários controlados por dados. Por exemplo, ML (aprendizado de máquina), ETL (Extração, Transformação e Carregamento) e Log Analytics. Com o conector, seu banco de dados se torna um armazenamento de dados válido para operações padrão de origem e coletor do Spark, como leitura, gravação e writeStream.

Apache Spark para Azure Synapse Analytics

O Apache Spark é uma estrutura de processamento paralelo que dá suporte ao processamento na memória para aumentar o desempenho de aplicativos analíticos de Big Data. O Apache Spark no Azure Synapse Analytics é uma das implementações da Microsoft do Apache Spark na nuvem. Você pode acessar um banco de dados do Synapse Studio com o Apache Spark para Azure Synapse Analytics.

Azure Cosmos DB

A conexão de dados do feed de alterações do Azure Cosmos DB é um pipeline de ingestão que escuta o feed de alterações do Cosmos DB e ingere os dados em seu banco de dados.

Fábrica de dados do Azure

O ADF (Azure Data Factory) é um serviço de integração de dados baseado em nuvem que permite integrar diferentes armazenamentos de dados e realizar atividades sobre os dados.

Grade de Eventos do Azure

A ingestão da Grade de Eventos é um pipeline que escuta o armazenamento do Azure e atualiza seu banco de dados para efetuar pull de informações quando ocorrem eventos assinados. Você pode configurar a ingestão contínua do Armazenamento do Azure (Armazenamento de Blobs e ADLSv2) com uma assinatura de Grade de Eventos do Azure para notificações de blob criadas ou renomeada por blob e streaming das notificações por meio de Hubs de Eventos do Azure.

Hubs de eventos do Azure

Os Hubs de Eventos do Azure são uma plataforma de streaming de Big Data e um serviço de ingestão de eventos. Você pode configurar a ingestão contínua de Hubs de Eventos gerenciados pelo cliente.

Funções do Azure

Azure Functions permitir que você execute código sem servidor na nuvem em um agendamento ou em resposta a um evento. Com associações de entrada e saída para Azure Functions, você pode integrar seu banco de dados aos fluxos de trabalho para ingerir dados e executar consultas em seu banco de dados.

Hubs IoT do Azure

O Hub IoT do Azure é um serviço gerenciado e hospedado na nuvem que atua como hub central de mensagens para comunicação bidirecional entre o aplicativo de IoT e os dispositivos gerenciados. Você pode configurar a ingestão contínua de Hubs IoT gerenciados pelo cliente usando seus Hubs de Eventos compatíveis com o ponto de extremidade interno de mensagens do dispositivo para a nuvem.

  • Funcionalidade: Ingestão
  • Tipo de ingestão com suporte: Envio em lote, streaming
  • Casos de uso: Dados de IoT
  • Documentação:Hub IoT conexão de dados

Stream Analytics do Azure

O Azure Stream Analytics é um mecanismo de processamento de eventos complexo e análise em tempo real projetado para processar grandes volumes de dados de streaming rápido de várias fontes simultaneamente.

Fluent Bit

O Fluent Bit é um agente de software livre que coleta logs, métricas e rastreamentos de várias fontes. Ele permite filtrar, modificar e agregar dados de evento antes de enviá-los para o armazenamento.

JDBC

A Conectividade de Banco de Dados Java (JDBC) é uma API Java usada para se conectar a bancos de dados e executar consultas. Você pode usar a JDBC para se conectar ao Azure Data Explorer.

Aplicativos Lógicos

O conector dos Aplicativos Lógicos da Microsoft permite que você execute consultas e comandos automaticamente como parte de uma tarefa agendada ou disparada.

Logstash

O plug-in Logstash permite processar eventos do Logstash em um banco de dados Data Explorer do Azure para análise posterior.

Matlab

O MATLAB é uma plataforma de computação numérica e de programação usada para analisar dados, desenvolver algoritmos e criar modelos. Você pode obter um token de autorização no MATLAB para consultar seus dados no Azure Data Explorer.

NLog

O NLog é uma plataforma de log flexível e gratuita para várias plataformas .NET, incluindo o .NET Standard. O NLog permite que você escreva em vários destinos, como um banco de dados, arquivo ou console. Com o NLog, você pode alterar a configuração de log em tempo real. O coletor NLog é um destino para NLog que permite que você envie suas mensagens de log para o banco de dados. O plug-in fornece uma maneira eficiente de coletar seus logs para o cluster.

ODBCODBC

ODBC é uma API (interface de programação de aplicativo) amplamente aceita para acesso ao banco de dados. O Data Explorer do Azure é compatível com um subconjunto do protocolo de comunicação SQL Server (MS-TDS). Essa compatibilidade permite o uso do driver ODBC para SQL Server com o Data Explorer do Azure.

OpenTelemetry

O conector OpenTelemetry dá suporte à ingestão de dados de muitos receptores em seu banco de dados. Ele funciona como uma ponte para ingerir dados gerados pelo Open telemetry para seu banco de dados personalizando o formato dos dados exportados de acordo com suas necessidades.

Power Apps

O Power Apps é um conjunto de aplicativos, serviços, conectores e plataforma de dados que fornece um ambiente de desenvolvimento rápido de aplicativos para criar aplicativos personalizados que se conectam aos seus dados de negócios. O conector do Power Apps será útil se você tiver uma coleção grande e crescente de dados de streaming no Azure Data Explorer e quiser criar um aplicativo altamente funcional e de código baixo para usar esses dados.

Power Automate

O Power Automate é um serviço de orquestração usado para automatizar processos de negócios. O Power Automate conector (anteriormente Microsoft Flow) permite orquestrar e agendar fluxos, enviar notificações e alertas como parte de uma tarefa agendada ou disparada.

Serilog

Serilog é uma estrutura de log popular para aplicativos .NET. O Serilog permite que os desenvolvedores controlem quais instruções de log são geradas com granularidade arbitrária com base no nome do agente, no nível do agente e no padrão de mensagem. O coletor serilog, também conhecido como appender, transmite seus dados de log para o banco de dados, onde você pode analisar e visualizar seus logs em tempo real.

Splunk

O Splunk Enterprise é uma plataforma de software que permite ingerir dados de várias fontes simultaneamente. O complemento Data Explorer do Azure envia dados do Splunk para uma tabela no cluster.

Encaminhador Universal do Splunk

Telegraf

O Telegraf é um agente leve, de código aberto, com volume de memória mínimo, para coletar, processar e gravar dados de telemetria, incluindo logs, métricas e dados de IoT. O Telegraf dá suporte a centenas de plug-ins de entrada e saída. Ele é amplamente usado pela comunidade de código aberto e conta com seu suporte. O plug-in de saída serve como o conector do Telegraf e dá suporte à ingestão de dados de muitos tipos de plug-ins de entrada em seu banco de dados.

Conteúdo relacionado