Vue d’ensemble des intégrations

  • Article

Il existe de nombreux connecteurs de données, outils et intégrations qui fonctionnent en toute transparence avec la plateforme pour l’ingestion, l’orchestration, la sortie et la requête de données. Ce document est une vue d’ensemble générale des connecteurs, outils et intégrations disponibles. Des informations détaillées sont fournies pour chaque connecteur, ainsi que des liens vers sa documentation complète.

Pour obtenir des pages de vue d’ensemble sur un type d’intégration spécifique, sélectionnez l’un des boutons suivants.

Intégrations de données

Intégrations de requête

Intégrations de visualisation

Tables de comparaison

Les tableaux suivants résument les fonctionnalités de chaque élément. Sélectionnez l’onglet correspondant aux connecteurs, outils et intégrations. Chaque nom d’élément est lié à sa description détaillée.

Le tableau suivant récapitule les connecteurs disponibles et leurs fonctionnalités :

Nom Ingérer Exporter Orchestrer Requête
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark pour Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Azure Data Factory. ✔️ ✔️
Azure Event Grid ✔️
Azure Event Hubs ✔️
Azure Functions ✔️ ✔️
Hubs Azure IoT ✔️
Azure Stream Analytics ✔️
Fluent Bit ✔️
JDBC ✔️
Logic Apps ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
OpenTelemetry ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Splunk Universal Redirecter ✔️
Telegraf ✔️

Descriptions détaillées

Voici des descriptions détaillées des connecteurs, des outils et des intégrations. Sélectionnez l’onglet correspondant aux connecteurs ou outils et intégrations. Tous les éléments disponibles sont résumés dans les tableaux de comparaison ci-dessus.

Apache Kafka

Apache Kafka est une plateforme de streaming distribuée qui permet de créer des pipelines de données de streaming en temps réel qui déplacent de manière fiable des données entre des systèmes ou des applications. Kafka Connect est un outil pour le streaming de données scalable et fiable entre Apache Kafka et d’autres systèmes de données. Le récepteur Kafka sert de connecteur à partir de Kafka et ne nécessite pas d’utiliser de code. Il s’agit d’une certification d’or par Confluent - a fait l’objet d’un examen et d’un test complets pour la qualité, l’exhaustivité des fonctionnalités, la conformité aux normes et les performances.

Apache Flink est un framework et un moteur de traitement distribué pour les calculs avec état sur des flux de données non liés et délimités. Le connecteur implémente le récepteur de données pour déplacer des données entre les clusters Azure Data Explorer et Flink. Avec Azure Data Explorer et Apache Flink, vous pouvez créer des applications rapides et évolutives ciblant des scénarios pilotés par les données. Par exemple, les scénarios de machine learning (ML), les scénarios ETL et les scénarios Log Analytics.

Apache Log4J 2

Log4J est une infrastructure de journalisation populaire pour les applications Java gérées par Apache Foundation. Log4j permet aux développeurs de contrôler les instructions de journal qui sont sorties avec une granularité arbitraire en fonction du nom, du niveau d’enregistreur d’événements et du modèle de message de l’enregistreur d’événements. Le récepteur Apache Log4J 2 vous permet de diffuser vos données de journal vers votre base de données, où vous pouvez analyser et visualiser vos journaux en temps réel.

Apache Spark

Apache Spark est un moteur d’analytique unifié pour le traitement des données à grande échelle. Le connecteur Spark est un projet open source qui peut s’exécuter sur n’importe quel cluster Spark. Il implémente la source de données et le récepteur de données pour déplacer des données vers ou à partir de clusters Spark. À l’aide du connecteur Apache Spark, vous pouvez créer des applications rapides et évolutives ciblant des scénarios pilotés par les données. Par exemple, les scénarios de machine learning (ML), les scénarios ETL et les scénarios Log Analytics. Avec le connecteur, votre base de données devient un magasin de données valide pour les opérations source et récepteur Spark standard, telles que la lecture, l’écriture et writeStream.

Apache Spark pour Azure Synapse Analytics

Apache Spark est une infrastructure de traitement parallèle qui prend en charge le traitement en mémoire pour améliorer les performances des applications analytiques Big Data. Apache Spark dans Azure Synapse Analytics est l’une des implémentations d’Apache Spark dans le cloud de Microsoft. Vous pouvez accéder à une base de données à partir de Synapse Studio avec Apache Spark pour Azure Synapse Analytics.

Azure Cosmos DB

La connexion de données de flux de modification Azure Cosmos DB est un pipeline d’ingestion qui écoute votre flux de modification Cosmos DB et ingère les données dans votre base de données.

Azure Data Factory

Azure Data Factory (ADF) est un service d’intégration de données basé sur le cloud qui vous permet d’intégrer différents magasins de données et d’effectuer des activités sur les données.

Azure Event Grid

L’ingestion Event Grid est un pipeline qui écoute le stockage Azure et met à jour votre base de données pour extraire des informations lorsque des événements abonnés se produisent. Vous pouvez configurer l’ingestion continue à partir du Stockage Azure (Stockage Blob et ADLSv2) avec un abonnement Azure Event Grid pour les notifications créées ou renommées d’objet blob et diffuser en continu les notifications via Azure Event Hubs.

  • Fonctionnalité: Ingestion
  • Type d’ingestion pris en charge : Traitement par lots, streaming
  • Cas d’usage : Traitement des événements
  • Documentation :Connexionde données Event Grid

Hubs d'événements Azure

Azure Event Hubs est une plateforme de streaming de Big Data et un service d’ingestion d’événements. Vous pouvez configurer l’ingestion continue à partir d’Event Hubs gérés par le client.

Azure Functions

Azure Functions vous permettent d’exécuter du code serverless dans le cloud selon une planification ou en réponse à un événement. Avec les liaisons d’entrée et de sortie pour Azure Functions, vous pouvez intégrer votre base de données à vos workflows pour ingérer des données et exécuter des requêtes sur votre base de données.

Hubs Azure IoT

Azure IoT Hub est un service managé, hébergé dans le cloud, qui fait office de hub de messages central pour la communication bidirectionnelle entre votre application IoT et les appareils qu’il gère. Vous pouvez configurer l’ingestion continue à partir d’IoT Hubs gérés par le client, à l’aide de son point de terminaison intégré compatible Event Hubs pour les messages appareil-à-cloud.

  • Fonctionnalité: Ingestion
  • Type d’ingestion pris en charge : Traitement par lots, streaming
  • Cas d’usage : Données IoT
  • Documentation :connexion de données IoT Hub

Azure Stream Analytics

Azure Stream Analytics est un moteur d’analyse en temps réel et de traitement des événements complexe conçu pour traiter simultanément des volumes élevés de données de streaming rapide à partir de plusieurs sources.

Fluent Bit

Fluent Bit est un agent open source qui collecte les journaux, les métriques et les traces de différentes sources. Il vous permet de filtrer, de modifier et d’agréger des données d’événement avant de les envoyer au stockage.

JDBC

Java Database Connectivity (JDBC) est une API Java utilisée pour se connecter aux bases de données et exécuter des requêtes. Vous pouvez utiliser JDBC pour vous connecter à Azure Data Explorer.

Logic Apps

Le connecteur Microsoft Logic Apps vous permet d’exécuter automatiquement des requêtes et des commandes dans le cadre d’une tâche planifiée ou déclenchée.

Logstash

Le plug-in Logstash vous permet de traiter les événements de Logstash dans une base de données Azure Data Explorer pour une analyse ultérieure.

Matlab

MATLAB est une plateforme de programmation et d’informatique numérique utilisée pour analyser des données, développer des algorithmes et créer des modèles. Vous pouvez obtenir un jeton d’autorisation dans MATLAB pour interroger vos données dans Azure Data Explorer.

NLog

NLog est une plateforme de journalisation flexible et gratuite pour différentes plateformes .NET, y compris .NET Standard. NLog vous permet d’écrire dans plusieurs cibles, telles qu’une base de données, un fichier ou une console. Avec NLog, vous pouvez modifier la configuration de journalisation à la volée. Le récepteur NLog est une cible pour NLog qui vous permet d’envoyer vos messages de journal à votre base de données. Le plug-in fournit un moyen efficace de recevoir vos journaux d’activité sur votre cluster.

ODBC

L’interface Open Database Connectivity (ODBC) est une interface de programmation d’applications (API) largement acceptée pour l’accès à des bases de données. Azure Data Explorer est compatible avec un sous-ensemble du protocole de communication SQL Server (MS-TDS). Cette compatibilité permet d’utiliser le pilote ODBC pour SQL Server avec Azure Data Explorer.

OpenTelemetry

Le connecteur OpenTelemetry prend en charge l’ingestion de données de nombreux récepteurs dans votre base de données. Il fonctionne comme un pont pour ingérer les données générées par la télémétrie Open dans votre base de données en personnalisant le format des données exportées en fonction de vos besoins.

Power Apps

Power Apps est une suite d’applications, de services, de connecteurs et de plateforme de données qui fournit un environnement de développement d’applications rapide pour créer des applications personnalisées qui se connectent à vos données métier. Le connecteur Power Apps est utile si vous disposez d’une collection importante et croissante de données de streaming dans Azure Data Explorer et que vous souhaitez créer une application à faible code et hautement fonctionnelle pour utiliser ces données.

Power Automate

Power Automate est un service d’orchestration utilisé pour automatiser les processus métier. Le Power Automate connecteur (précédemment Microsoft Flow) vous permet d’orchestrer et de planifier des flux, d’envoyer des notifications et des alertes, dans le cadre d’une tâche planifiée ou déclenchée.

  • Fonctionnalité: Ingestion, Exportation
  • Type d’ingestion pris en charge : Dosage
  • Cas d’usage : Orchestration des données
  • Documentation :Connecteur Microsoft Power Automate

Serilog

Serilog est un framework de journalisation populaire pour les applications .NET. Serilog permet aux développeurs de contrôler les instructions de journal qui sont générées avec une granularité arbitraire en fonction du nom, du niveau d’enregistreur d’événements et du modèle de message de l’enregistreur d’événements. Le récepteur Serilog, également appelé appender, diffuse vos données de journal vers votre base de données, où vous pouvez analyser et visualiser vos journaux en temps réel.

Splunk

Splunk Enterprise est une plateforme logicielle qui vous permet d’ingérer simultanément des données provenant de nombreuses sources. Le module complémentaire Azure Data Explorer envoie des données de Splunk à une table de votre cluster.

Splunk Universal Redirecter

Telegraf

Telegraf est un agent open source, léger et à empreinte mémoire minimale pour la collecte, le traitement et l'écriture de données de télémétrie, y compris les journaux, les métriques et les données IoT. Telegraf prend en charge des centaines de plug-ins d'entrée et de sortie. Il est largement utilisé et accepté par la communauté open source. Le plug-in de sortie sert de connecteur de Telegraf et prend en charge l’ingestion des données de nombreux types de plug-ins d’entrée dans votre base de données.

Contenu connexe