Megosztás a következőn keresztül:

Adatösszekötők áttekintése

  • Cikk

Az adatbetöltés az a folyamat, amely egy vagy több forrásból származó adatokat tölt be egy Valós idejű intelligencia KQL-adatbázisba a Microsoft Fabricben. A betöltést követően az adatok elérhetővé válnak a lekérdezéshez. A valós idejű intelligencia számos összekötőt biztosít az adatbetöltéshez.

Az alábbi táblázat az elérhető adatösszekötőket, eszközöket és integrációkat foglalja össze.

Név Funkciók Támogatja a streamelést? Típus Használati esetek
Apache Flink Lenyelés ✔️ Nyílt forráskód Telemetria
Apache Kafka Lenyelés ✔️ Nyílt forráskód Naplók, telemetriai adatok, idősorok
Apache Log4J 2 Lenyelés ✔️ Nyílt forráskód Naplók
Apache Spark Exportálásálás
Lenyelés		 Nyílt forráskód Telemetria
Apache Spark az Azure Synapse Analyticshez Exportálásálás
Lenyelés		 Első fél Telemetria
Azure Data Factory Exportálásálás
Lenyelés		 Első fél Adatkoordinálás
Azure-eseményközpontok Lenyelés ✔️ Első fél Üzenetkezelés
Azure Functions Exportálásálás
Lenyelés		 Első fél Munkafolyamat-integrációk
Azure Stream Analytics Lenyelés ✔️ Első fél Eseményfeldolgozás
Cribl Stream Lenyelés ✔️ Első fél Telemetriai adatok, naplók, metrikák, gépadatok
Fluent Bit Lenyelés ✔️ Nyílt forráskód Naplók, metrikák, nyomkövetések
Logstash Lenyelés Nyílt forráskód Naplók
NLog Lenyelés ✔️ Nyílt forráskód Telemetriai adatok, naplók, metrikák
Telemetria megnyitása Lenyelés ✔️ Nyílt forráskód Nyomkövetések, metrikák, naplók
Power Automate Exportálásálás
Lenyelés		 Első fél Adatkoordinálás
Szerilog Lenyelés ✔️ Nyílt forráskód Naplók
Splunk Lenyelés Nyílt forráskód Naplók
Splunk univerzális továbbító Lenyelés Nyílt forráskód Naplók
Telegraf Lenyelés ✔️ Nyílt forráskód Metrikák, naplók

Az alábbi táblázat az elérhető összekötőket és azok képességeit foglalja össze:

Az Apache Flink egy keretrendszer és elosztott feldolgozási motor az állapotalapú számításokhoz kötetlen és határolt adatfolyamokon. Az összekötő adatgyűjtőt implementál az adatok Azure Data Explorer- és Flink-fürtök közötti áthelyezéséhez. Az Azure Data Explorer és az Apache Flink használatával gyors és méretezhető alkalmazásokat hozhat létre, amelyek adatvezérelt forgatókönyveket céloznak meg. Például gépi tanulás (ML), Extract-Transform-Load (ETL) és Log Analytics.

Apache Kafka

Az Apache Kafka egy elosztott streamelési platform valós idejű streamelési adatfolyamok létrehozásához, amelyek megbízhatóan mozgatják az adatokat a rendszerek vagy alkalmazások között. A Kafka Connect az Apache Kafka és más adatrendszerek közötti skálázható és megbízható adatstreamelés eszköze. A Kafka Sink a Kafka összekötője, és nem igényel kód használatát. Az összekötő a Confluent arany minősítésével rendelkezik, és átfogó felülvizsgálaton és tesztelésen ment keresztül a minőség, a funkciók teljessége, a szabványoknak való megfelelés és a teljesítmény tekintetében.

Apache Log4J 2

A Log4J az Apache Foundation által fenntartott Java-alkalmazások népszerű naplózási keretrendszere. A Log4j lehetővé teszi a fejlesztők számára, hogy a naplózó neve, naplózói szintje és üzenetmintája alapján tetszőleges részletességgel szabályozják, hogy mely naplókivonatok legyenek kimenetek. Az Apache Log4J 2 fogadó lehetővé teszi a naplóadatok átvitelét az adatbázisba, ahol valós időben elemezheti és vizualizálhatja a naplókat.

Apache Spark

Az Apache Spark egy egységes elemzési motor a nagy léptékű adatfeldolgozáshoz. A Spark-összekötő egy nyílt forráskód projekt, amely bármely Spark-fürtön futtatható. Adatforrást és adatgyűjtőt implementál az adatok Spark-fürtökbe vagy onnan történő áthelyezéséhez. Az Apache Spark-összekötő használatával gyors és méretezhető alkalmazásokat hozhat létre, amelyek adatvezérelt forgatókönyveket céloznak meg. Például gépi tanulás (ML), Extract-Transform-Load (ETL) és Log Analytics. Az összekötővel az adatbázis érvényes adattár lesz a standard Spark-forrás- és fogadóműveletek, például az olvasás, az írás és a writeStream számára.

Apache Spark az Azure Synapse Analyticshez

Az Apache Spark egy párhuzamos feldolgozási keretrendszer, amely támogatja a memórián belüli feldolgozást a big data elemzési alkalmazások teljesítményének növelése érdekében. Az Apache Spark az Azure Synapse Analyticsben az Apache Spark egyik implementációja a felhőben. Adatbázist a Synapse Studióból érhet el az Apache Spark for Azure Synapse Analytics használatával.

Azure Data Factory

Az Azure Data Factory (ADF) egy felhőalapú adatintegrációs szolgáltatás, amely lehetővé teszi a különböző adattárak integrálását és az adatokon végzett tevékenységek végrehajtását.

Azure-eseményközpontok

Az Azure Event Hubs egy big data streamelési platform és eseménybetöltési szolgáltatás. Konfigurálhatja a folyamatos betöltést az ügyfél által felügyelt Event Hubsból.

Azure Functions

Az Azure Functions lehetővé teszi, hogy kiszolgáló nélküli kódot futtasson a felhőben ütemezés szerint vagy egy eseményre válaszul. Az Azure Functions bemeneti és kimeneti kötéseivel integrálhatja az adatbázist a munkafolyamatokba az adatok betöltéséhez és lekérdezések futtatásához az adatbázison.

Azure Stream Analytics

Az Azure Stream Analytics egy valós idejű elemzési és összetett eseményfeldolgozó motor, amelynek célja, hogy egyszerre több forrásból származó nagy mennyiségű gyors streamelési adatot dolgozzon fel.

Cribl Stream

A Cribl Stream egy feldolgozó motor, amely biztonságosan gyűjti, dolgozza fel és streameli a gép eseményadatait bármilyen forrásból. Lehetővé teszi az adatok elemzését és feldolgozását bármely elemzési célhelyen.

  • Funkció: Betöltés
  • Támogatott betöltési típus: Kötegelés, streamelés
  • Használati esetek: Gépi adatfeldolgozás, beleértve a naplókat, metrikákat, rendszerállapot-adatokat
  • Dokumentáció: Adatok lekérése a Cribl Streamből

Fluent Bit

A Fluent Bit egy nyílt forráskódú ügynök, amely naplókat, metrikákat és nyomkövetéseket gyűjt különböző forrásokból. Lehetővé teszi az eseményadatok szűrését, módosítását és összesítését, mielőtt a tárolóba küldené azokat.

LogStash

A Logstash beépülő modul lehetővé teszi a Logstash eseményeinek feldolgozását egy adatbázisba későbbi elemzés céljából.

NLog

Az NLog egy rugalmas és ingyenes naplózási platform különböző .NET-platformokhoz, beleértve a .NET szabványt is. Az NLog lehetővé teszi, hogy több célhoz, például adatbázishoz, fájlhoz vagy konzolhoz írjon. Az NLog használatával menet közben módosíthatja a naplózási konfigurációt. Az NLog-fogadó az NLog egyik célja, amely lehetővé teszi a naplóüzenetek adatbázisba küldését. A beépülő modul hatékonyan elsüllyesztheti a naplókat a fürtön.

OpenTelemetry

Az OpenTelemetry-összekötő számos fogadó adatainak az adatbázisba való betöltését támogatja. Hídként működik az OpenTelemetria által létrehozott adatok adatbázisba való betöltéséhez az exportált adatok formátumának igényei szerinti testreszabásával.

Power Automate

A Power Automate egy vezénylési szolgáltatás, amellyel automatizálhatja az üzleti folyamatokat. A Power Automate (korábban Microsoft Flow-összekötő) lehetővé teszi a folyamatok vezénylésének és ütemezésének, értesítések és riasztások küldésének végrehajtását egy ütemezett vagy aktivált feladat részeként.

Szerilog

A Serilog egy népszerű naplózási keretrendszer, amely .NET-alkalmazásokhoz készült. A Serilog lehetővé teszi a fejlesztők számára, hogy tetszőleges részletességgel szabályozzák a naplózó neve, naplózói szint és üzenetminta alapján, hogy mely naplósorok legyenek kiírva. A Serilog fogadó, más néven hozzáfűző, a naplóadatokat az adatbázisba streameli, ahol valós időben elemezheti és vizualizálhatja a naplókat.

Splunk

A Splunk Enterprise egy szoftverplatform, amellyel egyszerre több forrásból is betölthet adatokat. Az Azure Data Explorer bővítmény adatokat küld a Splunkból a fürt egy táblájához.

Splunk univerzális továbbító

Telegraf

A Telegraf egy nyílt forráskód, könnyű, minimális memóriabeli lábnyomat-ügynök a telemetriai adatok , például naplók, metrikák és IoT-adatok gyűjtéséhez, feldolgozásához és írásához. A Telegraf több száz bemeneti és kimeneti beépülő modult támogat. Széles körben használják és támogatják a nyílt forráskód közösség. A kimeneti beépülő modul a Telegraf összekötője, és támogatja az adatok betöltését számos bemeneti beépülő modulból az adatbázisba.