Az integráció áttekintése
Számos adatösszekötő, eszköz és integráció létezik, amelyek zökkenőmentesen működnek az adatbetöltési, vezénylési, kimeneti és adatlekérdezési platformmal. Ez a dokumentum magas szintű áttekintést nyújt az elérhető összekötőkről, eszközökről és integrációkról. Az egyes összekötőkről részletes információkat, valamint a teljes dokumentációra mutató hivatkozásokat talál.
Egy adott integrációs típus áttekintési lapjaihoz válassza az alábbi gombok egyikét.
Összehasonlító táblázatok
Az alábbi táblázatok összefoglalják az egyes elemek képességeit. Válassza ki az összekötőknek, eszközöknek és integrációknak megfelelő lapot. Minden elemnév hozzá van kapcsolva a részletes leíráshoz.
Az alábbi táblázat összefoglalja az elérhető összekötőket és azok képességeit:
Name | Betöltés | Exportálás | Vezénylés | Lekérdezés |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
Apache Spark Azure Synapse Analyticshez | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
Azure Event Grid | ✔️ | |||
Azure Event Hubs | ✔️ | |||
Azure Functions | ✔️ | ✔️ | ||
Azure IoT Hubs | ✔️ | |||
Azure Stream Analytics | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
LogStash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Telemetria megnyitása | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Szerilog | ✔️ | |||
Splunk | ✔️ | |||
Splunk univerzális továbbító | ✔️ | |||
Telegraf | ✔️ |
Részletes leírások
Az alábbiakban az összekötők, eszközök és integrációk részletes leírását találja. Válassza ki az összekötőknek, eszközöknek és integrációknak megfelelő lapot. Az összes elérhető elem összegzése a fenti Összehasonlító táblázatokban található.
Apache Kafka
Az Apache Kafka egy elosztott streamelési platform valós idejű streamelési adatfolyam-folyamatok létrehozásához, amelyek megbízhatóan mozgatják az adatokat a rendszerek vagy alkalmazások között. A Kafka Connect az Apache Kafka és más adatrendszerek közötti skálázható és megbízható adatstreamelés egyik eszköze. A Kafka-fogadó a Kafka összekötője, és nem igényel kódot. Ez a Confluent által minősített arany minősítéssel rendelkezik – átfogó felülvizsgálaton és tesztelésen esett át a minőség, a funkciók teljessége, a szabványoknak való megfelelés és a teljesítmény szempontjából.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Naplók, telemetria, idősorok
- Mögöttes SDK:Java
- Tárház: Microsoft Azure – https://github.com/Azure/kafka-sink-azure-kusto/
- Dokumentáció:Adatok betöltése az Apache Kafkából
- Közösségi blog:Kafka-betöltés az Azure Data Explorer
Apache Flink
Az Apache Flink egy keretrendszer és elosztott feldolgozási motor, amely az állapotalapú számításokhoz kötetlen és határolókeretes adatfolyamokon keresztül használható. Az összekötő adatgyűjtőt implementál az adatok Azure Data Explorer és Flink-fürtök közötti áthelyezéséhez. Az Azure Data Explorer és az Apache Flink használatával gyors és méretezhető alkalmazásokat hozhat létre, amelyek adatvezérelt forgatókönyveket céloznak meg. Például gépi tanulás (ML), Extract-Transform-Load (ETL) és Log Analytics.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Streaming
- Használati esetek: Telemetria
- Mögöttes SDK:Java
- Tárház: Microsoft Azure – https://github.com/Azure/flink-connector-kusto/
- Dokumentáció:Adatok betöltése az Apache Flinkből
Apache Log4J 2
A Log4J egy népszerű naplózási keretrendszer az Apache Foundation által fenntartott Java-alkalmazásokhoz. A Log4j segítségével a fejlesztők tetszőleges részletességgel szabályozhatják, hogy mely naplóüzenetek kimenete legyen a naplózó neve, a naplózó szintje és az üzenetminta alapján. Az Apache Log4J 2 fogadó lehetővé teszi a naplóadatok streamelését az adatbázisba, ahol valós időben elemezheti és megjelenítheti a naplókat.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Naplók
- Mögöttes SDK:Java
- Tárház: Microsoft Azure – https://github.com/Azure/azure-kusto-log4j
- Dokumentáció:Adatok betöltése az Apache Log4J 2-összekötővel
- Közösségi blog:Az Apache Log4J és az Azure Data Explorer használatának első lépései
Apache Spark
Az Apache Spark egy egységes elemzési motor a nagy léptékű adatfeldolgozáshoz. A Spark-összekötő egy nyílt forráskód projekt, amely bármely Spark-fürtön futtatható. Implementálja az adatforrást és az adatgyűjtőt az adatok Spark-fürtökbe vagy -fürtökről történő áthelyezéséhez. Az Apache Spark-összekötővel gyors és méretezhető alkalmazásokat hozhat létre, amelyek adatvezérelt forgatókönyveket céloznak meg. Például gépi tanulás (ML), Extract-Transform-Load (ETL) és Log Analytics. Az összekötővel az adatbázis a standard Spark-forrás- és fogadóműveletek, például az olvasás, az írás és a writeStream érvényes adattárává válik.
- Funkcionalitás: Betöltés, exportálás
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Telemetria
- Mögöttes SDK:Java
- Tárház: Microsoft Azure – https://github.com/Azure/azure-kusto-spark/
- Dokumentáció:Apache Spark-összekötő
- Közösségi blog:Adatok előfeldolgozása az Azure Data Explorer for Azure Data Explorer-hez az Apache Spark használatával
Apache Spark for Azure Synapse Analytics
Az Apache Spark egy párhuzamos feldolgozási keretrendszer, amely támogatja a memórián belüli feldolgozást a big data elemzési alkalmazások teljesítményének növelése érdekében. Az Apache Spark a Azure Synapse Analyticsben az Apache Spark felhőbeli implementációinak egyike. Az adatbázisokat az Azure Synapse Analyticshez készült Apache Sparkkal Synapse Studio érheti el.
- Funkcionalitás: Betöltés, exportálás
- A betöltési típus támogatott: Adagoló
- Használati esetek: Telemetria
- Mögöttes SDK:Java
- Dokumentáció:Csatlakozás Azure Synapse munkaterülethez
Azure Cosmos DB
Az Azure Cosmos DB változáscsatornájának adatkapcsolata egy betöltési folyamat, amely figyeli a Cosmos DB változáscsatornáját, és betölti az adatokat az adatbázisba.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Változáscsatorna
- Dokumentáció:Adatok betöltése az Azure Cosmos DB-ből (előzetes verzió)
Azure Data Factory
A Azure Data Factory (ADF) egy felhőalapú adatintegrációs szolgáltatás, amely lehetővé teszi különböző adattárak integrálását és az adatokon végzett tevékenységek végrehajtását.
- Funkcionalitás: Betöltés, exportálás
- A betöltési típus támogatott: Adagoló
- Használati esetek: Adatvezénylés
- Dokumentáció:Adatok másolása az adatbázisba a Azure Data Factory használatával
Azure Event Grid
Az Event Grid-betöltés olyan folyamat, amely figyeli az Azure Storage-ot, és frissíti az adatbázist, hogy lekérje az adatokat az előfizetett események bekövetkezésekor. Konfigurálhatja a folyamatos betöltést az Azure Storage-ból (Blob Storage és ADLSv2) egy Azure Event Grid-előfizetéssel a létrehozott blobok vagy blobok átnevezett értesítéseihez, és streamelheti az értesítéseket Azure Event Hubs keresztül.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Eseményfeldolgozás
- Dokumentáció:Event Grid-adatkapcsolat
Azure Event Hubs
Azure Event Hubs egy big data streamelési platform és eseménybetöltési szolgáltatás. A folyamatos betöltés konfigurálható az ügyfél által felügyelt Event Hubsból.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Dokumentáció:Azure Event Hubs adatkapcsolat
Azure Functions
Azure Functions lehetővé teszi, hogy kiszolgáló nélküli kódot futtasson a felhőben ütemezés szerint vagy egy eseményre válaszul. A Azure Functions bemeneti és kimeneti kötéseivel integrálhatja az adatbázist a munkafolyamatokba az adatok betöltéséhez és lekérdezések futtatásához az adatbázison.
- Funkcionalitás: Betöltés, exportálás
- A betöltési típus támogatott: Adagoló
- Használati esetek: Munkafolyamat-integrációk
- Dokumentáció:Azure Functions integrálása bemeneti és kimeneti kötésekkel (előzetes verzió)
- Közösségi blog:Azure Data Explorer (Kusto) kötések Azure Functions
Azure IoT Hubs
Azure IoT Hub egy felhőben üzemeltetett felügyelt szolgáltatás, amely központi üzenetközpontként szolgál az IoT-alkalmazás és az általa felügyelt eszközök közötti kétirányú kommunikációhoz. Konfigurálhatja a folyamatos betöltést az ügyfél által felügyelt IoT Hubsból az eszközről a felhőbe irányuló üzenetek beépített végpontjával kompatibilis Event Hubs használatával.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: IoT-adatok
- Dokumentáció:IoT Hub adatkapcsolat
Azure Stream Analytics
Az Azure Stream Analytics egy valós idejű elemzési és összetett eseményfeldolgozó motor, amelynek célja, hogy egyszerre több forrásból származó nagy mennyiségű gyors streamelési adatot dolgozzon fel.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Eseményfeldolgozás
- Dokumentáció:Adatok betöltése az Azure Stream Analyticsből
Fluent Bit
A Fluent Bit egy nyílt forráskódú ügynök, amely naplókat, metrikákat és nyomkövetéseket gyűjt különböző forrásokból. Lehetővé teszi az eseményadatok szűrését, módosítását és összesítését, mielőtt elküldené azokat a tárolóba.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Naplók, metrikák, nyomkövetések
- Adattár:fluent-bit Kusto kimeneti beépülő modul
- Dokumentáció:Adatok betöltése a Fluent Bit használatával az Azure Data Explorer
- Közösségi blog:A Fluent bit és az Azure Data Explorer használatának első lépései
JDBC
A Java Database Connectivity (JDBC) egy adatbázisokhoz való kapcsolódásra és lekérdezések végrehajtására szolgáló Java API. A JDBC használatával csatlakozhat az Azure Data Explorerhez.
- Funkcionalitás: Lekérdezés, vizualizáció
- Mögöttes SDK:Java
- Dokumentáció:Csatlakozás az Azure Data Explorer-hez JDBC-vel
Logic Apps
A Microsoft Logic Apps-összekötővel automatikusan futtathat lekérdezéseket és parancsokat egy ütemezett vagy aktivált feladat részeként.
- Funkcionalitás: Betöltés, exportálás
- A betöltési típus támogatott: Adagoló
- Használati esetek: Adatvezénylés
- Dokumentáció:Microsoft Logic Apps és Azure Data Explorer
LogStash
A Logstash beépülő modul lehetővé teszi a Logstash eseményeinek feldolgozását egy Azure Data Explorer-adatbázisba későbbi elemzés céljából.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Adagoló
- Használati esetek: Naplók
- Mögöttes SDK:Java
- Tárház: Microsoft Azure – https://github.com/Azure/logstash-output-kusto/
- Dokumentáció:Adatok betöltése a Logstashból
- Közösségi blog:Migrálás az Elasticsearchből az Azure Data Explorer
Matlab
A MATLAB egy programozási és numerikus számítástechnikai platform, amellyel adatokat elemezhet, algoritmusokat fejleszthet és modelleket hozhat létre. A MATLAB-ben lekérhet egy engedélyezési jogkivonatot az adatok Azure-Data Explorer való lekérdezéséhez.
- Funkcionalitás: Lekérdezés
- Dokumentáció:Adatok lekérdezése a MATLAB használatával
NLog
Az NLog egy rugalmas és ingyenes naplózási platform a különböző .NET-platformokhoz, beleértve a .NET standardot is. Az NLog lehetővé teszi, hogy több célhoz, például adatbázishoz, fájlhoz vagy konzolhoz írjon. Az NLog használatával menet közben módosíthatja a naplózási konfigurációt. Az NLog-fogadó az NLog célja, amely lehetővé teszi a naplóüzenetek elküldését az adatbázisba. A beépülő modul hatékony módot biztosít a naplók fürtbe való elsüllyesztésére.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Telemetria, naplók, metrikák
- Mögöttes SDK:.NET
- Tárház: Microsoft Azure – https://github.com/Azure/azure-kusto-nlog-sink
- Dokumentáció:Adatok betöltése az NLog-fogadóval
- Közösségi blog:Ismerkedés az NLog-fogadóval és az Azure Data Explorer
ODBC
Az Open Database Connectivity (ODBC) egy széles körben elfogadott alkalmazásprogramozási felület (API) az adatbázis-hozzáféréshez. Az Azure Data Explorer kompatibilis a SQL Server kommunikációs protokoll (MS-TDS) egy részhalmazával. Ez a kompatibilitás lehetővé teszi az ODBC-illesztő használatát az Azure Data Explorer SQL Server esetében.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Telemetria, naplók, metrikák
- Dokumentáció:Csatlakozás az Azure Data Explorer-hez az ODBC-vel
Telemetria megnyitása
Az OpenTelemetry-összekötő számos fogadóból származó adatok betöltését támogatja az adatbázisba. Hídként működik az Open telemetria által az adatbázisba létrehozott adatok betöltéséhez az exportált adatok formátumának igény szerinti testreszabásával.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Nyomkövetések, metrikák, naplók
- Mögöttes SDK:Go
- Tárház: Telemetria megnyitása – https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- Dokumentáció:Adatok betöltése az OpenTelemetryből
- Közösségi blog:Az Open Telemetria és az Azure Data Explorer használatának első lépései
Power Apps
A Power Apps egy alkalmazásokat, szolgáltatásokat, összekötőket és adatplatformokat tartalmazó csomag, amely gyors alkalmazásfejlesztési környezetet biztosít az üzleti adatokhoz csatlakozó egyéni alkalmazások létrehozásához. A Power Apps-összekötő akkor hasznos, ha az Azure Data Explorer streamelési adatainak nagy és növekvő gyűjteménye van, és alacsony kódú, magas funkcionalitású alkalmazást szeretne létrehozni az adatok felhasználásához.
- Funkcionalitás: Lekérdezés, betöltés, exportálás
- A betöltési típus támogatott: Adagoló
- Dokumentáció:Adatok lekérdezése a Power Apps használatával az Azure Data Explorer
Power Automate
A Power Automate egy vezénylési szolgáltatás, amely az üzleti folyamatok automatizálására szolgál. A Power Automate (korábban Microsoft Flow-összekötő) lehetővé teszi folyamatok vezénylésének és ütemezésének, értesítések és riasztások küldését egy ütemezett vagy aktivált feladat részeként.
- Funkcionalitás: Betöltés, exportálás
- A betöltési típus támogatott: Adagoló
- Használati esetek: Adatvezénylés
- Dokumentáció:Microsoft Power Automate-összekötő
Szerilog
A Serilog egy népszerű naplózási keretrendszer a .NET-alkalmazásokhoz. A Serilog lehetővé teszi a fejlesztők számára, hogy a naplózó neve, a naplózó szintje és az üzenetminta alapján tetszőleges részletességgel szabályozhatják, hogy mely naplókivonatok legyenek kimenetek. A Serilog fogadó, más néven hozzáfűző, a naplóadatokat az adatbázisba streameli, ahol valós időben elemezheti és vizualizálhatja a naplókat.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Naplók
- Mögöttes SDK:.NET
- Tárház: Microsoft Azure – https://github.com/Azure/serilog-sinks-azuredataexplorer
- Dokumentáció:Adatok betöltése a Serilog-fogadóval
- Közösségi blog:A Serilog-fogadó és az Azure Data Explorer használatának első lépései
Splunk
A Splunk Enterprise egy szoftverplatform, amellyel egyszerre több forrásból is betölthet adatokat. Az Azure Data Explorer bővítmény adatokat küld a Splunkból a fürt egy táblájához.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Adagoló
- Használati esetek: Naplók
- Mögöttes SDK:Python
- Tárház: Microsoft Azure – https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- Dokumentáció:Adatok betöltése a Splunkból
- Splunk Base:Microsoft Azure Data Explorer Add-On for Splunk
- Közösségi blog:A Splunkhoz készült Microsoft Azure Data Explorer Add-On használatának első lépései
Splunk univerzális továbbító
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Adagoló
- Használati esetek: Naplók
- Tárház: Microsoft Azure – https://github.com/Azure/azure-kusto-splunk
- Dokumentáció:Adatok betöltése a Splunk Univerzális továbbítóból az Azure Data Explorer
- Közösségi blog:Adatok betöltése splunk univerzális továbbító használatával az Azure Data Explorer
Telegraf
A Telegraf egy nyílt forráskód, könnyű, minimális memóriabeli lábnyomat-ügynök a telemetriai adatok gyűjtéséhez, feldolgozásához és írásához, beleértve a naplókat, metrikákat és IoT-adatokat. A Telegraf több száz bemeneti és kimeneti beépülő modult támogat. Széles körben használják és jól támogatják a nyílt forráskód közösség. A kimeneti beépülő modul a Telegraf összekötőjeként szolgál, és támogatja az adatok betöltését számos típusú bemeneti beépülő modulból az adatbázisba.
- Funkcionalitás: Lenyelés
- A betöltési típus támogatott: Kötegelés, streamelés
- Használati esetek: Telemetria, naplók, metrikák
- Mögöttes SDK:Go
- Tárház: InfluxData – https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- Dokumentáció:Adatok betöltése a Telegrafból
- Közösségi blog:A Telegraf új Azure Data Explorer kimeneti beépülő modulja nagy léptékű SQL-monitorozást tesz lehetővé