Přehled integrací
Existuje mnoho datových konektorů, nástrojů a integrací, které bezproblémově fungují s platformou pro příjem dat, orchestraci, výstup a dotazy na data. Tento dokument představuje základní přehled dostupných konektorů, nástrojů a integrací. Pro každý konektor jsou k dispozici podrobné informace spolu s odkazy na jeho úplnou dokumentaci.
Stránky s přehledem určitého typu integrace získáte výběrem jednoho z následujících tlačítek.
Srovnávací tabulky
Následující tabulky shrnují možnosti jednotlivých položek. Vyberte kartu odpovídající konektorům nebo nástrojům a integracím. Každý název položky je propojený s podrobným popisem položky.
Následující tabulka shrnuje dostupné konektory a jejich možnosti:
Název | Ingestování | Export | Orchestrace | Dotaz |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
Apache Spark pro Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
Azure Event Grid | ✔️ | |||
Azure Event Hubs | ✔️ | |||
Azure Functions | ✔️ | ✔️ | ||
Azure IoT Hubs | ✔️ | |||
Azure Stream Analytics | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Otevřít telemetrii | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Splunk Universal Forwarder | ✔️ | |||
Telegraf | ✔️ |
Podrobné popisy
Následuje podrobný popis konektorů, nástrojů a integrací. Vyberte kartu odpovídající konektorům nebo nástrojům a integracím. Všechny dostupné položky jsou shrnuté ve výše uvedených srovnávacích tabulkách .
Apache Kafka
Apache Kafka je distribuovaná streamovací platforma pro vytváření datových kanálů streamování v reálném čase, které spolehlivě přemísťují data mezi systémy nebo aplikacemi. Kafka Connect je nástroj pro škálovatelné a spolehlivé streamování dat mezi Apache Kafka a dalšími datovými systémy. Jímka Kafka slouží jako konektor systému Kafka a nevyžaduje použití kódu. Toto je gold certifikované společností Confluent – prošlo komplexní kontrolou a testováním z hlediska kvality, úplnosti funkcí, dodržování standardů a výkonu.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Protokoly, telemetrie, časové řady
- Podkladová sada SDK:Java
- Úložiště: Microsoft Azure – https://github.com/Azure/kafka-sink-azure-kusto/
- Dokumentace:Ingestování dat z Apache Kafka
- Blog komunity:Příjem dat Kafka do Azure Data Explorer
Apache Flink
Apache Flink je architektura a distribuovaný procesorový modul pro stavové výpočty nad nevázanými a ohraničenými datovými proudy. Konektor implementuje datovou jímku pro přesun dat mezi clustery Azure Data Explorer a Flink. Pomocí Azure Data Explorer a Apache Flink můžete vytvářet rychlé a škálovatelné aplikace zaměřené na scénáře řízené daty. Například strojové učení (ML), extrakce,transformace a načítání (ETL) a Log Analytics.
- Funkce: Požití
- Podporovaný typ příjmu dat: Streaming
- Případy použití: Telemetrie
- Podkladová sada SDK:Java
- Úložiště: Microsoft Azure – https://github.com/Azure/flink-connector-kusto/
- Dokumentace:Ingestování dat z Apache Flink
Apache Log4J 2
Log4J je oblíbená architektura protokolování pro aplikace Java spravované službou Apache Foundation. Log4j umožňuje vývojářům řídit, které příkazy protokolu budou výstupem, s libovolnou členitostí na základě názvu protokolovacího nástroje, úrovně protokolovacího nástroje a vzoru zprávy. Jímka Apache Log4J 2 umožňuje streamovat data protokolů do databáze, kde můžete analyzovat a vizualizovat protokoly v reálném čase.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Protokoly
- Podkladová sada SDK:Java
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-log4j
- Dokumentace:Ingestování dat pomocí konektoru Apache Log4J 2
- Blog komunity:Začínáme s Apache Log4J a Azure Data Explorer
Apache Spark
Apache Spark je jednotný analytický modul pro rozsáhlé zpracování dat. Konektor Sparku je open source projekt, který se dá spustit na libovolném clusteru Spark. Implementuje zdroj dat a jímku dat pro přesun dat do nebo z clusterů Spark. Pomocí konektoru Apache Spark můžete vytvářet rychlé a škálovatelné aplikace zaměřené na scénáře řízené daty. Například strojové učení (ML), extrakce,transformace a načítání (ETL) a Log Analytics. S konektorem se vaše databáze stane platným úložištěm dat pro standardní operace zdroje Sparku a jímky, jako je čtení, zápis a writeStream.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Telemetrie
- Podkladová sada SDK:Java
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-spark/
- Dokumentace:Konektor Apache Spark
- Blog komunity:Předzpracování dat pro Azure Data Explorer pro Azure Data Explorer pomocí Apache Sparku
Apache Spark pro Azure Synapse Analytics
Apache Spark je architektura pro paralelní zpracování, která podporuje zpracování v paměti pro zvýšení výkonu analytických aplikací pro velké objemy dat. Apache Spark v Azure Synapse Analytics je jednou z implementací Apache Sparku v cloudu od Microsoftu. K databázi můžete přistupovat z Synapse Studio pomocí Apache Sparku pro Azure Synapse Analytics.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Telemetrie
- Podkladová sada SDK:Java
- Dokumentace:Připojení k pracovnímu prostoru Azure Synapse
Azure Cosmos DB
Datové připojení kanálu změn Azure Cosmos DB je kanál pro příjem dat, který naslouchá vašemu kanálu změn cosmos DB a ingestuje data do databáze.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Kanál změn
- Dokumentace:Ingestování dat ze služby Azure Cosmos DB (Preview)
Azure Data Factory
Azure Data Factory (ADF) je cloudová služba pro integraci dat, která umožňuje integrovat různá úložiště dat a provádět s daty aktivity.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Orchestrace dat
- Dokumentace:Kopírování dat do databáze pomocí Azure Data Factory
Azure Event Grid
Příjem dat ve službě Event Grid je kanál, který naslouchá službě Azure Storage a aktualizuje databázi tak, aby při výskytu událostí odběru načítala informace. Můžete nakonfigurovat průběžný příjem dat ze služby Azure Storage (Blob Storage a ADLSv2) s Azure Event Grid předplatným pro oznámení o vytvoření objektu blob nebo přejmenování objektu blob a streamování oznámení prostřednictvím Azure Event Hubs.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Zpracování událostí
- Dokumentace:Datové připojení Event Gridu
Azure Event Hubs
Azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí. Můžete nakonfigurovat průběžný příjem dat ze služby Event Hubs spravované zákazníkem.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Dokumentace:Azure Event Hubs datové připojení
Azure Functions
Azure Functions umožňují spouštět bezserverový kód v cloudu podle plánu nebo v reakci na událost. Se vstupními a výstupními vazbami pro Azure Functions můžete integrovat databázi do pracovních postupů, abyste mohli ingestovat data a spouštět dotazy na databázi.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Integrace pracovních postupů
- Dokumentace:Integrace Azure Functions pomocí vstupních a výstupních vazeb (Preview)
- Blog komunity:Vazby azure Data Explorer (Kusto) pro Azure Functions
Azure IoT Hubs
Azure IoT Hub je spravovaná služba hostovaná v cloudu, která funguje jako centrum zpráv pro obousměrnou komunikaci mezi aplikací IoT a zařízeními, která spravuje. Průběžný příjem dat ze služby IoT Hubs spravované zákazníkem můžete nakonfigurovat pomocí integrovaného koncového bodu zpráv typu zařízení-cloud kompatibilního se službou Event Hubs.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Data IoT
- Dokumentace:IoT Hub datové připojení
Azure Stream Analytics
Azure Stream Analytics je analytický modul v reálném čase a komplexní modul pro zpracování událostí, který je navržený tak, aby zpracovával velké objemy rychle streamovaných dat z více zdrojů současně.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Zpracování událostí
- Dokumentace:Příjem dat z Azure Stream Analytics
Fluent Bit
Fluent Bit je opensourcový agent, který shromažďuje protokoly, metriky a trasování z různých zdrojů. Umožňuje filtrovat, upravovat a agregovat data událostí před jejich odesláním do úložiště.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Protokoly, metriky, trasování
- Repository:fluent-bit Kusto Output Plugin
- Dokumentace:Ingestování dat s funkcí Fluent Bit do Azure Data Explorer
- Blog komunity:Začínáme s technologií Fluent bit a Azure Data Explorer
JDBC
Java Database Connectivity (JDBC) je rozhraní Java API, které se používá k připojení k databázím a spouštění dotazů. Pomocí JDBC se můžete připojit k Azure Data Exploreru.
- Funkce: Dotazování, vizualizace
- Podkladová sada SDK:Java
- Dokumentace:Připojení k Azure Data Explorer pomocí JDBC
Logic Apps
Konektor Microsoft Logic Apps umožňuje automaticky spouštět dotazy a příkazy jako součást naplánované nebo aktivované úlohy.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Orchestrace dat
- Dokumentace:Microsoft Logic Apps a Azure Data Explorer
Logstash
Modul plug-in Logstash umožňuje zpracovávat události z Logstash do databáze Azure Data Explorer pro pozdější analýzu.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Protokoly
- Podkladová sada SDK:Java
- Úložiště: Microsoft Azure – https://github.com/Azure/logstash-output-kusto/
- Dokumentace:Příjem dat z Logstash
- Blog komunity:Jak migrovat z Elasticsearch do Azure Data Explorer
Matlab
MATLAB je programovací a numerická výpočetní platforma používaná k analýze dat, vývoji algoritmů a vytváření modelů. V matlabu můžete získat autorizační token pro dotazování dat v Azure Data Explorer.
- Funkce: Dotazu
- Dokumentace:Dotazování dat pomocí MATLAB
NLog
NLog je flexibilní a bezplatná protokolovací platforma pro různé platformy .NET, včetně .NET Standard. NLog umožňuje zapisovat do několika cílů, například do databáze, souboru nebo konzoly. Pomocí protokolu NLog můžete konfiguraci protokolování průběžně měnit. Jímka NLog je cíl pro NLog, který umožňuje odesílat zprávy protokolu do databáze. Modul plug-in poskytuje efektivní způsob, jak prohloubíte protokoly do clusteru.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Telemetrie, protokoly, metriky
- Podkladová sada SDK:.NET
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-nlog-sink
- Dokumentace:Ingestování dat pomocí jímky NLog
- Blog komunity:Začínáme s jímkou NLog a Azure Data Explorer
ODBC
Rozhraní ODBC (Open Database Connectivity) je široce přijímané rozhraní API (Application Programming Interface) pro přístup k databázi. Azure Data Explorer je kompatibilní s podmnožinou SQL Server communication protocol (MS-TDS). Tato kompatibilita umožňuje použití ovladače ODBC pro SQL Server s Azure Data Explorer.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Telemetrie, protokoly, metriky
- Dokumentace:Připojení k Azure Data Explorer pomocí rozhraní ODBC
Otevření telemetrie
Konektor OpenTelemetry podporuje příjem dat z mnoha příjemců do databáze. Funguje jako most k ingestování dat vygenerovaných otevřením telemetrie do databáze přizpůsobením formátu exportovaných dat podle vašich potřeb.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Trasování, metriky, protokoly
- Podkladová sada SDK:Go
- Úložiště: Otevřít telemetrii – https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- Dokumentace:Ingestování dat z OpenTelemetry
- Blog komunity:Začínáme s open telemetrií a Azure Data Explorer
Power Apps
Power Apps je sada aplikací, služeb, konektorů a datové platformy, která poskytuje rychlé vývojové prostředí aplikací pro vytváření vlastních aplikací, které se připojují k obchodním datům. Konektor Power Apps je užitečný, pokud máte v Azure Data Explorer velkou a rostoucí kolekci streamovaných dat a chcete vytvořit vysoce funkční aplikaci s nízkým kódem, která tato data využije.
- Funkce: Dotazování, příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Dokumentace:Dotazování dat v Azure Data Explorer pomocí Power Apps
Power Automate
Power Automate je služba orchestrace používaná k automatizaci obchodních procesů. Konektor Power Automate (dříve Microsoft Flow) umožňuje orchestraci a plánování toků, odesílání oznámení a upozornění v rámci naplánované nebo aktivované úlohy.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Orchestrace dat
- Dokumentace:Konektor Microsoft Power Automate
Serilog
Serilog je oblíbená architektura protokolování pro aplikace .NET. Serilog umožňuje vývojářům řídit, které příkazy protokolu budou výstupem, s libovolnou členitostí na základě názvu protokolovacího nástroje, úrovně protokolovacího nástroje a vzoru zprávy. Jímka Serilog, označovaná také jako appender, streamuje data protokolu do databáze, kde můžete analyzovat a vizualizovat protokoly v reálném čase.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Protokoly
- Podkladová sada SDK:.NET
- Úložiště: Microsoft Azure – https://github.com/Azure/serilog-sinks-azuredataexplorer
- Dokumentace:Příjem dat s jímkou Serilog
- Blog komunity:Začínáme s jímkou Serilog a Azure Data Explorer
Splunk
Splunk Enterprise je softwarová platforma, která umožňuje ingestovat data z mnoha zdrojů současně. Doplněk Azure Data Explorer odesílá data ze Splunku do tabulky ve vašem clusteru.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Protokoly
- Základní sada SDK:Python
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- Dokumentace:Ingestování dat ze splunku
- Splunk Base:Microsoft Azure Data Explorer Add-On for Splunk
- Blog komunity:Začínáme s Microsoft Azure Data Explorer Add-On for Splunk
Splunk Universal Forwarder
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Protokoly
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-splunk
- Dokumentace:Ingestování dat z univerzálního předávače Splunk do Azure Data Explorer
- Blog komunity:Ingestování dat pomocí univerzálního předávače Splunk do Azure Data Explorer
Telegraf
Telegraf je open source, jednoduchý a minimální tiskový agent s minimální pamětí pro shromažďování, zpracování a zápis telemetrických dat, včetně protokolů, metrik a dat IoT. Telegraf podporuje stovky vstupních a výstupních modulů plug-in. Je široce používaný a dobře podporovaný komunitou open source. Výstupní modul plug-in slouží jako konektor telegrafu a podporuje příjem dat z mnoha typů vstupních modulů plug-in do databáze.
- Funkce: Požití
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Telemetrie, protokoly, metriky
- Podkladová sada SDK:Go
- Úložiště: InfluxData – https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- Dokumentace:Příjem dat z Telegrafu
- Blog komunity:Nový výstupní modul plug-in Azure Data Explorer pro Telegraf umožňuje monitorování SQL ve velkém měřítku
Související obsah
Váš názor
https://aka.ms/ContentUserFeedback.
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu:Odeslat a zobrazit názory pro