Del via

Oversigt over dataconnectors

Dataindtagelse er den proces, der bruges til at indlæse data fra en eller flere kilder i en KQL-database til realtidsintelligens i Microsoft Fabric. Når dataene er indtaget, bliver de tilgængelige for forespørgslen. Realtidsintelligens indeholder flere connectors til dataindtagelse.

I følgende tabel opsummeres de tilgængelige dataconnectors, værktøjer og integrationer.

Navn Funktionalitet Understøtter streaming? Skriv Bruge sager
Apache Flink Indtagelse ✔️ Åben kildekode Telemetri
Apache Kafka Indtagelse ✔️ Åben kildekode Logge, telemetri, tidsserie
Apache Log4J 2 Indtagelse ✔️ Åben kildekode Logfiler
Apache Spark Eksport
Indtagelse		 Åben kildekode Telemetri
Apache Spark til Azure Synapse Analytics Eksport
Indtagelse		 Første part Telemetri
Azure Data Factory Eksport
Indtagelse		 Første part Dataorkestrering
Azure Event Hubs Indtagelse ✔️ Første part Beskeder
Azure Functions- Eksport
Indtagelse		 Første part Integrationer af arbejdsprocesser
Azure Stream Analytics- Indtagelse ✔️ Første part Hændelsesbehandling
Cribl Stream Indtagelse ✔️ Første part Telemetri, logge, målepunkter, maskindata
Flydende bit Indtagelse ✔️ Åben kildekode Logge, målepunkter, sporinger
Logstash Indtagelse Åben kildekode Logfiler
NLog Indtagelse ✔️ Åben kildekode Telemetri, logge, målepunkter
Åbn telemetri Indtagelse ✔️ Åben kildekode Sporinger, målepunkter, logge
Power Automate Eksport
Indtagelse		 Første part Dataorkestrering
Serilog Indtagelse ✔️ Åben kildekode Logfiler
Splunk Indtagelse Åben kildekode Logfiler
Splunk Universal Forwarder Indtagelse Åben kildekode Logfiler
Telegraf Indtagelse ✔️ Åben kildekode Målepunkter, logge

I følgende tabel opsummeres de tilgængelige connectors og deres egenskaber:

Apache Flink er et struktur- og distribueret behandlingsprogram til tilstandsfulde beregninger over ubundne og afgrænsede datastrømme. Connectoren implementerer datavask til flytning af data på tværs af Azure Data Explorer og Flink-klynger. Ved hjælp af Azure Data Explorer og Apache Flink kan du bygge hurtige og skalerbare programmer, der er målrettet til datadrevne scenarier. F.eks. machine learning (ML), Extract-Transform-Load (ETL) og Log Analytics.

Apache Kafka

Apache Kafka er en distribueret streamingplatform til oprettelse af streamingdatapipelines i realtid, der pålideligt flytter data mellem systemer eller programmer. Kafka Connect er et værktøj til skalerbar og pålidelig streaming af data mellem Apache Kafka og andre datasystemer. Kafka Sink fungerer som connectoren fra Kafka og kræver ikke brug af kode. Connectoren er guldcertificeret af Confluent og gennemgik omfattende gennemgang og test af kvalitet, funktionsfuldhed, overholdelse af standarder og ydeevne.

Apache Log4J 2

Log4J er en populær logføringsstruktur for Java-programmer, der vedligeholdes af Apache Foundation. Log4j gør det muligt for udviklere at styre, hvilke logsætninger der outputs med vilkårlig granularitet baseret på logføringens navn, logføringsniveau og meddelelsesmønster. Apache Log4J 2-vasken giver dig mulighed for at streame dine logdata til din database, hvor du kan analysere og visualisere dine logge i realtid.

Apache Spark

Apache Spark er et samlet analyseprogram til databehandling i stor skala. Spark-connectoren er et åben kildekode projekt, der kan køre på en hvilken som helst Spark-klynge. Den implementerer datakilde og datavask til flytning af data til eller fra Spark-klynger. Ved hjælp af Apache Spark-connectoren kan du bygge hurtige og skalerbare programmer, der er målrettet til datadrevne scenarier. F.eks. machine learning (ML), Extract-Transform-Load (ETL) og Log Analytics. Med connectoren bliver databasen et gyldigt datalager til Standard Spark-kilde- og sinkhandlinger, f.eks. læse-, skrive- og writeStream.

Apache Spark til Azure Synapse Analytics

Apache Spark er en struktur til parallel behandling, der understøtter behandling i hukommelsen for at øge ydeevnen af big data-analyseprogrammer. Apache Spark i Azure Synapse Analytics er en af Microsofts implementeringer af Apache Spark i cloudmiljøet. Du kan få adgang til en database fra Synapse Studio med Apache Spark til Azure Synapse Analytics.

Azure Data Factory

Azure Data Factory (ADF) er en cloudbaseret dataintegrationstjeneste, der giver dig mulighed for at integrere forskellige datalagre og udføre aktiviteter på dataene.

Azure Event Hubs

Azure Event Hubs er en streamingplatform til big data og tjeneste til hændelsesindtagelse. Du kan konfigurere kontinuerlig indtagelse fra kundeadministrerede Event Hubs.

Azure Functions

Med Azure Functions kan du køre serveruafhængig kode i cloudmiljøet efter en tidsplan eller som svar på en hændelse. Med input- og outputbindinger til Azure Functions kan du integrere din database i dine arbejdsprocesser for at indtage data og køre forespørgsler i din database.

Azure Stream Analytics

Azure Stream Analytics er et analyseprogram i realtid og et komplekst program til behandling af hændelser, der er designet til at behandle store mængder hurtige streamingdata fra flere kilder samtidigt.

Cribl Stream

Cribl stream er et behandlingsprogram, der sikkert indsamler, behandler og streamer maskinhændelsesdata fra enhver kilde. Det giver dig mulighed for at fortolke og behandle disse data for enhver destination til analyse.

  • Funktionalitet: Indtagelse
  • Understøttet indtagelsestype: Batching, streaming
  • Use cases: Maskindatabehandling, herunder logge, målepunkter, instrumenteringsdata
  • Dokumentation:Hent data fra Cribl Stream

Flydende bit

Fluent Bit er en open source-agent, der indsamler logge, målepunkter og sporinger fra forskellige kilder. Det giver dig mulighed for at filtrere, redigere og aggregere hændelsesdata, før du sender dem til lageret.

Logstash

Med Logstash-plug-in'en kan du behandle hændelser fra Logstash til en database til senere analyse.

NLog

NLog er en fleksibel og gratis logføringsplatform til forskellige .NET-platforme, herunder .NET-standard. NLog giver dig mulighed for at skrive til flere mål, f.eks. en database, fil eller konsol. Med NLog kan du ændre logføringskonfigurationen på farten. NLog-vasken er et mål for NLog, der giver dig mulighed for at sende dine logmeddelelser til databasen. Plug-in'en gør det effektivt at sænke dine logge til din klynge.

OpenTelemetry

OpenTelemetry-connectoren understøtter indtagelse af data fra mange modtagere i databasen. Det fungerer som en bro til indfødningsdata, der genereres af OpenTelemetry, til din database ved at tilpasse formatet af de eksporterede data i henhold til dine behov.

Power Automate

Power Automate er en orkestreringstjeneste, der bruges til at automatisere forretningsprocesser. Med Power Automate (tidligere Microsoft Flow)-connectoren kan du orkestrere og planlægge flow, sende meddelelser og beskeder som en del af en planlagt eller udløst opgave.

Serilog

Serilog er en populær logføringsstruktur til .NET-applikationer. Serilog gør det muligt for udviklere at styre, hvilke logsætninger der udlæses med vilkårlig granularitet baseret på logførerens navn, logføringsniveau og meddelelsesmønster. Serilog-vasken, også kendt som en appender, streamer dine logdata til din database, hvor du kan analysere og visualisere dine logge i realtid.

Splunk

Splunk Enterprise er en softwareplatform, der giver dig mulighed for at indtage data fra mange kilder samtidigt. Tilføjelsesprogrammet Azure Data Explorer sender data fra Splunk til en tabel i din klynge.

Splunk Universal Forwarder

Telegraf

Telegraf er en åben kildekode, letvægtsudskrivningsagent med minimal hukommelsesfodsudskrivning til indsamling, behandling og skrivning af telemetridata, herunder logge, målepunkter og IoT-data. Telegraf understøtter hundredvis af plug-ins til input og output. Det bruges i vid udstrækning og understøttes godt af det åben kildekode community. Output-plug-in'en fungerer som connectoren fra Telegraf og understøtter indtagelse af data fra mange typer input-plug-ins i din database.