Hendelser
31. mars, 23 - 2. apr., 23
Det ultimate fabric-, AI- og SQL-, Power BI-fellesskapsledede arrangementet. 31 mars til 2 april. Bruk koden MSCUST for en rabatt på USD 150.
Registrer deg i dagDenne nettleseren støttes ikke lenger.
Oppgrader til Microsoft Edge for å dra nytte av de nyeste funksjonene, sikkerhetsoppdateringene og den nyeste tekniske støtten.
Datainntak er prosessen som brukes til å laste inn data fra én eller flere kilder til en KQL-database for sanntidsintelligens i Microsoft Fabric. Når de er inntatt, blir dataene tilgjengelige for spørring. Sanntidsintelligens inneholder flere koblinger for datainntak.
Tabellen nedenfor oppsummerer de tilgjengelige datakoblingene, verktøyene og integreringene.
Name | Funksjon | Støtter strømming? | Type | Brukstilfeller |
---|---|---|---|---|
Apache Flink | Inntak | ✔️ | Åpen kilde | Telemetri |
Apache Kafka | Inntak | ✔️ | Åpen kilde | Logger, telemetri, tidsserie |
Apache Log4J 2 | Inntak | ✔️ | Åpen kilde | Logger |
Apache Spark | Eksporter Inntak |
Åpen kilde | Telemetri | |
Apache Spark for Azure Synapse Analytics | Eksporter Inntak |
Førstepart | Telemetri | |
Azure Data Factory | Eksporter Inntak |
Førstepart | Dataorganisering | |
Azure Event Hubs | Inntak | ✔️ | Førstepart | Meldinger |
Azure Functions | Eksporter Inntak |
Førstepart | Arbeidsflytintegreringer | |
Azure Stream Analytics | Inntak | ✔️ | Førstepart | Hendelsesbehandling |
Cribl Stream | Inntak | ✔️ | Førstepart | Telemetri, logger, måledata, maskindata |
Fluent Bit | Inntak | ✔️ | Åpen kilde | Logger, måledata, sporinger |
Logstash | Inntak | Åpen kilde | Logger | |
NLog | Inntak | ✔️ | Åpen kilde | Telemetri, logger, måledata |
Åpne telemetri | Inntak | ✔️ | Åpen kilde | Sporinger, måledata, logger |
Power Automate | Eksporter Inntak |
Førstepart | Dataorganisering | |
Serilog | Inntak | ✔️ | Åpen kilde | Logger |
Splunk | Inntak | Åpen kilde | Logger | |
Splunk Universal Forwarder | Inntak | Åpen kilde | Logger | |
Telegraf | Inntak | ✔️ | Åpen kilde | Måledata, logger |
Tabellen nedenfor oppsummerer de tilgjengelige koblingene og funksjonene deres:
Apache Flink er et rammeverk og distribuert behandlingsmotor for tilstandsfulle beregninger over ubundne og avgrensede datastrømmer. Koblingen implementerer datavask for flytting av data på tvers av Azure Data Explorer- og Flink-klynger. Ved hjelp av Azure Data Explorer og Apache Flink kan du bygge raske og skalerbare programmer rettet mot datadrevne scenarier. Maskinlæring (ML), Extract-Transform-Load (ETL) og Log Analytics.
Apache Kafka er en distribuert strømmeplattform for bygging av datasamlebånd i sanntid som på en pålitelig måte flytter data mellom systemer eller programmer. Kafka Connect er et verktøy for skalerbar og pålitelig strømming av data mellom Apache Kafka og andre datasystemer. Kafka sink fungerer som koblingen fra Kafka og krever ikke bruk av kode. Koblingen er gullsertifisert av Confluent og gikk gjennom omfattende gjennomgang og testing for kvalitet, funksjonsfullhet, samsvar med standarder og for ytelse.
Log4J er et populært loggingsrammeverk for Java-programmer vedlikeholdt av Apache Foundation. Log4j gjør det mulig for utviklere å kontrollere hvilke loggsetninger som er utdata med vilkårlig detaljnivå basert på loggerens navn, loggernivå og meldingsmønster. Apache Log4J 2-vasken lar deg strømme loggdataene til databasen, der du kan analysere og visualisere loggene i sanntid.
Apache Spark er en enhetlig analysemotor for databehandling i stor skala. Spark-koblingen er et åpen kilde prosjekt som kan kjøre på en hvilken som helst Spark-klynge. Den implementerer datakilde og datavask for å flytte data til eller fra Spark-klynger. Ved hjelp av Apache Spark-koblingen kan du bygge raske og skalerbare programmer rettet mot datadrevne scenarier. Maskinlæring (ML), Extract-Transform-Load (ETL) og Log Analytics. Med koblingen blir databasen et gyldig datalager for standard Spark-kilde- og vaskoperasjoner, for eksempel lese, skrive og skrivestrøm.
Apache Spark er et parallelt behandlingsrammeverk som støtter minnebehandling for å øke ytelsen til store dataanalyseprogrammer. Apache Spark i Azure Synapse Analytics er en av Microsofts implementeringer av Apache Spark i skyen. Du kan få tilgang til en database fra Synapse Studio med Apache Spark for Azure Synapse Analytics.
Azure Data Factory (ADF) er en skybasert dataintegrasjonstjeneste som lar deg integrere ulike datalagre og utføre aktiviteter på dataene.
Azure Event Hubs er en plattform for strømming av store data og hendelsesinntakstjenester. Du kan konfigurere kontinuerlig inntak fra kundeadministrerte hendelseshuber.
Med Azure Functions kan du kjøre serverløs kode i skyen etter en tidsplan eller som svar på en hendelse. Med inndata- og utdatabindinger for Azure Functions kan du integrere databasen i arbeidsflytene for å innta data og kjøre spørringer mot databasen.
Azure Stream Analytics er en analyse i sanntid og en kompleks motor for hendelsesbehandling som er utformet for å behandle store mengder raske strømmingsdata fra flere kilder samtidig.
Cribl Stream er en behandlingsmotor som sikkert samler inn, behandler og strømmer maskinhendelsesdata fra en hvilken som helst kilde. Den lar deg analysere og behandle dataene for alle mål for analyse.
Fluent Bit er en åpen kildekode-agent som samler inn logger, måledata og sporinger fra ulike kilder. Den lar deg filtrere, endre og aggregere hendelsesdata før du sender dem til lagring.
Plugin-modulen Logstash gjør det mulig å behandle hendelser fra Logstash til en database for senere analyse.
NLog er en fleksibel og gratis loggingsplattform for ulike .NET-plattformer, inkludert .NET-standard. Med NLog kan du skrive til flere mål, for eksempel en database, fil eller konsoll. Med NLog kan du endre loggingskonfigurasjonen på farten. NLog-vasken er et mål for NLog som lar deg sende loggmeldingene til databasen. Plugin-modulen gir en effektiv måte å senke loggene til klyngen på.
OpenTelemetry-koblingen støtter inntak av data fra mange mottakere til databasen. Det fungerer som en bro for å innta data generert av OpenTelemetry til databasen ved å tilpasse formatet til de eksporterte dataene etter dine behov.
Power Automate er en orkestreringstjeneste som brukes til å automatisere forretningsprosesser. ( Power Automate tidligere Microsoft Flow)-koblingen gjør det mulig å organisere og planlegge flyter, sende varsler og varsler, som en del av en planlagt eller utløst oppgave.
Serilog er et populært loggingsstruktur for .NET-programmer. Serilog lar utviklere kontrollere hvilke loggsetninger som sendes ut med vilkårlig kornethet basert på loggerens navn, loggernivå og meldingsmønster. Serilog-vasken, også kjent som en tilføying, strømmer loggdataene til databasen, der du kan analysere og visualisere loggene i sanntid.
Splunk Enterprise er en programvareplattform som lar deg innta data fra mange kilder samtidig. Azure Data Explorer-tillegget sender data fra Splunk til en tabell i klyngen.
Telegraf er en åpen kilde, lett, minimal minnefotutskriftsagent for innsamling, behandling og skriving av telemetridata, inkludert logger, måledata og IoT-data. Telegraf støtter hundrevis av inndata- og utdatatillegg. Det er mye brukt og godt støttet av åpen kilde fellesskapet. Plugin-modulen for utdata fungerer som kobling fra Telegraf og støtter inntak av data fra mange typer inndatatillegg i databasen.
Hendelser
31. mars, 23 - 2. apr., 23
Det ultimate fabric-, AI- og SQL-, Power BI-fellesskapsledede arrangementet. 31 mars til 2 april. Bruk koden MSCUST for en rabatt på USD 150.
Registrer deg i dagOpplæring
Læringsbane
Innta data med Microsoft Fabric - Training
Utforsk hvordan Microsoft Fabric gjør det mulig å innta og organisere data fra ulike kilder (for eksempel filer, databaser eller nettjenester) gjennom dataflyter, notatblokker og datasamlebånd.
Sertifisering
Microsoft Certified: Fabric Data Engineer Associate - Certifications
As a Fabric Data Engineer, you should have subject matter expertise with data loading patterns, data architectures, and orchestration processes.