Udostępnij za pośrednictwem

Omówienie łączników danych

  • Artykuł

Pozyskiwanie danych to proces używany do ładowania danych z co najmniej jednego źródła do bazy danych KQL analizy w czasie rzeczywistym w usłudze Microsoft Fabric. Po pozyskaniu dane staną się dostępne dla zapytań. Analiza w czasie rzeczywistym udostępnia kilka łączników do pozyskiwania danych.

Poniższa tabela zawiera podsumowanie dostępnych łączników danych, narzędzi i integracji.

Nazwisko Funkcje Obsługuje przesyłanie strumieniowe? Typ Przypadki użycia
Apache Flink Połknięcie ✔️ Oprogramowanie open source Telemetria
Apache Kafka Połknięcie ✔️ Oprogramowanie open source Dzienniki, telemetria, szeregi czasowe
Apache Log4J 2 Połknięcie ✔️ Oprogramowanie open source Dzienniki
Apache Spark Eksportowanie
Połknięcie		 Oprogramowanie open source Telemetria
Platforma Apache Spark dla usługi Azure Synapse Analytics Eksportowanie
Połknięcie		 Firmowe Telemetria
Azure Data Factory Eksportowanie
Połknięcie		 Firmowe Aranżacja danych
Azure Event Hubs Połknięcie ✔️ Firmowe Obsługa komunikatów
Azure Functions Eksportowanie
Połknięcie		 Firmowe Integracje przepływów pracy
Azure Stream Analytics Połknięcie ✔️ Firmowe Przetwarzanie zdarzeń
Bit płynny Połknięcie ✔️ Oprogramowanie open source Dzienniki, metryki, ślady
Usługa Logstash Połknięcie Oprogramowanie open source Dzienniki
NLog Połknięcie ✔️ Oprogramowanie open source Telemetria, dzienniki, metryki
Otwieranie telemetrii Połknięcie ✔️ Oprogramowanie open source Ślady, metryki, dzienniki
Power Automate Eksportowanie
Połknięcie		 Firmowe Aranżacja danych
Serilog Połknięcie ✔️ Oprogramowanie open source Dzienniki
Splunk Połknięcie Oprogramowanie open source Dzienniki
Spunk Universal Forwarder Połknięcie Oprogramowanie open source Dzienniki
Telegraf Połknięcie ✔️ Oprogramowanie open source Metryki, dzienniki

Poniższa tabela zawiera podsumowanie dostępnych łączników i ich możliwości:

Apache Flink to platforma i aparat przetwarzania rozproszonego na potrzeby obliczeń stanowych za pośrednictwem niezwiązanych i ograniczonych strumieni danych. Łącznik implementuje ujście danych do przenoszenia danych między klastrami usługi Azure Data Explorer i Flink. Korzystając z usług Azure Data Explorer i Apache Flink, można tworzyć szybkie i skalowalne aplikacje przeznaczone dla scenariuszy opartych na danych. Na przykład uczenie maszynowe (ML), wyodrębnianie i przekształcanie obciążenia (ETL) i usługa Log Analytics.

Apache Kafka

Apache Kafka to rozproszona platforma przesyłania strumieniowego do tworzenia potoków danych przesyłanych strumieniowo w czasie rzeczywistym, które niezawodnie przenoszą dane między systemami lub aplikacjami. Kafka Connect to narzędzie do skalowalnego i niezawodnego przesyłania strumieniowego danych między platformą Apache Kafka i innymi systemami danych. Ujście platformy Kafka służy jako łącznik z platformy Kafka i nie wymaga użycia kodu. Jest to złoty certyfikat firmy Confluent — przeszedł kompleksowy przegląd i testowanie pod kątem jakości, kompletności funkcji, zgodności ze standardami i wydajności.

Apache Log4J 2

Log4J to popularna platforma rejestrowania dla aplikacji Java obsługiwanych przez platformę Apache Foundation. Usługa Log4j umożliwia deweloperom kontrolowanie, które instrukcje dziennika są danymi wyjściowymi z dowolnym poziomem szczegółowości na podstawie nazwy rejestratora, poziomu rejestratora i wzorca komunikatów. Ujście usługi Apache Log4J 2 umożliwia przesyłanie strumieniowe danych dziennika do bazy danych, gdzie można analizować i wizualizować dzienniki w czasie rzeczywistym.

Apache Spark

Apache Spark to ujednolicony aparat analityczny do przetwarzania danych na dużą skalę. Łącznik Spark to projekt typu open source, który można uruchomić w dowolnym klastrze Spark. Implementuje źródło danych i ujście danych do przenoszenia danych do lub z klastrów Spark. Za pomocą łącznika platformy Apache Spark można tworzyć szybkie i skalowalne aplikacje przeznaczone dla scenariuszy opartych na danych. Na przykład uczenie maszynowe (ML), wyodrębnianie i przekształcanie obciążenia (ETL) i usługa Log Analytics. Dzięki łącznikowi baza danych staje się prawidłowym magazynem danych dla standardowych operacji źródła i ujścia platformy Spark, takich jak odczyt, zapis i zapisStream.

Platforma Apache Spark dla usługi Azure Synapse Analytics

Apache Spark to platforma przetwarzania równoległego, która obsługuje przetwarzanie w pamięci w celu zwiększenia wydajności aplikacji analitycznych big data. Platforma Apache Spark w usłudze Azure Synapse Analytics jest jedną z implementacji platformy Apache Spark firmy Microsoft w chmurze. Dostęp do bazy danych można uzyskać z poziomu programu Synapse Studio za pomocą platformy Apache Spark dla usługi Azure Synapse Analytics.

Azure Data Factory

Azure Data Factory (ADF) to oparta na chmurze usługa integracji danych, która umożliwia integrację różnych magazynów danych i wykonywanie działań na danych.

Azure Event Hubs

Azure Event Hubs to platforma przesyłania strumieniowego danych big data i usługa pozyskiwania zdarzeń. Możesz skonfigurować ciągłe pozyskiwanie z usługi Event Hubs zarządzanej przez klienta.

Azure Functions

Usługa Azure Functions umożliwia uruchamianie kodu bezserwerowego w chmurze zgodnie z harmonogramem lub w odpowiedzi na zdarzenie. Dzięki powiązaniom wejściowym i wyjściowym dla usługi Azure Functions możesz zintegrować bazę danych z przepływami pracy w celu pozyskiwania danych i uruchamiania zapytań względem bazy danych.

Azure Stream Analytics

Usługa Azure Stream Analytics to analiza w czasie rzeczywistym i złożony aparat przetwarzania zdarzeń zaprojektowany do przetwarzania dużych ilości szybkich danych przesyłanych strumieniowo z wielu źródeł jednocześnie.

Bit płynny

Fluent Bit to agent open source, który zbiera dzienniki, metryki i ślady z różnych źródeł. Umożliwia filtrowanie, modyfikowanie i agregowanie danych zdarzeń przed wysłaniem ich do magazynu.

Logstash

Wtyczka Logstash umożliwia przetwarzanie zdarzeń z usługi Logstash do bazy danych usługi Azure Data Explorer na potrzeby późniejszej analizy.

NLog

NLog to elastyczna i bezpłatna platforma rejestrowania dla różnych platform .NET, w tym .NET Standard. Serwer NLog umożliwia zapisywanie w kilku miejscach docelowych, takich jak baza danych, plik lub konsola. Za pomocą NLog można zmienić konfigurację rejestrowania na bieżąco. Ujście NLog to element docelowy NLog, który umożliwia wysyłanie komunikatów dziennika do bazy danych. Wtyczka zapewnia wydajny sposób ujścia dzienników do klastra.

Otwieranie telemetrii

Łącznik OpenTelemetry obsługuje pozyskiwanie danych z wielu odbiorników do bazy danych. Działa ona jako most do pozyskiwania danych generowanych przez funkcję Otwórz dane telemetryczne w bazie danych przez dostosowanie formatu wyeksportowanych danych zgodnie z potrzebami.

Power Automate

Power Automate to usługa orkiestracji używana do automatyzowania procesów biznesowych. Łącznik Power Automate (wcześniej Microsoft Flow) umożliwia organizowanie i planowanie przepływów, wysyłanie powiadomień i alertów w ramach zaplanowanego lub wyzwalanego zadania.

Serilog

Serilog to popularna platforma rejestrowania dla aplikacji .NET. Oprogramowanie Serilog umożliwia deweloperom kontrolowanie, które instrukcje dziennika są danymi wyjściowymi. Poziom szczegółowości może być ustalany dowolnie na podstawie nazwy rejestratora, poziomu rejestratora i wzorca komunikatów. Ujście serilog, znane również jako dodatek, przesyła strumieniowo dane dziennika do bazy danych, gdzie można analizować i wizualizować dzienniki w czasie rzeczywistym.

Splunk

Splunk Enterprise to platforma oprogramowania, która umożliwia pozyskiwanie danych z wielu źródeł jednocześnie. Dodatek Azure Data Explorer wysyła dane z rozwiązania Splunk do tabeli w klastrze.

Spunk Universal Forwarder

Telegraf

Telegraf to lekki, lekki, minimalny agent drukowania stóp pamięci do zbierania, przetwarzania i zapisywania danych telemetrycznych, w tym dzienników, metryk i danych IoT. Program Telegraf obsługuje setki wtyczek wejściowych i wyjściowych. Jest ona powszechnie używana i dobrze obsługiwana przez społeczność open source. Wtyczka wyjściowa służy jako łącznik z programu Telegraf i obsługuje pozyskiwanie danych z wielu typów wtyczek wejściowych do bazy danych.