Omówienie integracji
Istnieje wiele łączników danych, narzędzi i integracji, które bezproblemowo współpracują z platformą do pozyskiwania, orkiestracji, danych wyjściowych i zapytań dotyczących danych. Ten dokument zawiera ogólne omówienie dostępnych łączników, narzędzi i integracji. Szczegółowe informacje są udostępniane dla każdego łącznika wraz z linkami do pełnej dokumentacji.
Aby zapoznać się ze stronami o określonym typie integracji, wybierz jeden z następujących przycisków.
Tabele porównania
W poniższych tabelach podsumowano możliwości poszczególnych elementów. Wybierz kartę odpowiadającą łącznikom lub narzędziom i integracji. Każda nazwa elementu jest połączona ze szczegółowym opisem.
Poniższa tabela zawiera podsumowanie dostępnych łączników i ich możliwości:
Nazwa | Pozyskiwanie | Eksportowanie | Organizowanie | Zapytanie |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
Apache Spark for Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
Azure Event Grid | ✔️ | |||
Azure Event Hubs | ✔️ | |||
Azure Functions | ✔️ | ✔️ | ||
Azure IoT Hubs | ✔️ | |||
Azure Stream Analytics | ✔️ | |||
Bit płynny | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Otwieranie telemetrii | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Spunk Universal Forwarder | ✔️ | |||
Telegraf | ✔️ |
Szczegółowe opisy
Poniżej przedstawiono szczegółowe opisy łączników i narzędzi i integracji. Wybierz kartę odpowiadającą łącznikom lub narzędziom i integracji. Wszystkie dostępne elementy są podsumowane w powyższych tabelach porównania .
Apache Kafka
Apache Kafka to rozproszona platforma przesyłania strumieniowego do tworzenia potoków danych przesyłanych strumieniowo w czasie rzeczywistym, które niezawodnie przenoszą dane między systemami lub aplikacjami. Kafka Connect to narzędzie do skalowalnego i niezawodnego przesyłania strumieniowego danych między platformą Apache Kafka i innymi systemami danych. Ujście platformy Kafka służy jako łącznik z platformy Kafka i nie wymaga użycia kodu. Jest to złoto certyfikowane przez Confluent - przeszedł kompleksowy przegląd i testowanie pod kątem jakości, kompletności funkcji, zgodności ze standardami i wydajności.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Dzienniki, telemetria, szeregi czasowe
- Podstawowy zestaw SDK:Java
- Repozytorium: Microsoft Azure — https://github.com/Azure/kafka-sink-azure-kusto/
- Dokumentacja:pozyskiwanie danych z platformy Apache Kafka
- Blog społeczności:pozyskiwanie platformy Kafka do usługi Azure Data Explorer
Apache Flink
Apache Flink to platforma i aparat przetwarzania rozproszonego na potrzeby obliczeń stanowych na niezwiązanych i ograniczonych strumieniach danych. Łącznik implementuje ujście danych do przenoszenia danych między klastrami usługi Azure Data Explorer i Flink. Korzystając z usług Azure Data Explorer i Apache Flink, można tworzyć szybkie i skalowalne aplikacje przeznaczone dla scenariuszy opartych na danych. Na przykład uczenie maszynowe (ML), wyodrębnianie transformacji i ładowanie (ETL) i usługa Log Analytics.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Streaming
- Przypadki użycia: Telemetrii
- Podstawowy zestaw SDK:Java
- Repozytorium: Microsoft Azure — https://github.com/Azure/flink-connector-kusto/
- Dokumentacja:pozyskiwanie danych z narzędzia Apache Flink
Apache Log4J 2
Log4J to popularna platforma rejestrowania dla aplikacji Java obsługiwanych przez platformę Apache Foundation. Usługa Log4j umożliwia deweloperom kontrolowanie, które instrukcje dziennika są danymi wyjściowymi z dowolnym poziomem szczegółowości na podstawie nazwy rejestratora, poziomu rejestratora i wzorca komunikatów. Ujście usługi Apache Log4J 2 umożliwia przesyłanie strumieniowe danych dziennika do bazy danych, gdzie można analizować i wizualizować dzienniki w czasie rzeczywistym.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Dzienniki
- Podstawowy zestaw SDK:Java
- Repozytorium: Microsoft Azure — https://github.com/Azure/azure-kusto-log4j
- Dokumentacja:pozyskiwanie danych za pomocą łącznika Apache Log4J 2
- Blog społeczności:Wprowadzenie do platformy Apache Log4J i usługi Azure Data Explorer
Apache Spark
Apache Spark to ujednolicony aparat analityczny do przetwarzania danych na dużą skalę. Łącznik Spark to projekt open source, który można uruchomić w dowolnym klastrze Spark. Implementuje źródło danych i ujście danych do przenoszenia danych do lub z klastrów Spark. Za pomocą łącznika platformy Apache Spark można tworzyć szybkie i skalowalne aplikacje przeznaczone dla scenariuszy opartych na danych. Na przykład uczenie maszynowe (ML), wyodrębnianie transformacji i ładowanie (ETL) i usługa Log Analytics. Dzięki łącznikowi baza danych staje się prawidłowym magazynem danych dla standardowych operacji źródła i ujścia platformy Spark, takich jak odczyt, zapis i zapisStream.
- Funkcje: Pozyskiwanie, eksportowanie
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Telemetrii
- Podstawowy zestaw SDK:Java
- Repozytorium: Microsoft Azure — https://github.com/Azure/azure-kusto-spark/
- Dokumentacja:Łącznik platformy Apache Spark
- Blog społeczności:wstępne przetwarzanie danych dla usługi Azure Data Explorer dla usługi Azure Data Explorer przy użyciu platformy Apache Spark
Apache Spark for Azure Synapse Analytics
Apache Spark to platforma przetwarzania równoległego, która obsługuje przetwarzanie w pamięci w celu zwiększenia wydajności aplikacji analitycznych danych big data. Platforma Apache Spark w usłudze Azure Synapse Analytics jest jedną z implementacji platformy Apache Spark firmy Microsoft w chmurze. Dostęp do bazy danych można uzyskać z Synapse Studio za pomocą platformy Apache Spark dla usługi Azure Synapse Analytics.
- Funkcje: Pozyskiwanie, eksportowanie
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Przypadki użycia: Telemetrii
- Podstawowy zestaw SDK:Java
- Dokumentacja:Nawiązywaniepołączenia z obszarem roboczym Azure Synapse
Azure Cosmos DB
Połączenie danych zestawienia zmian usługi Azure Cosmos DB to potok pozyskiwania, który nasłuchuje zestawienia zmian usługi Cosmos DB i pozyskiwa dane do bazy danych.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Zestawienie zmian
- Dokumentacja:Pozyskiwanie danych z usługi Azure Cosmos DB (wersja zapoznawcza)
Azure Data Factory
Azure Data Factory (ADF) to oparta na chmurze usługa integracji danych, która umożliwia integrację różnych magazynów danych i wykonywanie działań na danych.
- Funkcje: Pozyskiwanie, eksportowanie
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Przypadki użycia: Aranżacja danych
- Dokumentacja:kopiowanie danych do bazy danych przy użyciu Azure Data Factory
Azure Event Grid
Pozyskiwanie usługi Event Grid to potok, który nasłuchuje usługi Azure Storage i aktualizuje bazę danych w celu ściągnięcia informacji po wystąpieniu zasubskrybowanych zdarzeń. Możesz skonfigurować ciągłe pozyskiwanie z usługi Azure Storage (Blob Storage i ADLSv2) przy użyciu subskrypcji Azure Event Grid dla utworzonych obiektów blob lub powiadomień o zmianie nazwy obiektu blob i przesyłania strumieniowego powiadomień za pośrednictwem Azure Event Hubs.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Przetwarzanie zdarzeń
- Dokumentacja:Połączenie danych usługi Event Grid
Azure Event Hubs
Azure Event Hubs to platforma przesyłania strumieniowego danych big data i usługa pozyskiwania zdarzeń. Możesz skonfigurować ciągłe pozyskiwanie z usługi Event Hubs zarządzanej przez klienta.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Dokumentacja:Azure Event Hubs połączenie danych
Azure Functions
Azure Functions umożliwia uruchamianie kodu bezserwerowego w chmurze zgodnie z harmonogramem lub w odpowiedzi na zdarzenie. Dzięki powiązaniom wejściowym i wyjściowym dla Azure Functions możesz zintegrować bazę danych z przepływami pracy w celu pozyskiwania danych i uruchamiania zapytań względem bazy danych.
- Funkcje: Pozyskiwanie, eksportowanie
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Przypadki użycia: Integracje przepływu pracy
- Dokumentacja:integrowanie Azure Functions przy użyciu powiązań wejściowych i wyjściowych (wersja zapoznawcza)
- Blog społeczności:Powiązania usługi Azure Data Explorer (Kusto) dla Azure Functions
Azure IoT Hubs
Azure IoT Hub jest usługą zarządzaną hostowaną w chmurze, która działa jako centralne centrum komunikatów na potrzeby dwukierunkowej komunikacji między aplikacją IoT a zarządzanymi urządzeniami. Możesz skonfigurować ciągłe pozyskiwanie z zarządzanych przez klienta usług IoT Hubs przy użyciu zgodnego z usługą Event Hubs wbudowanego punktu końcowego komunikatów z urządzenia do chmury.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Dane IoT
- Dokumentacja:IoT Hub połączenie danych
Usługa Azure Stream Analytics
Usługa Azure Stream Analytics to analiza w czasie rzeczywistym i złożony aparat przetwarzania zdarzeń zaprojektowany do przetwarzania dużych ilości szybkich danych przesyłanych strumieniowo z wielu źródeł jednocześnie.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Przetwarzanie zdarzeń
- Dokumentacja:pozyskiwanie danych z usługi Azure Stream Analytics
Bit płynny
Fluent Bit to agent typu open source, który zbiera dzienniki, metryki i ślady z różnych źródeł. Umożliwia filtrowanie, modyfikowanie i agregowanie danych zdarzeń przed wysłaniem ich do magazynu.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Dzienniki, metryki, ślady
- Repository:fluent-bit Kusto Output Plugin
- Documentation:Pozyskiwanie danych za pomocą języka Fluent Bit do usługi Azure Data Explorer
- Blog społeczności:Wprowadzenie do platformy Fluent bit i usługi Azure Data Explorer
JDBC
Java Database Connectivity (JDBC) to interfejs API języka Java służący do nawiązywania połączeń z bazami danych i wykonywania zapytań. Rozwiązania JDBC można użyć w celu nawiązania połączenia z usługą Azure Data Explorer.
- Funkcje: Zapytanie, wizualizacja
- Podstawowy zestaw SDK:Java
- Dokumentacja:Nawiązywaniepołączenia z usługą Azure Data Explorer za pomocą narzędzia JDBC
Logic Apps
Łącznik usługi Microsoft Logic Apps umożliwia automatyczne uruchamianie zapytań i poleceń w ramach zaplanowanego lub wyzwalanego zadania.
- Funkcje: Pozyskiwanie, eksportowanie
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Przypadki użycia: Aranżacja danych
- Dokumentacja:Microsoft Logic Apps i Azure Data Explorer
Logstash
Wtyczka Logstash umożliwia przetwarzanie zdarzeń z usługi Logstash do bazy danych usługi Azure Data Explorer na potrzeby późniejszej analizy.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Przypadki użycia: Dzienniki
- Podstawowy zestaw SDK:Java
- Repozytorium: Microsoft Azure — https://github.com/Azure/logstash-output-kusto/
- Dokumentacja:Pozyskiwanie danych z usługi Logstash
- Blog społeczności:Jak przeprowadzić migrację z usługi Elasticsearch do usługi Azure Data Explorer
Matlab
MATLAB to platforma programowania i obliczeń liczbowych używana do analizowania danych, opracowywania algorytmów i tworzenia modeli. Token autoryzacji można uzyskać w aplikacji MATLAB na potrzeby wykonywania zapytań dotyczących danych w usłudze Azure Data Explorer.
- Funkcje: Kwerendy
- Dokumentacja:wykonywanie zapytań dotyczących danych przy użyciu narzędzia MATLAB
NLog
NLog to elastyczna i bezpłatna platforma rejestrowania dla różnych platform .NET, w tym .NET Standard. Funkcja NLog umożliwia zapisywanie w kilku miejscach docelowych, takich jak baza danych, plik lub konsola. Za pomocą protokołu NLog można zmienić konfigurację rejestrowania na bieżąco. Ujście NLog jest celem NLog, który umożliwia wysyłanie komunikatów dziennika do bazy danych. Wtyczka zapewnia wydajny sposób ujścia dzienników do klastra.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Telemetria, dzienniki, metryki
- Podstawowy zestaw SDK:.NET
- Repozytorium: Microsoft Azure — https://github.com/Azure/azure-kusto-nlog-sink
- Dokumentacja:pozyskiwanie danych za pomocą ujścia NLog
- Blog społeczności:Wprowadzenie do ujścia NLog i usługi Azure Data Explorer
ODBC
Open Database Connectivity (ODBC) to powszechnie akceptowany interfejs programowania aplikacji (API) na potrzeby dostępu do bazy danych. Usługa Azure Data Explorer jest zgodna z podzbiorem protokołu komunikacyjnego SQL Server (MS-TDS). Ta zgodność umożliwia korzystanie ze sterownika ODBC na potrzeby SQL Server z usługą Azure Data Explorer.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Telemetria, dzienniki, metryki
- Dokumentacja:nawiązywanie połączenia z usługą Azure Data Explorer przy użyciu odBC
Otwieranie telemetrii
Łącznik OpenTelemetry obsługuje pozyskiwanie danych z wielu odbiorników do bazy danych. Działa ona jako most do pozyskiwania danych generowanych przez funkcję Otwórz dane telemetryczne w bazie danych przez dostosowanie formatu wyeksportowanych danych zgodnie z potrzebami.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Ślady, metryki, dzienniki
- Podstawowy zestaw SDK:Go
- Repozytorium: Otwieranie telemetrii — https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- Dokumentacja:pozyskiwanie danych z usługi OpenTelemetry
- Blog społeczności:Wprowadzenie do programu Open Telemetry i usługi Azure Data Explorer
Power Apps
Power Apps to pakiet aplikacji, usług, łączników i platformy danych, który zapewnia szybkie środowisko programistyczne aplikacji do tworzenia niestandardowych aplikacji łączących się z danymi biznesowymi. Łącznik usługi Power Apps jest przydatny, jeśli masz dużą i rosnącą kolekcję danych przesyłanych strumieniowo na platformie Azure Data Explorer i chcesz utworzyć niski kod, wysoce funkcjonalną aplikację do korzystania z tych danych.
- Funkcje: Zapytanie, pozyskiwanie, eksportowanie
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Dokumentacja:wykonywanie zapytań o dane w usłudze Azure Data Explorer za pomocą usługi Power Apps
Power Automate
Power Automate to usługa orkiestracji używana do automatyzowania procesów biznesowych. Power Automate Łącznik (wcześniej Microsoft Flow) umożliwia organizowanie i planowanie przepływów, wysyłanie powiadomień i alertów w ramach zaplanowanego lub wyzwalanego zadania.
- Funkcje: Pozyskiwanie, eksportowanie
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Przypadki użycia: Aranżacja danych
- Dokumentacja:Łącznik usługi Microsoft Power Automate
Serilog
Serilog to popularna platforma rejestrowania dla aplikacji .NET. Usługa Serilog umożliwia deweloperom kontrolowanie, które instrukcje dziennika są danymi wyjściowymi z dowolnym poziomem szczegółowości na podstawie nazwy rejestratora, poziomu rejestratora i wzorca komunikatów. Ujście serilog, znane również jako appender, przesyła strumieniowo dane dziennika do bazy danych, gdzie można analizować i wizualizować dzienniki w czasie rzeczywistym.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Dzienniki
- Podstawowy zestaw SDK:.NET
- Repozytorium: Microsoft Azure — https://github.com/Azure/serilog-sinks-azuredataexplorer
- Dokumentacja:pozyskiwanie danych za pomocą ujścia serilog
- Blog społeczności:Wprowadzenie do ujścia Serilog i usługi Azure Data Explorer
Splunk
Splunk Enterprise to platforma oprogramowania, która umożliwia jednoczesne pozyskiwanie danych z wielu źródeł. Dodatek Azure Data Explorer wysyła dane z narzędzia Splunk do tabeli w klastrze.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Przypadki użycia: Dzienniki
- Podstawowy zestaw SDK:Python
- Repozytorium: Microsoft Azure — https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- Dokumentacja:pozyskiwanie danych z narzędzia Splunk
- Splunk Base:Microsoft Azure Data Explorer Add-On for Splunk
- Blog społeczności:Wprowadzenie do usługi Microsoft Azure Data Explorer Add-On for Splunk
Splunk Universal Forwarder
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Tworzenie pakietów wsadowych
- Przypadki użycia: Dzienniki
- Repozytorium: Microsoft Azure — https://github.com/Azure/azure-kusto-splunk
- Dokumentacja:pozyskiwanie danych z usługi Splunk Universal Forwarder do usługi Azure Data Explorer
- Blog społeczności:pozyskiwanie danych przy użyciu usługi przesyłania dalej Splunk Universal do usługi Azure Data Explorer
Telegraf
Telegraf to open source, lekki, minimalny agent drukowania stóp pamięci do zbierania, przetwarzania i zapisywania danych telemetrycznych, w tym dzienników, metryk i danych IoT. Program Telegraf obsługuje setki wtyczek wejściowych i wyjściowych. Jest powszechnie używany i dobrze wspierany przez społeczność open source. Wtyczka wyjściowa służy jako łącznik z programu Telegraf i obsługuje pozyskiwanie danych z wielu typów wtyczek wejściowych do bazy danych.
- Funkcje: Spożyciu
- Obsługiwany typ pozyskiwania: Przetwarzanie wsadowe, przesyłanie strumieniowe
- Przypadki użycia: Telemetria, dzienniki, metryki
- Podstawowy zestaw SDK:Go
- Repozytorium: InfluxData — https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- Dokumentacja:Pozyskiwanie danych z programu Telegraf
- Blog społeczności:Nowa wtyczka danych wyjściowych usługi Azure Data Explorer dla programu Telegraf umożliwia monitorowanie SQL na ogromną skalę
Zawartość pokrewna
Opinia
https://aka.ms/ContentUserFeedback.
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź:Prześlij i wyświetl opinię dla