Bagikan melalui

Gambaran umum integrasi

  • Artikel

Ada banyak konektor data, alat, dan integrasi yang bekerja dengan mulus dengan platform untuk penyerapan, orkestrasi, output, dan kueri data. Dokumen ini adalah gambaran umum tingkat tinggi tentang konektor, alat, dan integrasi yang tersedia. Informasi terperinci disediakan untuk setiap konektor, bersama dengan tautan ke dokumentasi lengkapnya.

Untuk halaman gambaran umum tentang jenis integrasi tertentu, pilih salah satu tombol berikut.

Integrasi data

Integrasi kueri

Integrasi visualisasi

Tabel perbandingan

Tabel berikut ini meringkas kemampuan setiap item. Pilih tab yang sesuai dengan konektor atau alat dan integrasi. Setiap nama item ditautkan ke deskripsi terperincinya.

Tabel berikut ini meringkas konektor yang tersedia dan kemampuannya:

Nama Menyerap Ekspor Orchestrate Kueri
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark untuk Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Azure Data Factory ✔️ ✔️
Azure Event Grid ✔️
Azure Event Hubs ✔️
Azure Functions ✔️ ✔️
Azure IoT Hubs ✔️
Azure Stream Analytics ✔️
Aliran Cribl ✔️
Bit Fasih ✔️
JDBC ✔️
Aplikasi Logika ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
Buka Telemetri ✔️
Aplikasi Daya ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Splunk Universal Forwarder ✔️
Telegraf ✔️

Deskripsi terperinci

Berikut ini adalah deskripsi terperinci tentang konektor dan alat dan integrasi. Pilih tab yang sesuai dengan konektor atau alat dan integrasi. Semua item yang tersedia dirangkum dalam tabel Perbandingan di atas.

Apache Kafka

Apache Kafka adalah platform streaming terdistribusi untuk membangun alur data streaming real-time yang dengan andal memindahkan data antara sistem atau aplikasi. Kafka Connect adalah alat untuk streaming data yang dapat diskalakan dan dapat diandalkan antara Apache Kafka dan sistem data lainnya. Kafka Sink berfungsi sebagai konektor dari Kafka dan tidak memerlukan penggunaan kode. Ini adalah emas yang disertifikasi oleh Confluent - telah melalui tinjauan dan pengujian komprehensif untuk kualitas, kelengkapan fitur, kepatuhan terhadap standar, dan untuk performa.

Apache Flink adalah kerangka kerja dan mesin pemrosesan terdistribusi untuk komputasi stateful melalui aliran data yang tidak terbatas dan terikat. Konektor mengimplementasikan sink data untuk memindahkan data di seluruh kluster Azure Data Explorer dan Flink. Dengan menggunakan Azure Data Explorer dan Apache Flink, Anda dapat membangun aplikasi yang cepat dan dapat diskalakan yang menargetkan skenario berbasis data. Misalnya, pembelajaran mesin (ML), Extract-Transform-Load (ETL), dan Log Analytics.

Apache Log4J 2

Log4J adalah kerangka kerja pengelogan populer untuk aplikasi Java yang dikelola oleh Apache Foundation. Log4j memungkinkan pengembang untuk mengontrol pernyataan log mana yang dihasilkan dengan granularitas sewenang-wenang berdasarkan nama pencatat, tingkat pencatat, dan pola pesan. Sink Apache Log4J 2 memungkinkan Anda mengalirkan data log ke database Anda, di mana Anda dapat menganalisis dan memvisualisasikan log Anda secara real time.

Apache Spark

Apache Spark adalah mesin analitik terpadu untuk pemrosesan data skala besar. Konektor Spark adalah proyek sumber terbuka yang dapat berjalan pada kluster Spark apa pun. Ini mengimplementasikan sumber data dan sink data untuk memindahkan data ke atau dari kluster Spark. Dengan menggunakan konektor Apache Spark, Anda dapat membangun aplikasi yang cepat dan dapat diskalakan yang menargetkan skenario berbasis data. Misalnya, pembelajaran mesin (ML), Extract-Transform-Load (ETL), dan Log Analytics. Dengan konektor, database Anda menjadi penyimpanan data yang valid untuk operasi sumber dan sink Spark standar, seperti baca, tulis, dan tulisStream.

Apache Spark untuk Azure Synapse Analytics

Apache Spark adalah kerangka kerja pemrosesan paralel yang mendukung pemrosesan dalam memori untuk meningkatkan performa aplikasi analitik big data. Apache Spark di Azure Synapse Analytics adalah salah satu implementasi Microsoft dari Apache Spark di cloud. Anda dapat mengakses database dari Synapse Studio dengan Apache Spark untuk Azure Synapse Analytics.

Azure Cosmos DB

Koneksi data umpan perubahan Azure Cosmos DB adalah alur penyerapan yang mendengarkan umpan perubahan Cosmos DB Anda dan menyerap data ke dalam database Anda.

Azure Data Factory

Azure Data Factory (ADF) adalah layanan integrasi data berbasis cloud yang memungkinkan Anda mengintegrasikan penyimpanan data yang berbeda dan melakukan aktivitas pada data.

Kisi Aktivitas Azure

Penyerapan Event Grid adalah alur yang mendengarkan penyimpanan Azure, dan memperbarui database Anda untuk menarik informasi saat peristiwa berlangganan terjadi. Anda dapat mengonfigurasi penyerapan berkelanjutan dari Azure Storage (penyimpanan Blob dan ADLSv2) dengan langganan Azure Event Grid untuk pemberitahuan yang dibuat atau blob diganti namanya dan streaming pemberitahuan melalui Azure Event Hubs.

  • Fungsionalitas: Penyerapan
  • Jenis penyerapan yang didukung: Batching, Streaming
  • Kasus penggunaan: Pemrosesan peristiwa
  • Dokumentasi: Koneksi data Event Grid

Azure Event Hubs

Azure Event Hubs adalah platform streaming data besar dan layanan penyerapan peristiwa. Anda dapat mengonfigurasi penyerapan berkelanjutan dari Azure Event Hubs yang dikelola pelanggan.

Azure Functions

Azure Functions memungkinkan Anda menjalankan kode tanpa server di cloud sesuai jadwal atau menanggapi peristiwa. Dengan pengikatan input dan output untuk Azure Functions, Anda dapat mengintegrasikan database Anda ke dalam alur kerja Anda untuk menyerap data dan menjalankan kueri terhadap database Anda.

Azure IoT Hub

Azure IoT Hub adalah layanan terkelola, yang dihosting di cloud, yang bertindak sebagai hub pesan pusat untuk komunikasi dua arah antara aplikasi IoT Anda dan perangkat yang dikelolanya. Anda dapat mengonfigurasi penyerapan berkelanjutan dari IoT Hubs yang dikelola pelanggan, menggunakan Azure Event Hubs yang kompatibel dengan titik akhir pesan perangkat-ke-cloud yang dikelola pelanggan.

  • Fungsionalitas: Penyerapan
  • Jenis penyerapan yang didukung: Batching, Streaming
  • Kasus penggunaan: Data IoT
  • Dokumentasi: Koneksi data IoT Hub

Azure Stream Analytics

Azure Stream Analytics adalah analitik real time dan mesin pemrosesan peristiwa kompleks yang dirancang untuk memproses data streaming cepat dalam volume tinggi dari berbagai sumber secara bersamaan.

Aliran Cribl

Aliran cribl adalah mesin pemrosesan yang mengumpulkan, memproses, dan mengalirkan data peristiwa mesin dengan aman dari sumber apa pun. Ini memungkinkan Anda untuk mengurai dan memproses data tersebut untuk tujuan apa pun untuk analisis.

Bit Fasih

Fluent Bit adalah agen sumber terbuka yang mengumpulkan log, metrik, dan jejak dari berbagai sumber. Ini memungkinkan Anda untuk memfilter, memodifikasi, dan mengagregasi data peristiwa sebelum mengirimkannya ke penyimpanan.

JDBC

Java Database Connectivity (JDBC) adalah Java API yang digunakan untuk menyambungkan ke database dan menjalankan kueri. Anda dapat menggunakan JDBC untuk menyambungkan ke Azure Data Explorer.

Logic Apps

Konektor Microsoft Logic Apps memungkinkan Anda menjalankan kueri dan perintah secara otomatis sebagai bagian dari tugas terjadwal atau terpicu.

Logstash

Plugin Logstash memungkinkan Anda memproses peristiwa dari Logstash ke database Azure Data Explorer untuk analisis nanti.

Matlab

MATLAB adalah platform komputasi pemrograman dan numerik yang digunakan untuk menganalisis data, mengembangkan algoritma, dan membuat model. Anda bisa mendapatkan token otorisasi di MATLAB untuk mengkueri data Anda di Azure Data Explorer.

NLog

NLog adalah platform pengelogan fleksibel dan gratis untuk berbagai platform .NET, termasuk standar .NET. NLog memungkinkan Anda menulis ke beberapa target, seperti database, file, atau konsol. Dengan NLog, Anda dapat mengubah konfigurasi pengelogan secara on-the-fly. Sink NLog adalah target untuk NLog yang memungkinkan Anda mengirim pesan log ke database Anda. Plugin menyediakan cara yang efisien untuk men-sink log Anda ke kluster Anda.

ODBC

Open Database Connectivity (ODBC) adalah antarmuka pemrograman aplikasi (API) yang diterima secara luas untuk akses database. Azure Data Explorer kompatibel dengan subset protokol komunikasi SQL Server (MS-TDS). Kompatibilitas ini memungkinkan penggunaan driver ODBC untuk SQL Server dengan Azure Data Explorer.

Buka Telemetri

Konektor OpenTelemetry mendukung penyerapan data dari banyak penerima ke dalam database Anda. Ini berfungsi sebagai jembatan untuk menyerap data yang dihasilkan oleh Telemetri Terbuka ke database Anda dengan menyesuaikan format data yang diekspor sesuai dengan kebutuhan Anda.

Power Apps

Power Apps adalah serangkaian aplikasi, layanan, konektor, dan platform data yang menyediakan lingkungan pengembangan aplikasi yang cepat untuk membangun aplikasi kustom yang terhubung ke data bisnis Anda. Konektor Power Apps berguna jika Anda memiliki pengumpulan data streaming yang besar dan berkembang di Azure Data Explorer dan ingin membangun aplikasi kode rendah dan sangat fungsional untuk menggunakan data ini.

Power Automate

Power Automate adalah layanan orkestrasi yang digunakan untuk mengotomatiskan proses bisnis. Power Automate Konektor (sebelumnya Microsoft Flow) memungkinkan Anda mengatur dan menjadwalkan alur, mengirim pemberitahuan, dan pemberitahuan, sebagai bagian dari tugas terjadwal atau dipicu.

Serilog

Serilog adalah kerangka kerja pengelogan populer untuk aplikasi .NET. Serilog memungkinkan pengembang untuk mengontrol pernyataan log mana yang dihasilkan dengan granularitas sewenang-wenang berdasarkan nama pencatat, tingkat pencatat, dan pola pesan. Sink Serilog, juga dikenal sebagai appender, mengalirkan data log Anda ke database Anda, di mana Anda dapat menganalisis dan memvisualisasikan log Anda secara real time.

Splunk

Splunk Enterprise adalah platform perangkat lunak yang memungkinkan Anda menyerap data dari banyak sumber secara bersamaan. Add-on Azure Data Explorer mengirim data dari Splunk ke tabel di kluster Anda.

Splunk Universal Forwarder

Telegraf

Telegraf adalah agen cetak kaki memori sumber terbuka, ringan, minimal untuk mengumpulkan, memproses, dan menulis data telemetri termasuk log, metrik, dan data IoT. Telegraf mendukung ratusan plugin input dan output. Ini banyak digunakan dan didukung dengan baik oleh komunitas sumber terbuka. Plugin output berfungsi sebagai konektor dari Telegraf dan mendukung penyerapan data dari banyak jenis plugin input ke dalam database Anda.

Konten terkait