Azure Event Hubs – Platform streaming data real-time dengan dukungan Apache Kafka asli
Azure Event Hubs adalah layanan streaming data asli cloud yang dapat mengalirkan jutaan peristiwa per detik, dengan latensi rendah, dari sumber apa pun ke tujuan mana pun. Azure Event Hubs kompatibel dengan Apache Kafka, dan memungkinkan Anda menjalankan beban kerja Kafka yang ada tanpa perubahan kode apa pun.
Menggunakan Azure Event Hubs untuk menyerap dan menyimpan data streaming, bisnis dapat memanfaatkan kekuatan data streaming untuk mendapatkan wawasan berharga, mendorong analitik real time, dan menanggapi peristiwa saat terjadi, meningkatkan efisiensi keseluruhan dan pengalaman pelanggan.
Azure Event Hubs adalah lapisan penyerapan peristiwa pilihan dari solusi streaming peristiwa apa pun yang Anda bangun di atas Azure. Ini terintegrasi dengan lancar dengan layanan data dan analitik di dalam dan di luar Azure untuk membangun alur streaming data lengkap Anda untuk melayani kasus penggunaan berikut.
- Analitik real time dengan Azure Stream Analytics untuk menghasilkan wawasan real time dari data streaming.
- Menganalisis dan menjelajahi data streaming dengan Azure Data Explorer.
- Buat aplikasi, fungsi, atau layanan mikro cloud asli Anda sendiri yang berjalan pada data streaming dari Azure Event Hubs.
- Streaming peristiwa dengan validasi skema menggunakan registri skema bawaan untuk memastikan kualitas dan kompatibilitas data streaming.
Kapabilitas utama
Apache Kafka di Azure Event Hubs
Azure Event Hubs adalah mesin streaming peristiwa multi-protokol yang secara asli mendukung protokol AMQP, Apache Kafka, dan HTTPs. Karena mendukung Apache Kafka, Anda membawa beban kerja Kafka ke Azure Event Hubs tanpa melakukan perubahan kode apa pun. Anda tidak perlu menyiapkan, mengonfigurasi, dan mengelola kluster Kafka Anda sendiri atau menggunakan penawaran Kafka-as-a-Service yang tidak asli azure.
Azure Event Hubs dibangun dari bawah ke atas sebagai mesin broker asli cloud. Oleh karena itu, Anda dapat menjalankan beban kerja Kafka dengan performa yang lebih baik, efisiensi biaya yang lebih baik dan tanpa overhead operasional.
Untuk informasi selengkapnya, lihat Azure Event Hubs untuk Apache Kafka.
Registri Skema di Azure Event Hubs
Azure Schema Registry di Azure Event Hubs menyediakan repositori terpusat untuk mengelola skema aplikasi streaming peristiwa. Azure Schema Registry hadir gratis dengan setiap namespace layanan Azure Event Hubs, dan terintegrasi dengan mulus dengan aplikasi Kafka atau aplikasi berbasis Azure Event Hubs SDK Anda.
Ini memastikan kompatibilitas dan konsistensi data di seluruh produsen peristiwa dan konsumen. Registri Skema memungkinkan evolusi, validasi, dan tata kelola skema yang lancar, serta mempromosikan pertukaran dan interoperabilitas data yang efisien.
Registri Skema terintegrasi dengan aplikasi Kafka Anda yang ada dan mendukung beberapa format skema termasuk Skema Avro dan JSON.
Untuk informasi selengkapnya, lihat Azure Schema Registry di Pusat Aktivitas.
Pemrosesan peristiwa streaming secara real time dengan Azure Stream Analytics
Azure Event Hubs terintegrasi dengan mulus dengan Azure Stream Analytics untuk mengaktifkan pemrosesan aliran real time. Dengan editor tanpa kode bawaan, Anda dapat dengan mudah mengembangkan pekerjaan Azure Stream Analytics menggunakan fungsionalitas seret dan letakkan, tanpa menulis kode apa pun.
Atau, pengembang dapat menggunakan bahasa kueri Azure Stream Analytics berbasis SQL untuk melakukan pemrosesan aliran real time dan memanfaatkan berbagai fungsi untuk menganalisis data streaming.
Untuk informasi selengkapnya, lihat artikel di bagian integrasi Azure Stream Analytics dari daftar isi.
Menjelajahi data streaming dengan Azure Data Explorer
Azure Data Explorer adalah platform yang dikelola sepenuhnya untuk analitik big data yang memberikan performa tinggi dan memungkinkan analisis data dalam volume besar hampir real time. Dengan mengintegrasikan Event Hubs dengan Azure Data Explorer, Anda dapat dengan mudah melakukan analitik mendekati real time dan eksplorasi data streaming.
Untuk informasi selengkapnya, lihat Menyerap data dari pusat aktivitas ke Azure Data Explorer dan artikel di bagian yang sama.
Ekosistem yang kaya– Fungsi Azure, SDK, dan ekosistem Kafka
Ingest, buffer, store, dan proses streaming Anda secara real time untuk mendapatkan wawasan yang dapat ditindaklanjuti. Azure Event Hubs menggunakan model konsumen yang dipartisi, memungkinkan beberapa aplikasi untuk memproses streaming secara bersamaan dan memungkinkan Anda mengontrol kecepatan pemrosesan. Azure Event Hubs juga terintegrasi dengan Azure Functions untuk arsitektur tanpa server.
Dengan ekosistem luas yang tersedia untuk protokol AMQP 1.0 standar industri dan SDK yang tersedia dalam berbagai bahasa: .NET, Java, Python, JavaScript, Anda dapat dengan mudah mulai memproses aliran Anda dari Event Hubs. Semua bahasa klien yang didukung menyediakan integrasi tingkat rendah.
Ekosistem ini juga memberi Anda integrasi azure Functions yang mulus, Azure Spring Apps, Kafka Koneksi ors, dan platform dan teknologi analitik data lainnya seperti Apache Spark dan Apache Flink.
Streaming peristiwa yang fleksibel dan hemat biaya
Anda dapat mengalami streaming peristiwa yang fleksibel dan hemat biaya melalui beragam pilihan tingkatan Event Hubs - termasuk Standar, Premium, dan Khusus. Opsi ini memenuhi kebutuhan streaming data mulai dari beberapa MB/dtk hingga beberapa GB/dtk, memungkinkan Anda memilih kecocokan yang sempurna untuk kebutuhan Anda.
Dapat diskalakan
Dengan Azure Event Hubs, Anda dapat memulai dengan aliran data dalam megabyte, dan tumbuh menjadi gigabyte atau terabyte. Fitur Auto inflate adalah salah satu dari banyak opsi yang tersedia untuk menskalakan jumlah unit throughput atau unit pemrosesan untuk memenuhi kebutuhan penggunaan Anda.
Mengambil data streaming untuk retensi jangka panjang dan analitik batch
Ambil data Anda dalam waktu dekat secara real-time di penyimpanan Azure Blob atau Azure Data Lake Storageuntuk retensi jangka panjang atau pemrosesan batch mikro. Anda dapat mencapai perilaku ini pada stream yang sama dengan yang Anda gunakan untuk mendapatkan analitik real-time. Menyiapkan tangkapan data peristiwa itu cepat.
Cara kerjanya
Event Hubs menyediakan platform streaming peristiwa terpadu dengan buffer retensi waktu, memisahkan produsen peristiwa dari konsumen peristiwa. Produsen dan aplikasi konsumen dapat melakukan penyerapan data skala besar melalui beberapa protokol.
Gambar berikut menunjukkan komponen utama arsitektur Azure Event Hubs:
Komponen fungsi utama Azure Event Hubs meliputi:
- Aplikasi produsen dapat menyerap data ke pusat aktivitas menggunakan SDK Azure Event Hubs atau klien produsen Kafka apa pun.
- Namespace adalah kontainer manajemen untuk satu atau beberapa hub peristiwa atau topik Kafka. Tugas manajemen seperti mengalokasikan kapasitas streaming, mengonfigurasi keamanan jaringan, mengaktifkan pemulihan Bencana Geo, dll. ditangani di tingkat namespace layanan.
- Topik Azure Event Hub/Kafka: Di Azure Event Hubs, Anda dapat mengatur peristiwa ke pusat aktivitas atau topik Kafka. Ini hanya menambahkan log terdistribusi, yang dapat terdiri dari satu atau beberapa partisi.
- Partisi digunakan untuk menskalakan pusat aktivitas. Mereka seperti jalur di jalan bebas hambatan. Jika Anda memerlukan lebih banyak throughput streaming, Anda perlu menambahkan lebih banyak partisi.
- Aplikasi konsumen mengonsumsi data dengan mencari melalui log peristiwa dan memelihara offset konsumen. Konsumen dapat menjadi klien konsumen Kafka atau klien Event Hubs SDK.
- Grup Konsumen adalah grup logis instans konsumen yang membaca data dari topik pusat aktivitas/Kafka. Ini memungkinkan beberapa konsumen untuk membaca data streaming yang sama di pusat aktivitas secara independen dengan kecepatan mereka sendiri dan dengan offset mereka sendiri.
Langkah berikutnya
Untuk mulai menggunakan Azure Event Hubs, lihat panduan mulai cepat berikut ini.
Melakukan streaming data menggunakan Event Hubs SDK (AMQP)
Anda dapat menggunakan salah satu sampel berikut untuk mengalirkan data ke Azure Event Hubs menggunakan SDK.
Melakukan streaming data menggunakan Apache Kafka
Anda dapat menggunakan sampel berikut untuk mengalirkan data dari aplikasi Kafka Anda ke Azure Event Hubs.
Validasi skema dengan Schema Registry
Anda dapat menggunakan Event Hubs Schema Registry untuk melakukan validasi skema untuk aplikasi streaming acara Anda.