Memproses data dari hub peristiwa Anda menggunakan Azure Stream Analytics

Layanan Azure Stream Analytics memudahkan untuk menelan, memproses, dan menganalisis data streaming dari Azure Event Hubs, memungkinkan wawasan canggih untuk mendorong tindakan real-time. Anda dapat menggunakan portal Azure untuk memvisualisasikan data masuk dan menulis kueri Analitik Stream. Setelah kueri Anda siap, Anda bisa memindahkannya ke produksi hanya dengan beberapa klik.

Manfaat utama

Berikut adalah manfaat utama dari Azure Event Hubs dan integrasi Azure Stream Analytics:

• Mempratinjau data – Anda dapat mempratinjau data masuk dari hub acara di portal Azure.
• Uji kueri Anda - Siapkan kueri transformasi dan uji secara langsung di portal Azure. Untuk sintaks bahasa kueri, lihat Dokumentasi Aliran Bahasa Kueri Analitik.
• Menerapkan kueri Anda ke produksi - Anda dapat menerapkan kueri ke dalam produksi dengan membuat dan memulai pekerjaan Azure Stream Analytics.

Alur end-to-end

Penting

• Jika Anda bukan anggota dengan peran pemilik atau kontributor di tingkat langganan Azure, Anda harus menjadi anggota dengan peran Penguji Kueri Azure Stream Analytics di tingkat langganan Azure untuk berhasil menyelesaikan langkah-langkah di bagian ini. Peran ini memungkinkan Anda untuk melakukan kueri pengujian tanpa membuat pekerjaan analitik aliran terlebih dahulu. Untuk petunjuk terkait menetapkan peran kepada pengguna, lihat Menetapkan peran AD kepada pengguna.
• Jika hub peristiwa Anda hanya mengizinkan akses privat melalui titik akhir privat, Anda harus bergabung dengan pekerjaan Azure Stream Analytics ke jaringan yang sama sehingga pekerjaan dapat mengakses peristiwa di hub peristiwa.

1. Masuk ke portal Azure.

2. Navigasi ke ruang nama Hub Peristiwa Anda lalu navigasi ke hub acara, yang memiliki data masuk.

3. Di menu navigasi kiri, perluas Fitur, dan pilih Proses data, lalu pilih Mulai pada petak Aktifkan wawasan real time dari peristiwa .

   

4. Anda melihat halaman kueri dengan nilai yang sudah diatur untuk bidang berikut ini. Jika Anda melihat jendela popup tentang grup konsumen dan kebijakan yang dibuat untuk Anda, pilih OK. Anda segera melihat rekam jepret data masuk terbaru di tab ini.

   1. Hub peristiwa Anda sebagai input untuk kueri.

   2. Contoh kueri SQL dengan pernyataan SELECT.

   3. Alias output untuk merujuk ke hasil pengujian kueri Anda.

      

   • Jenis serialisasi dalam data Anda terdeteksi secara otomatis (JSON/CSV). Anda juga dapat mengubahnya secara manual ke JSON/CSV/AVRO.

   • Anda bisa melakukan pratinjau data masuk dalam format tabel atau format mentah.

   • Jika data Anda yang ditampilkan tidak terkini, pilih Refresh untuk melihat kejadian terbaru.

   • Pada gambar sebelumnya, hasilnya diperlihatkan dalam format tabel. Untuk melihat data mentah, pilih Mentah

     

5. Pilih Uji kueri untuk melihat snapshot hasil pengujian kueri Anda di tabHasil Tes. Anda juga dapat mengunduh hasilnya.

   

   Tulis kueri Anda sendiri untuk mentransformasi data. LihatReferensi Bahasa Pemrograman Kueri Analitik Stream.

6. Setelah Anda menguji kueri dan ingin memindahkannya ke produksi, pilih Buat pekerjaan Azure Stream Analytics.

   

7. Pada halaman Pekerjaan Analisis Aliran baru, ikuti langkah-langkah ini:

   1. Tentukan nama untuk pekerjaan tersebut.

   2. Pilih langganan Azure tempat Anda ingin pekerjaan dibuat.

   3. Pilih grup sumber daya untuk sumber daya pekerjaan Azure Stream Analytics.

   4. Pilih lokasi untuk pekerjaan tersebut.

   5. Untuk nama kebijakan Azure Event Hubs, buat kebijakan baru atau pilih yang sudah ada.

   6. Untuk grup konsumen Azure Event Hubs, buat grup konsumen baru atau pilih grup konsumen yang sudah ada.

   7. Pilih Buat untuk membuat pekerjaan Azure Stream Analytics.

      

      Catatan

      Kami menyarankan agar Anda membuat grup konsumen dan kebijakan untuk setiap pekerjaan Azure Stream Analytics baru yang Anda buat dari sini. Grup konsumen hanya mengizinkan lima pembaca bersamaan, jadi menyediakan kelompok konsumen khusus untuk setiap pekerjaan akan menghindari kesalahan yang mungkin timbul karena melebihi batas itu. Kebijakan khusus memungkinkan Anda memutar kunci atau mencabut izin tanpa memengaruhi sumber daya lain.

8. Tugas Stream Analytics Anda sekarang dibuat di mana kueri Anda sama dengan yang Anda uji, dan input adalah hub peristiwa Anda.

   

9. Tambahkan output pilihan Anda.

10. Navigasikan kembali ke halaman pekerjaan Azure Stream Analytics dengan mengklik nama pekerjaan di tautan breadcrumb.

11. Pilih Edit kueri di atas jendela Kueri .

12. Perbarui [OutputAlias] dengan nama output Anda, dan pilih Simpan tautan kueri di atas kueri. Tutup halaman Kueri dengan memilih X di sudut kanan atas.

13. Sekarang, pada halaman pekerjaan Azure Stream Analytics, pilih Mulai di toolbar untuk memulai pekerjaan.

    

Access

Masalah : Pengguna tidak dapat mengakses data pratinjau karena mereka tidak memiliki izin yang tepat pada Langganan.

Opsi 1: Pengguna yang ingin mempratinjau data yang masuk perlu ditambahkan sebagai Kontributor pada Langganan.

Opsi 2: Pengguna perlu ditambahkan sebagai peran penguji Kueri Azure Stream Analytics pada Langganan. Navigasikan ke Kontrol akses untuk langganan. Tambahkan penetapan peran baru untuk pengguna sebagai peran "Penguji Kueri Azure Stream Analytics".

Opsi 3: Pengguna dapat membuat pekerjaan Azure Stream Analytics. Atur input sebagai hub kejadian ini dan navigasikan ke "Kueri" untuk mempratinjau data masuk dari hub kejadian ini.

Opsi 4: Admin dapat membuat peran kustom pada langganan. Tambahkan izin akses berikut ke peran kustom lalu tambahkan pengguna ke peran kustom baru.

Unit streaming

Pekerjaan Azure Stream Analytics Anda default ke tiga unit streaming (SU). Untuk menyesuaikan pengaturan ini,pilih Skalakan di menu sebelah kiri di halaman tugas Stream Analytics di portal Azure. Untuk mempelajari selengkapnya tentang unit streaming, lihat Memahami dan menyesuaikan Unit Streaming.

Pertimbangan saat menggunakan fitur Replikasi Geografis Azure Event Hubs

Azure Event Hubs baru-baru ini meluncurkan fitur Geo-Replikasi di pratinjau publik. Fitur ini berbeda dari fitur Pemulihan Bencana Geografis Azure Event Hubs.

Ketika jenis failover Dipaksa dan konsistensi replikasi asinkron, pekerjaan Azure Stream Analytics tidak menjamin output sekali ke output Azure Event Hubs.

Azure Stream Analytics, sebagai produsen dengan output pusat aktivitas, mungkin mengamati keterlambatan marka air pada pekerjaan selama durasi failover dan selama pembatasan oleh Azure Event Hubs jika lag replikasi antara primer dan sekunder mencapai lag maksimum yang dikonfigurasi.

Azure Stream Analytics, sebagai konsumen dengan Event Hubs sebagai Input, mungkin mengamati keterlambatan marka air pada pekerjaan selama durasi failover dan mungkin melewati data atau menemukan data duplikat setelah failover selesai.

Karena peringatan ini, kami sarankan Anda memulai ulang pekerjaan Azure Stream Analytics dengan waktu mulai yang sesuai tepat setelah failover Azure Event Hubs selesai. Selain itu, karena fitur Replikasi Geografis Azure Event Hubs ada di pratinjau publik, kami tidak menyarankan penggunaan pola ini untuk pekerjaan Azure Stream Analytics produksi pada saat ini. Perilaku Azure Stream Analytics saat ini akan meningkat sebelum fitur Replikasi Geografis Azure Event Hubs tersedia secara umum dan dapat digunakan dalam pekerjaan produksi Azure Stream Analytics.

Konten terkait

Untuk mempelajari selengkapnya tentang kueri Analitik Stream, lihat Bahasa Kueri Analisis Streaming