Bagikan melalui

Menggunakan editor tanpa kode Azure Stream Analytics untuk mengubah dan menyimpan data di database Azure SQL

Artikel ini menjelaskan bagaimana Anda dapat menggunakan editor tanpa kode untuk membuat pekerjaan Azure Stream Analytics dengan mudah, yang terus membaca data dari instans Azure Event Hubs (pusat aktivitas), mengubah data, lalu menulis hasil ke database Azure SQL.

Prasyarat

Sumber daya Azure Event Hubs dan Azure SQL Database Anda harus dapat diakses secara publik dan tidak berada di belakang firewall atau diamankan di Azure Virtual Network. Data di Azure Event Hubs Anda harus diserialisasikan dalam format JSON, CSV, atau Avro.

Jika Anda ingin mencoba langkah-langkah dalam artikel ini, ikuti langkah-langkah ini.

  • Buat hub peristiwa jika Anda belum memilikinya. Buat data di pusat aktivitas. Pada halaman Instans Azure Event Hubs, pilih Hasilkan data (pratinjau) di menu sebelah kiri, pilih Data stok untuk Himpunan Data, lalu pilih Kirim untuk mengirim beberapa data sampel ke hub peristiwa. Langkah ini diperlukan jika Anda ingin menguji langkah-langkah dalam artikel ini.

    Cuplikan layar memperlihatkan halaman Hasilkan data (pratinjau) instans Azure Event Hubs.

  • Membuat database Azure SQL. Berikut adalah beberapa poin penting yang perlu diperhatikan saat membuat database.

    1. Pada halaman Dasar , pilih Buat baru untuk Server. Kemudian, pada halaman Buat server SQL Database, pilih Gunakan autentikasi SQL, dan tentukan ID pengguna admin dan kata sandi.

    2. Pada halaman Jaringan , ikuti langkah-langkah berikut:

      1. Aktifkan Titik akhir publik.
      2. Pilih Ya untuk Izinkan layanan dan sumber daya Azure mengakses server ini.
      3. Pilih Ya untuk Menambahkan alamat IP klien saat ini.

    3. Pada halaman Pengaturan tambahan, pilih Tidak Ada untuk Gunakan data yang sudah ada.

    4. Dalam artikel, lewati langkah-langkah di bagian Kueri database dan Bersihkan sumber daya .

    5. Jika Anda ingin menguji langkah-langkah, buat tabel di database SQL dengan menggunakan editor Kueri (pratinjau).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Menggunakan editor tanpa kode untuk membuat pekerjaan Azure Stream Analytics

Di bagian ini, Anda membuat pekerjaan Azure Stream Analytics menggunakan editor tanpa kode. Pekerjaan mengubah streaming data dari instans Azure Event Hubs (pusat aktivitas) dan menyimpan data hasil dalam database Azure SQL.

  1. Di portal Azure, navigasikan ke halaman Instans Azure Event Hubs untuk hub peristiwa Anda.

  2. Pilih Data Proses Fitur>di menu sebelah kiri lalu pilih Mulai pada kartu Transformasi dan simpan data ke database SQL.

    Cuplikan layar yang menampilkan Filter dan penyerapan ke kartu ADLS Gen2 tempat Anda memilih Mulai.

  3. Masukkan nama untuk pekerjaan Azure Stream Analytics, lalu pilih Buat. Anda melihat diagram pekerjaan Azure Stream Analytics dengan jendela Azure Event Hubs di sebelah kanan.

    Cuplikan layar yang menampilkan tempat memasukkan nama pekerjaan.

  4. Pada jendela Hub peristiwa, tinjau Pengaturan mode Serialisasi dan Autentikasi, dan pilih Sambungkan.

    Cuplikan layar yang menampilkan konfigurasi koneksi Azure Event Hubs.

  5. Saat koneksi berhasil dibuat dan Anda memiliki data di instans Azure Event Hubs, Anda akan melihat dua hal:

    • Bidang yang ada dalam data input. Anda dapat memilih Tambahkan bidang atau pilih simbol tiga titik di samping bidang untuk menghapus, mengganti nama, atau mengubah jenisnya.

      Cuplikan layar memperlihatkan daftar bidang Azure Event Hubs tempat Anda bisa menghapus, mengganti nama, atau mengubah jenis bidang.

    • Sampel langsung data masuk dalam tabel Pratinjau data di bawah tampilan diagram. Ini secara otomatis di-refresh secara berkala. Anda dapat memilih Jeda pratinjau streaming untuk melihat tampilan statis data input sampel.

      Cuplikan layar yang menampilkan sampel data pada Pratinjau Data.

  6. Pilih petak peta Kelompokkan menurut untuk mengagregasi data. Di panel Kelompokkan menurut konfigurasi, Anda dapat menentukan bidang yang ingin Anda Kelompokkan Menurut bersama dengan jendela Waktu.

    Dalam contoh berikut, rata-rata harga dan simbol digunakan.

    Cuplikan layar yang memperlihatkan konfigurasi grup menurut operator.

  7. Anda dapat memvalidasi hasil langkah di bagian Pratinjau data.

    Cuplikan layar yang memperlihatkan pratinjau data untuk grup menurut operator.

  8. Pilih petak Kelola bidang . Di panel Konfigurasi kelola bidang , pilih bidang yang ingin Anda keluarkan dengan memilih Tambahkan bidang ->Skema Yang Diimpor -> bidang.

    Jika Anda ingin menambahkan semua bidang, pilih Tambahkan semua bidang. Saat menambahkan bidang, Anda dapat menentukan nama yang berbeda untuk output. Misalnya, AVG_Value ke Value. Setelah menyimpan pilihan, Anda akan melihat data di panel Pratinjau data.

    Dalam contoh berikut, Simbol dan AVG_Value dipilih. Simbol dipetakan ke simbol, dan AVG_Value dipetakan ke harga.

    Cuplikan layar yang memperlihatkan konfigurasi kelola operator bidang.

  9. Pilih petak peta SQL . Di panel konfigurasi SQL Database , isi parameter yang diperlukan dan sambungkan. Pilih Muat tabel yang sudah ada agar tabel dipilih secara otomatis. Dalam contoh berikut, [dbo].[stocks] dipilih. Lalu, pilih Sambungkan.

    Catatan

    Skema tabel yang Anda pilih untuk ditulis harus sama persis dengan jumlah bidang dan jenisnya yang dihasilkan pratinjau data Anda.

    Cuplikan layar yang memperlihatkan konfigurasi output database sql.

  10. Di panel Pratinjau data, Anda akan melihat pratinjau data yang diserap dalam database SQL.

    Cuplikan layar memperlihatkan opsi Dapatkan pratinjau statis/Refresh pratinjau statis.

  11. Pilih Simpan lalu pilih Mulai pekerjaan Azure Stream Analytics.

    Cuplikan layar memperlihatkan opsi Simpan dan Mulai.

  12. Untuk memulai pekerjaan, tentukan:

    • Jumlah Streaming Units (SUs) pekerjaan yang dijalankan. SU mewakili jumlah komputasi dan memori yang dialokasikan untuk pekerjaan tersebut. Kami menyarankan agar Anda memulai dengan tiga dan kemudian menyesuaikan sesuai kebutuhan.

    • Penanganan kesalahan data output - Ini memungkinkan Anda menentukan perilaku yang Anda inginkan ketika output pekerjaan ke tujuan Anda gagal karena kesalahan data. Secara default, pekerjaan Anda mencoba kembali hingga operasi tulis berhasil. Anda juga dapat memilih untuk menghilangkan peristiwa output tersebut.

      Cuplikan layar yang menunjukkan opsi pekerjaan Start Stream Analytics tempat Anda dapat mengubah waktu output, mengatur jumlah unit streaming, dan memilih opsi Penanganan kesalahan data output.

  13. Setelah Anda memilih Mulai, pekerjaan mulai berjalan dalam waktu dua menit. Anda melihat panel metrik di panel bawah terbuka. Dibutuhkan waktu beberapa saat bagi panel ini untuk diperbarui. Pilih Refresh di sudut kanan atas panel untuk me-refresh bagan. Lanjutkan ke langkah berikutnya di tab atau jendela terpisah browser web.

    Cuplikan layar yang memperlihatkan metrik pekerjaan setelah dimulai.

    Anda juga dapat melihat pekerjaan di bawah bagian Data Proses pada tab pekerjaan Azure Stream Analytics . Pilih Buka metrik untuk memantaunya atau menghentikan dan memulai ulang, sesuai kebutuhan.

    Cuplikan layar tab pekerjaan Azure Stream Analytics tempat Anda melihat status pekerjaan yang sedang berjalan.

  14. Navigasi ke hub peristiwa Anda di portal di jendela atau tab browser terpisah, dan kirim data stok sampel lagi (seperti yang Anda lakukan di prasyarat). Pada halaman Instans Azure Event Hubs, pilih Hasilkan data (pratinjau) di menu sebelah kiri, pilih Data stok untuk Himpunan Data, lalu pilih Kirim untuk mengirim beberapa data sampel ke hub peristiwa. Dibutuhkan beberapa menit untuk melihat panel Metrik diperbarui.

  15. Anda akan melihat rekaman yang disisipkan dalam database Azure SQL.

    Cuplikan layar yang memperlihatkan konten tabel saham dalam database.

Pertimbangan saat menggunakan fitur Replikasi Geografis Azure Event Hubs

Azure Event Hubs baru-baru ini meluncurkan fitur Geo-Replikasi di pratinjau publik. Fitur ini berbeda dari fitur Pemulihan Bencana Geografis Azure Event Hubs.

Ketika jenis failover Dipaksa dan konsistensi replikasi asinkron, pekerjaan Azure Stream Analytics tidak menjamin output sekali ke output Azure Event Hubs.

Azure Stream Analytics, sebagai produsen dengan output pusat aktivitas, mungkin mengamati keterlambatan marka air pada pekerjaan selama durasi failover dan selama pembatasan oleh Azure Event Hubs jika lag replikasi antara primer dan sekunder mencapai lag maksimum yang dikonfigurasi.

Azure Stream Analytics, sebagai konsumen dengan Event Hubs sebagai Input, mungkin mengamati keterlambatan marka air pada pekerjaan selama durasi failover dan mungkin melewati data atau menemukan data duplikat setelah failover selesai.

Karena peringatan ini, kami sarankan Anda memulai ulang pekerjaan Azure Stream Analytics dengan waktu mulai yang sesuai tepat setelah failover Azure Event Hubs selesai. Selain itu, karena fitur Replikasi Geografis Azure Event Hubs ada di pratinjau publik, kami tidak menyarankan penggunaan pola ini untuk pekerjaan Azure Stream Analytics produksi pada saat ini. Perilaku Azure Stream Analytics saat ini akan meningkat sebelum fitur Replikasi Geografis Azure Event Hubs tersedia secara umum dan dapat digunakan dalam pekerjaan produksi Azure Stream Analytics.

Langkah berikutnya

Pelajari selengkapnya tentang Azure Stream Analytics dan cara memantau pekerjaan yang telah Anda buat.

  • Last updated on