Mengonfigurasi tahap sumber titik akhir HTTP dalam alur Pratinjau Prosesor Data Azure IoT
Penting
Pratinjau Operasi Azure IoT – diaktifkan oleh Azure Arc saat ini dalam PRATINJAU. Anda tidak boleh menggunakan perangkat lunak pratinjau ini di lingkungan produksi.
Lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure untuk persyaratan hukum yang berlaku pada fitur Azure dalam versi beta, pratinjau, atau belum dirilis secara umum.
Tahap sumber adalah tahap pertama dan diperlukan dalam alur Pratinjau Prosesor Data Azure IoT. Tahap sumber mendapatkan data ke dalam alur pemrosesan data dan menyiapkannya untuk pemrosesan lebih lanjut. Tahap sumber titik akhir HTTP memungkinkan Anda membaca data dari titik akhir HTTP pada interval yang ditentukan pengguna. Tahap ini memiliki isi permintaan opsional dan menerima respons dari titik akhir.
Pada tahap sumber, Anda menentukan:
- Koneksi detail ke titik akhir HTTP.
- Interval untuk memanggil titik akhir HTTP. Tahap menunggu respons sebelum mengatur ulang timer interval.
- Konfigurasi partisi berdasarkan persyaratan pemrosesan data spesifik Anda.
Prasyarat
- Instans Pemroses Data yang berfungsi disebarkan.
- Titik akhir HTTP dengan semua data mentah yang diperlukan yang tersedia beroperasi dan dapat dijangkau.
Mengonfigurasi sumber titik akhir HTTP
Untuk mengonfigurasi sumber titik akhir HTTP:
- Berikan detail titik akhir HTTP. Konfigurasi ini mencakup metode, URL, dan payload permintaan untuk digunakan.
- Tentukan metode autentikasi. Saat ini terbatas pada autentikasi berbasis nama pengguna/kata sandi atau berbasis header.
Tabel berikut ini menjelaskan parameter konfigurasi sumber titik akhir HTTP:
| Bidang | Jenis | Deskripsi | Wajib diisi | Default | Contoh |
|---|---|---|---|---|---|
| Nama | String | Nama yang terlihat pelanggan untuk tahap sumber. | Diperlukan | NA | erp-endpoint |
| Deskripsi | String | Deskripsi yang terlihat pelanggan dari tahap sumber. | Opsional | NA | Enterprise application data |
| Metode | Enum | Metode HTTP yang digunakan untuk permintaan. Salah satu atau GETPOST |
Opsional | GET |
GET |
| URL | String | URL yang digunakan untuk permintaan. Keduanya http dan https didukung. |
Diperlukan | NA | https://contoso.com/some/url/path |
| Autentikasi | Jenis autentikasi | Metode autentikasi untuk permintaan HTTP. Salah satu dari: None, Username/Password, atau Header. |
Opsional | NA |
Username/Password |
| Nama Pengguna/Nama Pengguna Kata Sandi > | String | Nama pengguna untuk autentikasi nama pengguna/kata sandi | Ya | NA | myuser |
| Rahasia Nama Pengguna/Kata Sandi > | Referensi ke kata sandi yang disimpan di Azure Key Vault. | Ya | Ya | AKV_USERNAME_PASSWORD |
|
| Tombol Header > | String | Nama kunci untuk autentikasi berbasis header. | Ya | NA | Authorization |
| Nilai Header > | String | Nama kredensial di Azure Key Vault untuk autentikasi berbasis header. | Ya | NA | AKV_PASSWORD |
| Format data | Format | Format data data masuk | Diperlukan | NA | {"type": "json"} |
| Isi Permintaan permintaan > API | String | Isi permintaan statis untuk dikirim dengan permintaan HTTP. | Opsional | NA | {"foo": "bar"} |
| Header permintaan > API | Pasangan Kunci/Nilai | Header permintaan statis untuk dikirim dengan permintaan HTTP. | Opsional | NA | [{"key": {"type":"static", "value": "asset"}, "value": {"type": "static", "value": "asset-id-0"}} ] |
| Interval permintaan | Durasi | Representasi string waktu untuk menunggu sebelum panggilan API berikutnya. | Diperlukan | 10s |
24h |
| Partisi | Partisi | Konfigurasi partisi untuk tahap sumber. | Diperlukan | NA | Lihat pemartisian |
Untuk mempelajari selengkapnya tentang rahasia, lihat Mengelola rahasia untuk penyebaran Pratinjau Operasi Azure IoT Anda.
Pilih format data
Dalam alur Pemroses Data, bidang format dalam tahap sumber menentukan cara mendeserialisasi data masuk. Secara default, alur Pemroses raw Data menggunakan format yang berarti tidak mengonversi data masuk. Untuk menggunakan banyak fitur Pemroses Data seperti Filter atau Enrich tahapan dalam alur, Anda harus mendeserialisasi data Anda dalam tahap input. Anda dapat memilih untuk mendeserialisasi data masuk Anda dari JSON, , jsonStream, MessagePackCBOR, CSV, atau Protobuf format ke dalam pesan yang dapat dibaca Pemroses Data untuk menggunakan fungsionalitas Pemroses Data lengkap.
Tabel berikut ini menjelaskan berbagai opsi konfigurasi deserialisasi:
| Bidang | Deskripsi | Wajib diisi | Default | Nilai |
|---|---|---|---|---|
| Format data | Jenis format data. | Ya | Raw |
Raw JSON jsonStream MessagePack CBOR CSV Protobuf |
Bidang Data Format wajib dan nilainya menentukan bidang lain yang diperlukan.
Untuk mendeserialisasi pesan CSV, Anda juga perlu menentukan bidang berikut:
| Bidang | Deskripsi | Wajib diisi | Nilai | Contoh |
|---|---|---|---|---|
| Header | Apakah data CSV menyertakan baris header. | Ya | Yes No |
No |
| Nama | Nama kolom di CSV | Ya | - | temp, asset |
| Jalur | Jalur jq dalam pesan tempat informasi kolom ditambahkan. | No | - | Jalur jq default adalah nama kolom |
| Jenis Data | Jenis data dalam kolom dan bagaimana data diwakili di dalam alur Pemroses Data. | No | String, , FloatInteger, , Boolean,Bytes |
Default: String |
Untuk mendeserialisasi pesan Protobuf, Anda juga perlu menentukan bidang berikut:
| Bidang | Deskripsi | Wajib diisi | Nilai | Contoh |
|---|---|---|---|---|
| Deskriptor | Deskriptor yang dikodekan base64 untuk definisi protobuf. | Ya | - | Zhf... |
| Pesan | Nama jenis pesan yang digunakan untuk memformat data. | Ya | - | pipeline |
| Paket | Nama paket dalam deskriptor tempat jenis ditentukan. | Ya | - | schedulerv1 |
Catatan
Pemroses Data hanya mendukung satu jenis pesan di setiap file .proto .
Mengonfigurasi partisi
Pemartisian dalam alur membagi data masuk menjadi partisi terpisah. Pemartisian memungkinkan paralelisme data dalam alur, yang dapat meningkatkan throughput dan mengurangi latensi. Strategi pemartisian memengaruhi bagaimana data diproses di tahap lain dari alur. Misalnya, tahap nilai terakhir yang diketahui dan tahap agregat beroperasi pada setiap partisi logis.
Untuk mempartisi data Anda, tentukan strategi partisi dan jumlah partisi yang akan digunakan:
Tahap sumber menerapkan ekspresi partisi ke pesan masuk untuk menghitung partisi ID atau Key.
Pemroses Data menambahkan metadata tambahan ke pesan masuk. Lihat Gambaran umum struktur pesan Pemroses Data untuk memahami cara menentukan ekspresi partisi yang berjalan pada pesan masuk dengan benar. Secara default, ekspresi partisi diatur ke 0 dengan jenis Partisi sebagai ID untuk mengirim semua data masuk ke satu partisi.
Untuk rekomendasi dan untuk mempelajari selengkapnya, lihat Apa itu partisi?.