Memproses data di tepi dengan alur Pratinjau Prosesor Data Azure IoT
Penting
Pratinjau Operasi Azure IoT – diaktifkan oleh Azure Arc saat ini dalam PRATINJAU. Anda tidak boleh menggunakan perangkat lunak pratinjau ini di lingkungan produksi.
Lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure untuk persyaratan hukum yang berlaku pada fitur Azure dalam versi beta, pratinjau, atau belum dirilis secara umum.
Aset industri menghasilkan data dalam berbagai format dan menggunakan berbagai protokol komunikasi. Keragaman sumber data ini, ditambah dengan berbagai skema dan ukuran unit, membuatnya sulit untuk menggunakan dan menganalisis data industri mentah secara efektif. Selain itu, untuk alasan kepatuhan, keamanan, dan performa, Anda tidak dapat mengunggah semua himpunan data ke cloud.
Untuk memproses data ini secara tradisional membutuhkan rekayasa data yang mahal, kompleks, dan memakan waktu. Pratinjau Prosesor Data Azure IoT adalah layanan pemrosesan data yang dapat dikonfigurasi yang dapat mengelola kompleksitas dan keragaman data industri. Gunakan Pemroses Data untuk membuat data dari sumber yang berbeda lebih dapat dimengerti, dapat digunakan, dan berharga.
Apa itu Pratinjau Prosesor Data Azure IoT?
Pratinjau Prosesor Data Azure IoT adalah komponen Pratinjau Operasi Azure IoT. Pemroses Data memungkinkan Anda menggabungkan, memperkaya, menormalkan, dan memfilter data dari perangkat Anda. Pemroses Data adalah mesin pemrosesan data berbasis alur yang memungkinkan Anda memproses data di tepi sebelum Anda mengirimkannya ke layanan lain baik di tepi atau di cloud:
Pemroses Data menyerap data streaming real-time dari sumber seperti server OPC UA, sejarawan, dan sistem industri lainnya. Ini menormalkan data ini dengan mengonversi berbagai format data menjadi format terstruktur standar, yang membuatnya lebih mudah untuk mengkueri dan menganalisis. Pemroses data juga dapat mengontekstualisasikan data, memperkayanya dengan data referensi atau nilai terakhir yang diketahui (LKV) untuk memberikan pandangan komprehensif tentang operasi industri Anda.
Output dari Pemroses Data bersih, diperkaya, dan distandarisasi data yang siap untuk aplikasi hilir seperti alat analitik dan wawasan real time. Prosesor data secara signifikan mengurangi waktu yang diperlukan untuk mengubah data mentah menjadi wawasan yang dapat ditindaklaksikan.
Fitur Prosesor Data Utama meliputi:
Normalisasi data fleksibel untuk mengonversi beberapa format data menjadi struktur standar.
Pengayaan aliran data dengan referensi atau data LKV untuk meningkatkan konteks dan memungkinkan wawasan yang lebih baik.
Integrasi Microsoft Fabric bawaan untuk menyederhanakan analisis data bersih.
Kemampuan untuk memproses data dari berbagai sumber dan menerbitkan data ke berbagai tujuan.
Sebagai platform pemrosesan data agnostik data, Pemroses Data dapat menyerap data dalam format apa pun, memproses data, lalu menuliskannya ke tujuan. Untuk mendukung kemampuan ini, Pemroses Data dapat mendeserialisasi dan menserialisasikan berbagai format. Misalnya, ini dapat diserialisasikan ke parket untuk menulis file ke Microsoft Fabric.
Kebijakan coba lagi otomatis dan dapat dikonfigurasi untuk menangani kesalahan sementara saat mengirim data ke tujuan cloud.
Apa itu alur?
Alur Pemroses Data memiliki sumber input tempatnya membaca data, tujuan tempatnya menulis data yang diproses, dan jumlah variabel tahap perantara untuk memproses data.
Tahap perantara mewakili berbagai kemampuan pemrosesan data yang tersedia:
- Anda dapat menambahkan tahap perantara sebanyak yang Anda butuhkan ke alur.
- Anda dapat memesan tahap perantara alur sesuai kebutuhan Anda. Anda dapat menyusun ulang tahapan setelah membuat alur.
- Setiap tahap mematuhi antarmuka implementasi yang ditentukan dan kontrak skema input/output.
- Setiap tahap independen dari tahapan lain dalam alur.
- Semua tahap beroperasi dalam cakupan partisi. Data tidak dibagikan di antara partisi yang berbeda.
- Data mengalir dari satu tahap ke tahap berikutnya saja.
Alur Pemroses Data dapat menggunakan tahapan berikut:
| Tahap | Deskripsi |
|---|---|
| Sumber - MQ | Mengambil data dari broker MQTT. |
| Sumber - Titik akhir HTTP | Mengambil data dari titik akhir HTTP. |
| Sumber - SQL | Mengambil data dari database Microsoft SQL Server. |
| Sumber - InfluxDB | Mengambil data dari database InfluxDB. |
| Filter | Memfilter data yang masuk melalui tahap. Misalnya, filter pesan apa pun dengan suhu di luar 50F-150F rentang. |
| Mengubah | Menormalkan struktur data. Misalnya, ubah struktur dari {"Name": "Temp", "value": 50} ke {"temp": 50}. |
| LKV | Menyimpan nilai metrik yang dipilih ke dalam penyimpanan LKV. Misalnya, simpan hanya pengukuran suhu dan kelembaban ke dalam LKV, abaikan sisanya. Tahap berikutnya dapat memperkaya pesan dengan data LKV yang disimpan. |
| Memperkaya | Memperkaya pesan dengan data dari penyimpanan data referensi. Misalnya, tambahkan nama operator dan nomor lot dari himpunan data operasi. |
| Aggregat | Agregat nilai melewati tahap. Misalnya, ketika nilai suhu dikirim setiap 100 milidetik, keluarkan metrik suhu rata-rata setiap 30 detik. |
| Memanggil | Melakukan panggilan ke layanan HTTP atau gRPC eksternal. Misalnya, panggil Azure Function untuk mengonversi dari format pesan kustom ke JSON. |
| Tujuan - MQ | Menulis data yang diproses, bersih, dan dikonteksualisasi ke topik MQTT. |
| Tujuan - Referensi | Menulis data yang Diproses ke penyimpanan referensi bawaan. Alur lain dapat menggunakan penyimpanan referensi untuk memperkaya pesan mereka. |
| Tujuan - gRPC | Mengirim data yang diproses, bersih, dan dikonteksualisasi ke titik akhir gRPC. |
| Tujuan - HTTP | Mengirim data yang diproses, dibersihkan, dan dikonteksualisasikan ke titik akhir HTTP. |
| Tujuan - Fabric Lakehouse | Mengirim data yang diproses, bersih, dan dikonteksualisasikan ke microsoft Fabric lakehouse di cloud. |
| Tujuan - Azure Data Explorer | Mengirim data yang diproses, bersih, dan kontekstual ke titik akhir Azure Data Explorer di cloud. |
| Tujuan - Azure Blob Storage | Mengirim data yang diproses, dibersihkan, dan dikonteksualisasikan ke titik akhir Azure Blob Storage di cloud. |
Langkah selanjutnya
Untuk mencoba alur Pemroses Data, lihat mulai cepat Operasi Azure IoT.
Untuk mempelajari selengkapnya tentang Pemroses Data, lihat: