Edit

Proses pendeteksi anomali

Azure Databricks
Azure Service Bus
Azure Storage Accounts

Artikel ini menyajikan arsitektur untuk implementasi mendekati real-time dari proses deteksi anomali.

Sistem

Diagram arsitektur proses detektor anomali.

Unduh file Visio arsitektur ini.

Aliran data

  1. Data rangkaian waktu dapat berasal dari beberapa sumber, seperti Azure Database for MySQL, penyimpanan Blob, Azure Event Hubs, Azure Cosmos DB, SQL Database, dan Azure Database for PostgreSQL.
  2. Data diserap ke dalam komputasi dari berbagai sumber penyimpanan untuk dipantau oleh Detektor Anomali.
  3. Databricks membantu mengagregasi, mengambil sampel, dan menghitung data mentah untuk menghasilkan waktu dengan hasil yang terdeteksi. Databricks mampu memproses aliran dan data statis. Analisis aliran dan Azure Synapse dapat menjadi alternatif berdasarkan persyaratan.
  4. API detektor anomali mendeteksi anomali dan mengembalikan hasilnya ke komputasi.
  5. Metadata terkait anomali diantrekan.
  6. Application Insights memilih pesan dari antrean pesan berdasarkan metadata terkait anomali dan mengirim pemberitahuan tentang anomali.
  7. Hasilnya disimpan di Azure Data Lake Service Gen2.
  8. Aplikasi web dan Power BI dapat memvisualisasikan hasil deteksi anomali.

Komponen

Teknologi utama yang digunakan untuk mengimplementasikan arsitektur ini:

  • Bus Layanan: Reliable cloud messaging as a service (MaaS) dan integrasi hibrid sederhana.
  • Azure Databricks: Layanan analitik berbasis Apache Spark yang cepat, mudah, dan kolaboratif.
  • Power BI: Alat BI visualisasi data interaktif.
  • Akun Penyimpanan: Penyimpanan cloud yang tahan lama, sangat tersedia, dan dapat diskalakan secara besar-besaran.
  • Cognitive Services: Layanan berbasis cloud dengan REST API dan SDK pustaka klien tersedia untuk membantu Anda membangun kecerdasan kognitif ke dalam aplikasi Anda.
  • Logic Apps: Platform tanpa server untuk membangun alur kerja perusahaan yang mengintegrasikan aplikasi, data, dan layanan. Dalam arsitektur ini, aplikasi logika dipicu oleh permintaan HTTP.
  • Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2 menyediakan semantik sistem file, keamanan tingkat file, dan skala.
  • Application Insights: Application Insights adalah fitur Azure Monitor yang menyediakan manajemen performa aplikasi (APM) yang dapat diperluas dan pemantauan untuk aplikasi web langsung.

Alternatif

  • Azure Event Hubs with Kafka: Alternatif untuk menjalankan kluster Kafka Anda sendiri. Fitur Azure Event Hubs ini menyediakan titik akhir yang kompatibel dengan Kafka API.
  • Azure Synapse Analytics: Layanan analitik yang menyatukan pergudangan data perusahaan dan analitik big data.
  • Azure Pembelajaran Mesin: Membangun, melatih, menyebarkan, dan mengelola model pembelajaran mesin/deteksi anomali kustom di lingkungan berbasis cloud.

Detail skenario

API Detektor Anomali Azure Cognitive Services memungkinkan Anda memantau dan mendeteksi kelainan dalam data rangkaian waktu Anda tanpa harus mengetahui pembelajaran mesin. Algoritma API beradaptasi dengan secara otomatis mengidentifikasi dan menerapkan model yang paling pas ke data rangkaian waktu Anda, terlepas dari industri, skenario, atau volume data. Mereka menentukan batas untuk deteksi anomali, nilai yang diharapkan, dan titik data anomali.

Kemungkinan kasus penggunaan

Beberapa area yang deteksi anomali membantu memantau:

  • Penipuan bank (industri keuangan)
  • Cacat struktural (industri manufaktur)
  • Masalah medis (industri kesehatan)

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Skalabilitas

Sebagian besar komponen yang digunakan dalam skenario contoh ini adalah layanan terkelola yang akan secara otomatis diskalakan.

Untuk panduan umum tentang merancang solusi yang dapat diskalakan, lihat daftar periksa efisiensi performa di Azure Architecture Center.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keamanan.

Identitas terkelola untuk sumber daya Azure digunakan untuk menyediakan akses ke sumber daya lain yang internal ke akun Anda, lalu ditetapkan ke Azure Functions Anda. Izinkan identitas tersebut untuk mengakses hanya sumber daya yang diperlukan untuk memastikan bahwa tidak ada yang tambahan yang terekspos ke fungsi Anda (dan berpotensi kepada pelanggan Anda).

Untuk panduan umum tentang mendesain solusi aman, lihat Dokumentasi Keamanan Azure.

Ketahanan

Semua komponen dalam skenario ini dikelola, jadi pada tingkat regional semuanya tangguh secara otomatis.

Untuk panduan umum tentang cara merancang solusi yang tangguh, lihat Mendesain aplikasi yang tangguh untuk Azure.

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Untuk menjelajahi biaya menjalankan skenario ini, lihat kalkulator yang sudah diisi sebelumnya dengan semua layanan. Untuk melihat bagaimana harga akan berubah untuk kasus penggunaan khusus Anda, ubah variabel yang sesuai agar sesuai dengan volume lalu lintas / data yang Anda harapkan.

Kami telah menyediakan tiga profil biaya sampel berdasarkan jumlah lalu lintas (kami menganggap semua gambar berukuran 100 kb):

  • Contoh kalkulator: contoh harga ini adalah kalkulator dengan semua layanan dalam arsitektur ini, kecuali Power BI dan solusi peringatan khusus.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya