Azure Synapse Link untuk Azure Cosmos DB: Kasus penggunaan analitik yang mendekati real-time
BERLAKU UNTUK: 
Nosql MongoDB Gremlin
Azure Synapse Link for Azure Cosmos DB adalah kemampuan pemrosesan transaksional dan analitik hibrida asli cloud (HTAP) yang memungkinkan Anda menjalankan analitik mendekati real-time melalui data operasional. Synapse Link menciptakan integrasi mulus yang ketat antara Azure Cosmos DB dan Azure Synapse Analytics.
Anda mungkin ingin tahu kasus penggunaan industri apa yang dapat memanfaatkan kemampuan HTAP asli cloud ini untuk analitik mendekati real-time melalui data operasional. Berikut adalah tiga kasus penggunaan umum untuk Azure Synapse Link untuk Azure Cosmos DB:
- Analitik, peramalan, dan pelaporan rantai pasokan
- Personalisasi real time
- Pemeliharaan prediktif, deteksi anomali dalam skenario IOT
Catatan
Azure Synapse Link for Azure Cosmos DB menargetkan skenario di mana tim perusahaan ingin berjalan di dekat analitik real time. Analitik ini dijalankan tanpa ETL melalui data operasional yang dihasilkan di seluruh aplikasi transaksional yang dibangun di Azure Cosmos DB. Ini tidak menggantikan kebutuhan gudang data terpisah ketika ada persyaratan gudang data tradisional seperti manajemen beban kerja, konkurensi tinggi, agregat kegigihan di beberapa sumber data.
Catatan
Synapse Link untuk Gremlin API sekarang dalam pratinjau. Anda dapat mengaktifkan Synapse Link di grafik baru atau yang sudah ada menggunakan Azure CLI. Untuk informasi selengkapnya tentang cara mengonfigurasinya, klik di sini.
Analitik, peramalan, dan pelaporan rantai pasokan
Studi penelitian menunjukkan bahwa penyematan analitik big data dalam operasi rantai pasokan menyebabkan peningkatan dalam waktu pengiriman dari awal siklus dan efisiensi rantai pasokan.
Produsen melakukan onboarding ke teknologi asli cloud untuk memanfaatkan batasan sistem Perencanaan Sumber Daya Perusahaan (ERP) dan Manajemen Rantai Pasok (SCM) warisan. Dengan rantai pasokan yang menghasilkan peningkatan volume data operasional setiap menit (pesanan, pengiriman, data transaksi), produsen membutuhkan database operasional. Database operasional ini harus menskalakan untuk menangani volume data serta platform analitik untuk mencapai tingkat kecerdasan kontekstual real time untuk tetap berada di depan kurva.
Arsitektur berikut menunjukkan kekuatan memanfaatkan Azure Cosmos DB sebagai database operasional cloud-native dan Synapse Link dalam analisis rantai pasokan:
Berdasarkan arsitektur sebelumnya, Anda dapat mencapai kasus penggunaan berikut dengan Synapse Link for Azure Cosmos DB:
Siapkan & latih alur prediktif: Hasilkan wawasan tentang data operasional di seluruh rantai pasokan menggunakan terjemahan pembelajaran mesin. Dengan cara ini Anda dapat menurunkan inventaris, biaya operasi, dan mengurangi waktu pemesanan hingga pengiriman untuk pelanggan.
Synapse Link memungkinkan Anda menganalisis perubahan data operasional di Azure Cosmos DB tanpa proses ETL manual. Ini menyelamatkan Anda dari biaya tambahan, latensi, dan kompleksitas operasional. Synapse Link memungkinkan teknisi data dan ilmuwan data untuk membangun alur prediktif yang kuat:
Kueri data operasional dari penyimpanan analitik Azure Cosmos DB dengan memanfaatkan integrasi asli dengan kumpulan Apache Spark di Azure Synapse Analytics. Anda dapat mengkueri data dalam buku catatan interaktif atau pekerjaan jarak jauh terjadwal tanpa rekayasa data yang kompleks.
Buat model Pembelajaran Mesin (ML) dengan algoritma ML Spark dan integrasi ML Azure dalam Azure Synapse Analytics.
Tulis ulang hasil setelah inferensi model ke Azure Cosmos DB untuk penilaian mendekati real-time operasional.
Pelaporan operasional: Tim rantai pasokan membutuhkan laporan yang fleksibel dan khusus melalui data operasional yang real time dan akurat. Laporan ini diperlukan untuk mendapatkan tampilan snapshot efektivitas rantai pasokan, profitabilitas, dan produktivitas. Ini memungkinkan analis data dan pemangku kepentingan utama lainnya untuk terus mengevaluasi kembali bisnis dan mengidentifikasi area untuk di-tweak untuk mengurangi biaya operasional.
Synapse Link untuk Azure Cosmos DB memungkinkan skenario kecerdasan bisnis (BI)/pelaporan yang beragam:
Kueri data operasional dari penyimpanan analitik Azure Cosmos DB dengan menggunakan integrasi asli dengan kumpulan SQL tanpa server dan ekspresi penuh bahasa T-SQL.
Model dan publikasikan dasbor BI refreshing otomatis melalui Azure Cosmos DB melalui dukungan kumpulan SQL tanpa server untuk alat BI yang familiar. Misalnya, Azure Analysis Services, Power BI Premium, dll.
Berikut ini adalah beberapa panduan untuk integrasi data untuk data batch & streaming ke Azure Cosmos DB:
Integrasi data batch & orkestrasi: Dengan rantai pasokan yang semakin kompleks, platform data rantai pasokan perlu diintegrasikan dengan berbagai sumber dan format data. Azure Synapse hadir bawaan dengan mesin dan pengalaman integrasi data yang sama dengan Azure Data Factory. Integrasi ini memungkinkan teknisi data untuk membuat alur data yang kaya tanpa mesin orkestrasi terpisah:
Pindahkan data dari 85+ sumber data yang didukung ke Azure Cosmos DB dengan Azure Data Factory.
Tulis alur ETL bebas kode ke Azure Cosmos DB termasuk pemetaan relasional-ke-hierarkis dan hierarkis-ke-hierarkis dengan aliran data pemetaan.
Integrasi & pemrosesan data streaming: Dengan pertumbuhan IoT Industri (sensor yang melacak aset dari 'floor-to-store', armada logistik yang terhubung, dll.), Ada ledakan data waktu nyata yang dihasilkan dalam mode streaming yang perlu diintegrasikan dengan data tradisional yang bergerak lambat untuk menghasilkan wawasan. Azure Stream Analytics adalah layanan yang direkomendasikan untuk streaming ETL dan pemrosesan di Azure dengan berbagai skenario. Azure Stream Analytics mendukung Azure Cosmos DB sebagai sink data asli.
Personalisasi real time
Peritel saat ini harus membangun solusi e-commerce yang aman dan dapat diskalakan yang memenuhi permintaan pelanggan dan bisnis. Solusi e-commerce ini perlu melibatkan pelanggan melalui produk dan penawaran yang disesuaikan, memproses transaksi dengan cepat dan aman, dan fokus pada pemenuhan dan layanan pelanggan. Azure Cosmos DB bersama dengan Synapse Link terbaru untuk Azure Cosmos DB memungkinkan peritel untuk menghasilkan rekomendasi yang dipersonalisasi untuk pelanggan secara real time. Mereka menggunakan latensi rendah dan pengaturan konsistensi yang dapat disetel untuk wawasan langsung seperti yang ditunjukkan dalam arsitektur berikut:
Azure Synapse Link untuk kasus Penggunaan Azure Cosmos DB:
- Siapkan & alur prediktif: Anda dapat menghasilkan wawasan tentang data operasional di seluruh unit bisnis atau segmen pelanggan Anda menggunakan Synapse Spark dan model pembelajaran mesin. Ini diterjemahkan ke pengiriman yang dipersonalisasi untuk menargetkan segmen pelanggan, pengalaman pengguna akhir prediktif, dan pemasaran yang ditargetkan agar sesuai dengan kebutuhan pengguna akhir Anda.
Pemeliharaan prediktif IOT
Inovasi IOT industri telah secara drastis mengurangi waktu henti mesin dan meningkatkan efisiensi keseluruhan di semua bidang industri. Salah satu inovasi tersebut adalah analitik pemeliharaan prediktif untuk mesin di tepi cloud.
Berikut ini adalah arsitektur yang memanfaatkan kemampuan HTAP asli cloud Azure Synapse Link for Azure Cosmos DB dalam pemeliharaan prediktif IoT:
Synapse Link for kasus penggunaan Azure Cosmos DB:
Mempersiapkan & melatih alur prediksi: Data operasional historis dari sensor perangkat IoT dapat digunakan untuk melatih model prediktif seperti pendeteksi anomali. Detektor anomali ini kemudian disebarkan kembali ke tepi untuk pemantauan real time. Perulangan yang baik seperti itu memungkinkan pelatihan ulang terus menerus dari model prediktif.
Pelaporan operasional: Dengan pertumbuhan inisiatif kembar digital, perusahaan mengumpulkan sejumlah besar data operasional dari sejumlah besar sensor untuk membangun salinan digital setiap mesin. Data ini menggerakkan BI perlu memahami tren atas data historis selain aplikasi real time melalui data panas terbaru.
Sampel skenario: HTAP untuk Azure Cosmos DB
Selama hampir satu dekade, Azure Cosmos DB telah digunakan oleh ribuan pelanggan untuk aplikasi misi penting yang memerlukan skala elastis, distribusi global siap pakai, replikasi tulis multi-wilayah untuk latensi rendah, dan ketersediaan tinggi baca & tulis dalam beban kerja transaksional mereka.
Daftar berikut ini menunjukkan gambaran umum berbagai pola beban kerja yang didukung dengan data operasional menggunakan Azure Cosmos DB:
- Aplikasi & layanan real time
- Pemrosesan streaming acara
- Dasbor BI
- Analitik big data
- Pembelajaran Mesin
Azure Synapse Link memungkinkan Azure Cosmos DB untuk tidak hanya mendukung beban kerja transaksional tetapi juga melakukan beban kerja analitik mendekati real-time melalui data operasional historis. Itu terjadi tanpa persyaratan ETL dan jaminan isolasi performa dari beban kerja transaksional.
Gambar berikut menunjukkan pola beban kerja menggunakan Azure Cosmos DB: 
Mari kita ambil contoh perusahaan e-commerce CompanyXYZ dengan operasi global di 20 negara/wilayah untuk menggambarkan manfaat memilih Azure Cosmos DB sebagai database real time tunggal yang menggerakkan persyaratan transaksional dan analitis dari platform manajemen inventaris.
Bisnis inti CompanyXYZ bergantung pada sistem manajemen inventaris – oleh karena itu ketersediaan & keandalan adalah persyaratan pilar inti. Keuntungan menggunakan Azure Cosmos DB:
- Berdasarkan integrasi mendalam dengan infrastruktur Azure, dan penulisan multi-wilayah transparan, replikasi global, Azure Cosmos DB menyediakan ketersediaan tinggi 99,999% terkemuka di industri terhadap pemadaman regional.
Mitra rantai pasokan CompanyXYZ mungkin berada di lokasi geografis terpisah tetapi mereka mungkin harus melihat satu tampilan inventaris produk di seluruh dunia untuk mendukung operasi lokal mereka. Ini termasuk kebutuhan untuk dapat membaca pembaruan yang dibuat oleh mitra rantai pasokan lainnya secara real time. Serta dapat melakukan pembaruan tanpa khawatir tentang konflik dengan mitra lain pada throughput tinggi. Keuntungan menggunakan Azure Cosmos DB:
Dengan protokol replikasi tulis multi-wilayah yang unik dan penyimpanan transaksional yang dioptimalkan untuk tulis, Azure Cosmos DB menjamin kurang dari 10-ms latensi untuk bacaan terindeks dan menulis pada persentil ke-99 secara global.
Penyerapan throughput yang tinggi dari umpan data batch dan streaming dengan pengindeksan realtime di penyimpanan transaksional.
Penyimpanan transaksional Azure Cosmos DB menyediakan tiga opsi lebih banyak daripada dua tingkat konsistensi yang kuat dan akhirnya untuk mencapai tradeoff ketersediaan vs performa yang paling dekat dengan kebutuhan bisnis.
Mitra rantai pasokan CompanyXYZ memiliki pola lalu lintas yang sangat fluktuatif mulai dari ratusan hingga jutaan permintaan dan dengan demikian platform manajemen persediaan perlu menangani burstiness yang tidak terduga dalam lalu lintas. Keuntungan menggunakan Azure Cosmos DB:
- Penyimpanan transaksional Azure Cosmos DB mendukung skalabilitas penyimpanan dan throughput elastis menggunakan partisi horizontal. Kontainer dan database yang dikonfigurasi dalam mode Autopilot dapat secara otomatis dan instan menskalakan throughput yang disediakan berdasarkan kebutuhan aplikasi tanpa memengaruhi ketersediaan, latensi, throughput, atau performa beban kerja secara global.
CompanyXYZ perlu membentuk platform analitik yang aman untuk menampung data inventaris historis di seluruh sistem untuk memungkinkan analitik dan wawasan di seluruh mitra rantai pasokan, unit bisnis, dan fungsi. Platform analitik perlu memungkinkan kolaborasi di seluruh sistem, kasus penggunaan BI/pelaporan tradisional, kasus penggunaan analitik lanjutan, dan solusi cerdas prediktif atas data inventaris operasional. Keuntungan menggunakan Synapse Link untuk Azure Cosmos DB:
- Dengan menggunakan penyimpanan analitik Azure Cosmos DB, penyimpanan kolom yang sepenuhnya terisolasi, Synapse Link memungkinkan tidak ada analitik Extract-Transform-Load (ETL) di Azure Synapse Analytics terhadap data operasional yang didistribusikan secara global dalam skala besar. Analis bisnis, teknisi data, dan ilmuwan data sekarang dapat menggunakan Synapse Spark atau Synapse SQL dengan cara yang dapat dioperasikan untuk menjalankan inteligensi bisnis, analitik, dan alur pembelajaran mesin mendekati real-time tanpa memengaruhi performa beban kerja transaksional mereka di Azure Cosmos DB. Lihat keuntungan Synapse Link di Azure Cosmos DB untuk detail selengkapnya.
Langkah berikutnya
Untuk mempelajari lebih lanjut, lihat dokumen berikut ini: