Analitik ujung ke ujung dengan Azure Synapse

Solusi yang dijelaskan dalam artikel ini menggabungkan berbagai layanan Azure yang akan menyerap, menyimpan, memproses, memperkaya, dan menyajikan data serta wawasan dari berbagai sumber (terstruktur, semi terstruktur, tidak terstruktur, dan streaming).

Sistem

Unduh file Visio arsitektur ini.

Aliran data

Kasus penggunaan analitik yang dicakup oleh arsitektur digambarkan oleh sumber data yang berbeda di sisi kiri diagram. Data mengalir melalui solusi dari bawah ke atas sebagai berikut:

Lihat dokumentasi Zona dan kontainer Data lake untuk tinjauan lengkap lapisan dan kontainer Azure Data Lake dan penggunaannya.

Layanan data Azure, HTAP asli cloud dengan Azure Cosmos DB dan Dataverse

Proses

1. Azure Synapse Link untuk Azure Cosmos DB dan Azure Synapse Link untuk Dataverse memungkinkan Anda menjalankan analitik mendekati real-time atas data aplikasi operasional dan bisnis, dengan menggunakan mesin analitik yang tersedia dari ruang kerja Azure Synapse Anda: SQL Tanpa Server dan Spark Pools.

2. Saat menggunakan Azure Synapse Link untuk Azure Cosmos DB, gunakan kueri Tanpa Server SQL atau buku catatan Kumpulan Spark. Anda dapat mengakses penyimpanan analitik Azure Cosmos DB lalu menggabungkan himpunan data dari data operasional mendekati real time Anda dengan data dari data lake atau dari gudang data Anda.

3. Saat menggunakan Azure Synapse Link untuk Dataverse, gunakan kueri SQL Tanpa Server atau buku catatan Spark Pool. Anda dapat mengakses tabel Dataverse yang dipilih lalu menggabungkan himpunan data dari data aplikasi bisnis mendekati real-time Anda dengan data dari data lake atau dari gudang data Anda.

Bursa

1. Himpunan data yang dihasilkan dari kueri SQL Serverless Anda dapat disimpan di data lake Anda. Jika Anda menggunakan buku catatan Spark, himpunan data yang dihasilkan dapat disimpan baik di data lake maupun gudang data Anda (kumpulan SQL).

Serve

1. Muat data yang relevan dari kumpulan Azure Synapse SQL atau data lake ke dalam himpunan data Power BI untuk visualisasi dan penelusuran data. Model Power BI menerapkan model semantik untuk menyederhanakan analisis data bisnis dan hubungan. Analis bisnis menggunakan laporan dan dasbor Power BI untuk menganalisis data dan memperoleh wawasan bisnis.

2. Data juga dapat dibagikan dengan aman ke unit bisnis lain atau mitra tepercaya eksternal menggunakan Azure Data Share. Konsumen data memiliki kebebasan untuk memilih format data apa yang ingin mereka gunakan dan juga mesin komputasi apa yang paling tepat untuk memproses himpunan data bersama.

3. Data terstruktur dan tidak terstruktur yang disimpan di ruang kerja Synapse Anda juga dapat digunakan untuk membangun solusi penambangan pengetahuan dan menggunakan AI untuk mengungkap wawasan bisnis yang berharga di berbagai jenis dan format dokumen termasuk dari dokumen Office, PDF, gambar, audio, formulir, dan halaman web.

Database Relasional

Menyerap

1. Gunakan alur Azure Synapse untuk menarik data dari berbagai database, baik lokal maupun di cloud. Alur dapat dipicu berdasarkan jadwal yang telah ditentukan sebelumnya, sebagai respons terhadap peristiwa, atau dapat secara eksplisit dipanggil melalui REST API.

Bursa

1. Dalam lapisan Data Lake mentah, atur data lake Anda mengikuti praktik terbaik di mana lapisan untuk dibuat, struktur folder apa yang akan digunakan di setiap lapisan dan format file apa yang akan digunakan untuk setiap skenario analitik.

2. Dari alur Azure Synapse, gunakan aktivitas Salin data untuk mentahapkan data yang disalin dari database relasional ke dalam lapisan mentah data lake Azure Data Lake Store Gen 2 Anda. Anda dapat menyimpan data dalam format teks terbatas atau dikompresi sebagai file Parquet.

Proses

1. Gunakan aliran data, kueri tanpa server SQL, atau notebook Spark untuk memvalidasi, mengubah, dan memindahkan himpunan data dari lapisan Mentah, melalui lapisan Diperkaya dan ke lapisan Yang Dikumpulkan di data lake Anda.

   1. Sebagai bagian dari transformasi data, Anda dapat memanggil model pelatihan mesin dari kumpulan SQL Anda menggunakan notebook T-SQL atau Spark standar. Model ML ini dapat digunakan untuk memperkaya himpunan data Anda dan menghasilkan wawasan bisnis lebih lanjut. Model pembelajaran mesin ini dapat digunakan dari Azure Cognitive Services atau model Pembelajaran Mesin kustom dari Azure Machine Learning.

Serve

1. Anda dapat melayani himpunan data akhir langsung dari lapisan Data Lake Curated atau Anda dapat menggunakan aktivitas Salin Data untuk menyerap himpunan data akhir ke dalam tabel kumpulan SQL Anda menggunakan perintah COPY untuk penyerapan cepat.

2. Muat data yang relevan dari kumpulan Azure Synapse SQL atau data lake ke dalam himpunan data Power BI untuk visualisasi data. Model Power BI menerapkan model semantik untuk menyederhanakan analisis data bisnis dan hubungan. Analis bisnis menggunakan laporan dan dasbor Power BI untuk menganalisis data dan memperoleh wawasan bisnis.

3. Data juga dapat dibagikan dengan aman ke unit bisnis lain atau mitra tepercaya eksternal menggunakan Azure Data Share. Konsumen data memiliki kebebasan untuk memilih format data apa yang ingin mereka gunakan dan juga mesin komputasi apa yang paling tepat untuk memproses himpunan data bersama.

4. Data terstruktur dan tidak terstruktur yang disimpan di ruang kerja Synapse Anda juga dapat digunakan untuk membangun solusi penambangan pengetahuan dan menggunakan AI untuk mengungkap wawasan bisnis yang berharga di berbagai jenis dan format dokumen termasuk dari dokumen Office, PDF, gambar, audio, formulir, dan halaman web.

Sumber data semi-terstruktur

Menyerap

1. Gunakan alur Azure Synapse untuk menarik data dari berbagai sumber daya semi-terstruktur, baik lokal maupun di cloud. Contohnya:

   • Menyerap data dari sumber berbasis file yang berisi file CSV atau JSON.
   • Koneksi ke database No-SQL seperti Azure Cosmos DB atau MongoDB.
   • Panggil REST API yang disediakan oleh aplikasi SaaS yang akan berfungsi sebagai sumber data Anda untuk alur.

Bursa

1. Dalam lapisan Data Lake mentah, atur data lake Anda mengikuti praktik terbaik di mana lapisan untuk dibuat, struktur folder apa yang akan digunakan di setiap lapisan dan format file apa yang akan digunakan untuk setiap skenario analitik.

2. Dari alur Azure Synapse, gunakan aktivitas Salin data untuk mentahapkan data yang disalin dari sumber data semi terstruktur ke dalam lapisan mentah data lake Azure Data Lake Store Gen 2 Anda. Simpan data untuk mempertahankan format aslinya, seperti yang diperoleh dari sumber data.

Proses

1. Untuk alur batch/micro-batch, gunakan aliran data, kueri tanpa server SQL, atau notebook Spark untuk memvalidasi, mengubah, dan memindahkan himpunan data Anda ke lapisan Yang Dikumpulkan di data lake Anda. Kueri SQL Tanpa Server mengekspos file CSV, Parquet, atau JSON yang mendasarinya sebagai tabel eksternal, sehingga dapat dikueri menggunakan T-SQL.

   1. Sebagai bagian dari transformasi data, Anda dapat memanggil model pembelajaran mesin dari kumpulan SQL menggunakan T-SQL atau buku catatan Spark standar. Model ML ini dapat digunakan untuk memperkaya himpunan data Anda dan menghasilkan wawasan bisnis lebih lanjut. Model pembelajaran mesin ini dapat digunakan dari Azure Cognitive Services atau model Pembelajaran Mesin kustom dari Azure Machine Learning.

2. Untuk skenario analisis telemetri dan rangkaian waktu yang mendekati real-time, gunakan kumpulan Data Explorer untuk dengan mudah menyerap, menggabungkan, dan menghubungkan log dan data peristiwa IoT di beberapasumber data. Dengan kumpulan Data Explorer, Anda dapat menggunakan kueri Kusto (KQL) untuk melakukan analisis rangkaian waktu, pengklusteran geospasial, dan pengayaan pembelajaran mesin.

Serve

1. Anda dapat melayani himpunan data akhir langsung dari lapisan Data Lake Curated atau Anda dapat menggunakan aktivitas Salin Data untuk menyerap himpunan data akhir ke dalam tabel kumpulan SQL Anda menggunakan perintah COPY untuk penyerapan cepat.

2. Muat data yang relevan dari kumpulan SQL Azure Synapse, kumpulan Data Explorer, atau data lake ke dalam himpunan data Power BI untuk visualisasi data. Model Power BI menerapkan model semantik untuk menyederhanakan analisis data bisnis dan hubungan. Analis bisnis menggunakan laporan dan dasbor Power BI untuk menganalisis data dan memperoleh wawasan bisnis.

3. Data juga dapat dibagikan dengan aman ke unit bisnis lain atau mitra tepercaya eksternal menggunakan Azure Data Share. Konsumen data memiliki kebebasan untuk memilih format data apa yang ingin mereka gunakan dan juga mesin komputasi apa yang paling tepat untuk memproses himpunan data bersama.

4. Data terstruktur dan tidak terstruktur yang disimpan di ruang kerja Synapse Anda juga dapat digunakan untuk membangun solusi penambangan pengetahuan dan menggunakan AI untuk mengungkap wawasan bisnis yang berharga di berbagai jenis dan format dokumen termasuk dari dokumen Office, PDF, gambar, audio, formulir, dan halaman web.

Sumber data tidak terstruktur

Menyerap

1. Gunakan alur Azure Synapse untuk menarik data dari berbagai sumber daya tidak terstruktur, baik lokal maupun di cloud. Contohnya:

   • Serap video, gambar, audio, atau teks gratis dari sumber berbasis file yang berisi file sumber.
   • Panggil REST API yang disediakan oleh aplikasi SaaS yang akan berfungsi sebagai sumber data Anda untuk alur.

Bursa

1. Dalam lapisan Data Lake mentah, atur data lake Anda dengan mengikuti praktik terbaik tentang lapisan mana yang akan dibuat, struktur folder apa yang akan digunakan di setiap lapisan, dan format file apa yang akan digunakan untuk setiap skenario analitik.

2. Dari alur Azure Synapse, gunakan aktivitas Salin data untuk mentahapkan data yang disalin dari sumber data non-terstruktur ke dalam lapisan mentah data lake Azure Data Lake Store Gen 2 Anda. Simpan data dengan mempertahankan format aslinya, seperti yang diperoleh dari sumber data.

Proses

1. Gunakan notebook Spark untuk memvalidasi, mengubah, memperkaya, dan memindahkan himpunan data Anda dari lapisan Mentah, melalui lapisan Diperkaya dan ke lapisan Yang Dikumpulkan di data lake Anda.

   1. Sebagai bagian dari transformasi data, Anda dapat memanggil model pembelajaran mesin dari kumpulan SQL menggunakan T-SQL atau buku catatan Spark standar. Model ML ini dapat digunakan untuk memperkaya himpunan data Anda dan menghasilkan wawasan bisnis lebih lanjut. Model pembelajaran mesin ini dapat digunakan dari Azure Cognitive Services atau model Pembelajaran Mesin kustom dari Azure Machine Learning.

Serve

1. Anda dapat melayani himpunan data akhir langsung dari lapisan Data Lake Curated atau Anda dapat menggunakan aktivitas Salin Data untuk menyerap himpunan data akhir ke dalam tabel gudang data Anda menggunakan perintah COPY untuk penyerapan cepat.

2. Muat data yang relevan dari kumpulan Azure Synapse SQL atau data lake ke dalam himpunan data Power BI untuk visualisasi data. Model Power BI menerapkan model semantik untuk menyederhanakan analisis data bisnis dan hubungan.

3. Analis bisnis menggunakan laporan dan dasbor Power BI untuk menganalisis data dan memperoleh wawasan bisnis.

4. Data juga dapat dibagikan dengan aman ke unit bisnis lain atau mitra tepercaya eksternal menggunakan Azure Data Share. Konsumen data memiliki kebebasan untuk memilih format data apa yang ingin mereka gunakan dan juga mesin komputasi apa yang paling tepat untuk memproses himpunan data bersama.

5. Data terstruktur dan tidak terstruktur yang disimpan di ruang kerja Synapse Anda juga dapat digunakan untuk membangun solusi penambangan pengetahuan dan menggunakan AI untuk mengungkap wawasan bisnis yang berharga di berbagai jenis dan format dokumen termasuk dari dokumen Office, PDF, gambar, audio, formulir, dan halaman web.

Streaming

Menyerap

1. Gunakan Azure Event Hubs atau Azure IoT Hubs untuk menyerap aliran data yang dihasilkan oleh aplikasi klien atau perangkat IoT. Azure Event Hubs atau Azure IoT Hub kemudian akan menyerap dan menyimpan data streaming yang mempertahankan urutan peristiwa yang diterima. Konsumen kemudian dapat terhubung ke titik akhir Azure Event Hubs atau Azure IoT Hub dan mengambil pesan untuk diproses.

Bursa

1. Dalam lapisan Data Lake mentah, atur data lake Anda mengikuti praktik terbaik di mana lapisan untuk dibuat, struktur folder apa yang akan digunakan di setiap lapisan dan format file apa yang akan digunakan untuk setiap skenario analitik.

2. Konfigurasikan Azure Event Hubs Capture atau IoT Hub Storage Endpoints untuk menyimpan salinan peristiwa ke lapisan mentah data lake Azure Data Lake Store Gen 2 Anda. Fitur ini mengimplementasikan "Jalur Dingin" dari pola arsitektur Lambda dan memungkinkan Anda melakukan analisis historis dan tren pada data streaming yang disimpan di data lake Anda menggunakan kueri SQL Serverless atau notebook Spark mengikuti pola untuk sumber data semi-terstruktur yang dijelaskan di atas.

Proses

1. Untuk wawasan real time, gunakan pekerjaan Analisis Aliran untuk menerapkan "Jalur Panas" dari pola arsitektur Lambda dan dapatkan wawasan dari data aliran saat transit. Tetapkan setidaknya satu input untuk aliran data yang berasal dari Azure Event Hubs atau Azure IoT Hub Anda, satu kueri untuk memproses aliran data input, dan satu output Power BI ke tempat hasil kueri akan dikirim.

   1. Sebagai bagian dari pemrosesan data dengan Azure Stream Analytics, Anda dapat meminta model pembelajaran mesin untuk memperkaya himpunan data aliran dan mendorong keputusan bisnis berdasarkan prediksi yang dihasilkan. Model pembelajaran mesin ini dapat digunakan dari Azure Cognitive Services atau dari model Pembelajaran Mesin kustom dalam Azure Machine Learning.

2. Gunakan output pekerjaan Azure Stream Analytics lainnya untuk mengirim peristiwa yang diproses ke kumpulan SQL Azure Synapse atau kumpulan Data Explorer untuk kasus penggunaan analitik lebih lanjut.

3. Untuk skenario telemetri dan analitik rangkaian waktu yang mendekati real-time, gunakan kumpulan Data Explorer untuk menyerap peristiwa IoT dengan mudah langsung dari Azure Event Hubs atau Azure IoT Hub. Dengan kumpulan Data Explorer, Anda dapat menggunakan kueri Kusto (KQL) untuk melakukan analisis rangkaian waktu, pengklusteran geospasial, dan pengayaan pembelajaran mesin.

Serve

1. Analis bisnis kemudian menggunakan kemampuan himpunan data real time dan dasbor Power BI untuk memvisualisasikan wawasan yang berubah dengan cepat yang dihasilkan oleh kueri Azure Stream Analytics Anda.

2. Data juga dapat dibagikan dengan aman ke unit bisnis lain atau mitra tepercaya eksternal menggunakan Azure Data Share. Konsumen data memiliki kebebasan untuk memilih format data apa yang ingin mereka gunakan dan juga mesin komputasi apa yang paling tepat untuk memproses himpunan data bersama.

3. Data terstruktur dan tidak terstruktur yang disimpan di ruang kerja Synapse Anda juga dapat digunakan untuk membangun solusi penambangan pengetahuan dan menggunakan AI untuk mengungkap wawasan bisnis yang berharga di berbagai jenis dan format dokumen termasuk dari dokumen Office, PDF, gambar, audio, formulir, dan halaman web.

Komponen

Layanan Azure berikut telah digunakan dalam arsitektur:

• Azure Synapse Analytics
• Azure Data Lake Gen2
• Azure Cosmos DB
• Azure Cognitive Services
• Pembelajaran Mesin Azure
• Azure Event Hubs
• Azure IoT Hub
• Azure Stream Analytics
• Microsoft Purview
• Azure Data Share
• Microsoft Power BI
• Microsoft Entra ID
• Microsoft Cost Management
• Azure Key Vault
• Azure Monitor
• Microsoft Defender untuk Cloud
• Azure DevOps
• Kebijakan Azure
• GitHub

Alternatif

• Dalam arsitektur di atas, alur Azure Synapse bertanggung jawab atas orkestrasi alur data. Alur Azure Data Factory juga menyediakan kemampuan yang sama seperti yang dijelaskan dalam artikel ini.

• Azure Databricks juga dapat digunakan sebagai mesin komputasi yang digunakan untuk memproses data terstruktur dan tidak terstruktur secara langsung di data lake.

• Dalam arsitektur di atas, Azure Stream Analytics adalah layanan yang bertanggung jawab untuk memproses data streaming. Kumpulan Azure Synapse Spark dan Azure Databricks juga dapat digunakan untuk melakukan peran yang sama melalui eksekusi notebook.

• Kluster Azure HDInsight Kafka juga dapat digunakan untuk menyerap data streaming dan memberikan tingkat performa serta skalabilitas yang tepat yang dibutuhkan oleh beban kerja streaming yang besar.

• Anda juga dapat menggunakan Azure Functions untuk memanggil model ML kustom Azure Cognitive Services atau Azure Machine Learning dari alur Azure Synapse.

• Untuk perbandingan alternatif lain, lihat:

  • Memilih teknologi orkestrasi alur data di Azure
  • Memilih teknologi pemrosesan batch di Azure
  • Memilih penyimpanan data analitis di Azure
  • Memilik teknologi analitik data di Azure
  • Memilih teknologi pemrosesan stream di Azure

Detail skenario

Skenario contoh ini menunjukkan cara menggunakan Azure Synapse Analytics dengan rangkaian luas Azure Data Services untuk membangun platform data modern yang mampu menangani tantangan data paling umum dalam organisasi.

Kemungkinan kasus penggunaan

Pendekatan ini juga dapat digunakan untuk:

• Menetapkan arsitektur produk data, yang terdiri dari gudang data untuk data terstruktur dan data lake untuk data semi-terstruktur dan tidak terstruktur. Anda dapat memilih untuk menyebarkan satu produk data untuk lingkungan terpusat atau beberapa produk data untuk lingkungan terdistribusi seperti Data Mesh. Lihat informasi selengkapnya tentang Manajemen Data dan Zona Pendaratan Data.
• Mengintegrasikan sumber data relasional dengan himpunan data tidak terstruktur lainnya, dengan menggunakan teknologi pemrosesan big data.
• Gunakan pemodelan semantik dan alat visualisasi yang kuat untuk analisis data yang lebih sederhana.
• Berbagi himpunan data dalam organisasi atau dengan mitra eksternal tepercaya.
• Terapkan solusi penambangan pengetahuan untuk mengekstrak informasi bisnis berharga yang tersembunyi dalam gambar, PDF, dokumen, dan sebagainya.

Rekomendasi

Menemukan dan mengelola

Tata kelola data adalah tantangan umum di lingkungan perusahaan besar. Di satu sisi, analis bisnis harus mampu menemukan dan memahami aset data yang dapat membantu mereka memecahkan masalah bisnis. Di sisi lain, Kepala Petugas Data menginginkan wawasan tentang privasi dan keamanan data bisnis.

Microsoft Purview

1. Gunakan Microsoft Purview untuk penemuan dan wawasan data tentang aset data, klasifikasi data, dan sensitivitas Anda, yang mencakup seluruh lanskap data organisasi.

2. Microsoft Purview dapat membantu Anda mempertahankan glosarium bisnis dengan terminologi bisnis tertentu yang diperlukan pengguna untuk memahami semantik apa arti himpunan data dan bagaimana mereka dimaksudkan untuk digunakan di seluruh organisasi.

3. Anda dapat mendaftarkan semua sumber data dan mengaturnya ke dalam Koleksi, yang juga berfungsi sebagai batas keamanan untuk metadata Anda.

4. Atur pemindaian reguler untuk secara otomatis mendaftarkan dan memperbarui metadata yang relevan tentang aset data di organisasi. Microsoft Purview juga dapat secara otomatis menambahkan informasi silsilah data berdasarkan informasi dari Azure Data Factory atau alur Azure Synapse.

5. Label Klasifikasi data dan Sensitivitas data dapat ditambahkan secara otomatis ke aset data Anda berdasarkan aturan yang dikonfigurasi sebelumnya atau aturan kustom yang diterapkan selama pemindaian reguler.

6. Profesional tata kelola data dapat menggunakan laporan dan wawasan yang dihasilkan oleh Microsoft Purview untuk menjaga kontrol atas seluruh lanskap data dan melindungi organisasi dari masalah keamanan dan privasi apa pun.

Layanan platform

Untuk meningkatkan kualitas solusi Azure Anda, ikuti rekomendasi dan panduan yang ditentukan dalam lima pilarAzure Well-Architected Framework tentang keunggulan arsitektur: Pengoptimalan Biaya, Keunggulan Operasional, Efisiensi Performa, Keandalan, dan Keamanan.

Dengan mengikuti rekomendasi ini, layanan di bawah ini harus dipertimbangkan sebagai bagian dari rancangan:

1. ID Microsoft Entra: layanan identitas, akses menyeluruh, dan autentikasi multifaktor di seluruh beban kerja Azure.
2. Microsoft Cost Management: tata kelola keuangan atas beban kerja Azure Anda.
3. Azure Key Vault: kredensial aman dan manajemen sertifikat. Misalnya, Azure Synapse Pipelines, Azure Synapse Spark Pools, dan Azure ML dapat mengambil kredensial dan sertifikat dari Azure Key Vault yang digunakan untuk mengakses penyimpanan data dengan aman.
4. Azure Monitor: mengumpulkan, menganalisis, dan bertindak berdasarkan informasi telemetri sumber daya Azure Anda untuk secara proaktif mengidentifikasi masalah dan memaksimalkan performa serta keandalan.
5. Microsoft Defender untuk Cloud: memperkuat dan memantau postur keamanan beban kerja Azure Anda.
6. Azure DevOps & GitHub: terapkan praktik DevOps untuk menerapkan otomatisasi dan kepatuhan terhadap alur pengembangan dan penyebaran beban kerja Anda untuk Azure Synapse dan Azure ML.
7. Azure Policy: menerapkan standar dan tata kelola organisasi untuk konsistensi sumber daya, kepatuhan terhadap peraturan, keamanan, biaya, dan manajemen.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Teknologi dalam arsitektur ini dipilih karena masing-masing menyediakan fungsi yang diperlukan untuk menangani tantangan data yang paling umum dalam organisasi. Layanan ini memenuhi persyaratan untuk skalabilitas dan ketersediaan, sambil membantu mengendalikan biaya. Layanan yang dicakup oleh arsitektur ini hanyalah subset dari keluarga layanan Azure yang jauh lebih besar. Hasil serupa dapat dicapai dengan menggunakan layanan atau fitur lain yang tidak tercakup oleh rancangan ini.

Persyaratan bisnis khusus untuk kasus penggunaan analitik Anda juga dapat meminta penggunaan berbagai layanan atau fitur yang tidak dipertimbangkan dalam rancangan ini.

Arsitektur serupa juga dapat diimplementasikan untuk lingkungan pra-produksi tempat Anda dapat mengembangkan dan menguji beban kerja Anda. Pertimbangkan persyaratan khusus untuk beban kerja Anda dan kemampuan setiap layanan untuk lingkungan pra-produksi yang hemat biaya.

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Secara umum, gunakan kalkulator harga Azure untuk memperkirakan biaya. Tingkat harga individu yang ideal dan total biaya keseluruhan dari setiap layanan yang termasuk dalam arsitektur tergantung pada jumlah data yang akan diproses dan disimpan serta tingkat performa yang dapat diterima yang diharapkan. Gunakan panduan di bawah ini untuk mempelajari selengkapnya tentang cara memberi harga setiap layanan:

• Arsitektur tanpa server Azure Synapse Analytics memungkinkan Anda menskalakan tingkat komputasi dan penyimpanan secara independen. Sumber daya komputasi ditagih berdasarkan penggunaan, dan Anda dapat menskalakan atau menjeda sumber daya ini sesuai permintaan. Sumber daya penyimpanan ditagih per terabyte, sehingga biaya Anda akan meningkat saat Anda menyerap lebih banyak data.

• Azure Data Lake Gen 2 ditagih berdasarkan jumlah data yang disimpan dan berdasarkan jumlah transaksi untuk membaca dan menulis data.

• Azure Event Hubs dan Azure IoT Hubs ditagih berdasarkan jumlah sumber daya komputasi yang diperlukan untuk memproses aliran pesan Anda.

• Biaya Azure Machine Learning berasal dari jumlah sumber daya komputasi yang digunakan untuk melatih dan menyebarkan model pembelajaran mesin.

• Azure Cognitive Services ditagih berdasarkan jumlah panggilan yang Anda lakukan ke API layanan.

• Microsoft Purview dihargai berdasarkan jumlah aset data dalam katalog dan jumlah daya komputasi yang diperlukan untuk memindainya.

• Azure Stream Analytics ditagih berdasarkan jumlah daya komputasi yang diperlukan untuk memproses kueri streaming Anda.

• Power BI memiliki opsi produk yang berbeda untuk persyaratan yang berbeda. Power BI Embedded menyediakan opsi berbasis Azure untuk menyematkan fungsi Power BI di dalam aplikasi Anda. Instans Power BI Embedded disertakan dalam sampel harga di atas.

• Azure Cosmos DB dihargai berdasarkan jumlah penyimpanan dan sumber daya komputasi yang diperlukan oleh database Anda.

Menyebarkan skenario ini

Akselerator penyebaran ini memberi Anda opsi untuk menerapkan seluruh arsitektur referensi atau memilih beban kerja yang Anda perlukan untuk kasus penggunaan analitik Anda. Anda juga memiliki opsi untuk memilih apakah layanan dapat diakses melalui titik akhir publik atau hanya dapat diakses melalui titik akhir privat.

az deployment group create --resource-group azsynapse-e2e \
    --template-uri https://raw.githubusercontent.com/Azure/azure-synapse-analytics-end2end/main/Deploy/AzureAnalyticsE2E.json \
    --parameters networkIsolationMode=default synapseSqlAdminPassword=use-complex-password-here

az deployment group create --resource-group azsynapse-e2e \
    --template-uri https://raw.githubusercontent.com/Azure/azure-synapse-analytics-end2end/main/Deploy/AzureAnalyticsE2E.json \
    --parameters networkIsolationMode=vNet synapseSqlAdminPassword=use-complex-password-here

Untuk informasi terperinci dan opsi penyebaran tambahan, lihat akselerator penyebaran repo GitHub dengan dokumentasi dan kode yang digunakan untuk menentukan solusi ini.

Kontributor

Artikel ini sedang diperbarui dan dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

• Fabio Braga | Arsitek Teknis MTC Utama

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya

• Tinjau panduan yang ditentukan dalam manajemen data dan skenario analitik Azure untuk lingkungan analitik yang dapat diskalakan di Azure.

• Jelajahi Jalur Pembelajaran Teknisi Data di Microsoft learn untuk konten pelatihan dan laboratorium lebih lanjut pada layanan yang terlibat dalam arsitektur referensi ini.

• Tinjau dokumentasi dan sebarkan arsitektur referensi dengan menggunakan akselerator penyebaran yang tersedia di GitHub.

Sumber daya terkait

• Analitik data besar dengan keamanan tingkat perusahaan menggunakan Azure Synapse
• Membuat kueri data lake atau lakehouse dengan menggunakan Azure Synapse tanpa server