Pemrosesan analitik online

Pemrosesan analitik online (OLAP) adalah teknologi yang mengatur database bisnis besar untuk melakukan perhitungan kompleks dan analisis tren. Metode ini memungkinkan kueri yang rumit tanpa mengganggu sistem transaksional.

Transaksi dan catatan bisnis disimpan dalam database yang dikenal sebagai database pemrosesan transaksi online (OLTP), yang dioptimalkan untuk entri rekaman individual. Database ini menyimpan informasi berharga, tetapi tidak dirancang untuk analisis, sehingga pengambilan data memakan waktu dan sulit.

Untuk mengatasi masalah ini, sistem OLAP secara efisien mengekstrak kecerdasan bisnis dari data. Database OLAP dioptimalkan untuk tugas baca berat dan tulis rendah. Mereka dimodelkan dan dibersihkan untuk analisis yang efektif. Database OLAP sering mempertahankan data historis untuk analisis rangkaian waktu.

Sistem OLAP secara tradisional menggunakan kubus data multidimensi untuk menyusun data dengan cara yang mendukung kueri dan analisis yang kompleks. Diagram berikut menunjukkan arsitektur sistem OLAP tradisional.

Diagram ini menunjukkan alur dari aplikasi klien, ke sistem OLTP, ke sistem OLAP, dan akhirnya ke analitik dan pelaporan. Aplikasi klien berisi aplikasi web, aplikasi API, dan aplikasi logika. Sistem OLTP berisi SQL Database, SQL Server di VM, Azure Database for MySQL, dan Azure Database for PostgreSQL. Sistem OLAP berisi Azure Analysis Services. Analitik dan pelaporan berisi layanan pelaporan Power BI dan SQL Server. Orkestrasi berjalan di sepanjang bagian bawah sistem OLTP dan sistem OLAP. Ini berisi SQL Server Integration Services dan Azure Data Factory.

Seiring kemajuan teknologi dan skala data dan komputasi meningkat, sistem OLAP beralih ke arsitektur pemrosesan paralel (MPP) besar-besaran yang didukung Microsoft Fabric . Untuk informasi selengkapnya, lihat Penyimpanan data analitik Fabric.

Diagram berikut menunjukkan arsitektur sistem OLAP modern.

Diagram ini menunjukkan alur dari aplikasi klien, ke sistem OLTP, ke sistem OLAP - Fabric. Aplikasi klien berisi aplikasi web, aplikasi API, dan aplikasi logika. Sistem OLTP berisi database lokal, database Azure, Azure Database for MySQL, dan Azure Database for PostgreSQL. Sistem OLAP berisi One Lake dan Power BI. Orkestrasi beroperasi di level dasar sistem OLTP dan terintegrasi dengan sistem OLAP. Ini berisi Azure Data Factory.

Pemodelan semantik

Model data semantik adalah model konseptual yang menjelaskan arti elemen data yang dikandungnya. Organisasi sering memiliki istilah mereka sendiri untuk item, dan terkadang istilah-istilah tersebut memiliki sinonim. Organisasi mungkin juga memiliki arti yang berbeda untuk istilah yang sama. Misalnya, database inventarisasi mungkin melacak sepotong peralatan dengan menggunakan ID aset dan nomor seri. Tetapi database penjualan mungkin merujuk ke nomor seri sebagai ID aset. Tidak ada cara sederhana untuk menghubungkan nilai-nilai ini tanpa model yang menjelaskan hubungan.

Pemodelan semantik menyediakan tingkat abstraksi atas skema database sehingga pengguna tidak perlu mengetahui struktur data yang mendasar. Pengguna akhir dapat dengan mudah mengkueri data tanpa melakukan agregat dan gabungan melalui skema yang mendasar. Kolom sering diganti namanya menjadi nama yang lebih mudah digunakan untuk membuat konteks dan makna data lebih jelas.

Pemodelan semantik lebih ditujukan untuk skenario yang lebih banyak membaca, seperti analitika dan inteligensi bisnis (OLAP), dibandingkan dengan pemrosesan data transaksional yang lebih banyak menulis (OLTP). Pemodelan semantik cocok dengan skenario yang berat pada pembacaan karena karakteristik khas dari lapisan semantik.

• Perilaku agregasi diatur sehingga alat pelaporan menampilkannya dengan benar.
• Logika dan perhitungan bisnis didefinisikan.
• Perhitungan berorientasi waktu disertakan.
• Data sering diintegrasikan dari berbagai sumber.
• Dukungan untuk analitik waktu nyata tersedia.

Secara tradisional, lapisan semantik ditempatkan di atas gudang data karena alasan ini.

Alur diagram dimulai pada data sumber. Data sumber masuk ke gudang data, ke lapisan semantik, lalu ke pelaporan dan analisis. Lapisan semantik berisi model data, perhitungan, dan hubungan.

Ada dua jenis utama model semantik:

• Model tabular menggunakan konstruksi pemodelan relasional, seperti model, tabel, dan kolom. Secara internal, metadata diwariskan dari konstruksi pemodelan OLAP, seperti kubus, dimensi, dan pengukuran. Kode dan skrip menggunakan metadata OLAP.

• Model multidimensi menggunakan konstruksi pemodelan OLAP tradisional, seperti kubus, dimensi, dan ukuran.

Analysis Services dan Fabric menyediakan infrastruktur dan alat yang diperlukan untuk menerapkan pemodelan semantik secara efektif.

Contoh kasus penggunaan

Organisasi menyimpan data dalam database besar. Ini ingin membuat data ini tersedia bagi pengguna bisnis dan pelanggan untuk membuat laporan mereka sendiri dan melakukan analisis.

Mereka dapat memberi pengguna tersebut akses langsung ke database, tetapi opsi ini memiliki kelemahan, termasuk manajemen keamanan dan kontrol akses. Dan pengguna mungkin mengalami kesulitan memahami desain database, termasuk nama tabel dan kolom. Opsi ini mengharuskan pengguna untuk mengetahui tabel mana yang akan dikueri, bagaimana tabel tersebut harus digabungkan, dan cara menerapkan logika bisnis lain untuk mendapatkan hasil yang benar. Pengguna juga perlu mengetahui bahasa kueri seperti SQL. Biasanya, opsi ini mengarah ke beberapa pengguna yang melaporkan metrik yang sama tetapi dengan hasil yang berbeda.

Opsi yang lebih baik adalah merangkum semua informasi yang dibutuhkan pengguna ke dalam model semantik. Pengguna dapat dengan lebih mudah mengkueri model semantik dengan menggunakan alat pelaporan pilihan mereka. Data yang disediakan model semantik berasal dari gudang data, yang memastikan bahwa semua pengguna melihat satu sumber kebenaran. Model semantik juga menyediakan nama tabel dan kolom yang mudah digunakan, menentukan hubungan antara tabel, mencakup deskripsi dan perhitungan, dan memberlakukan keamanan tingkat baris.

Ciri khas pemodelan semantik

Pemodelan semantik dan pemrosesan analitis cenderung memiliki sifat-sifat berikut.

Persyaratan	Deskripsi
Skema	Skema saat penulisan, sangat ditegakkan
Menggunakan transaksi	Tidak.
Strategi Penguncian	Tidak ada
Dapat diperbarui	Tidak, biasanya memerlukan komputasi ulang kubus
Dapat ditambahkan	Tidak, biasanya memerlukan komputasi ulang kubus
Beban Kerja	Bacaan berat, baca-saja
Pengindeksan	Pengindeksan multidimensi
Ukuran datum	Ukuran kecil hingga besar
Modél	Tabular atau multidimensi
Bentuk data	Skema kubus, bintang, atau kepingan salju
Fleksibilitas pengajuan	Sangat fleksibel
Timbangan	Besar, ratusan gigabyte (GB) ke beberapa petabyte (PB)

Kapan menggunakan solusi ini

Pertimbangkan untuk menggunakan OLAP untuk skenario berikut:

• Anda perlu menjalankan kueri analitik dan sesuai permintaan yang kompleks dengan cepat, tanpa memengaruhi sistem OLTP Anda secara negatif.

• Anda ingin memberi pengguna bisnis cara sederhana untuk membuat laporan dari data Anda.

• Anda ingin memberikan beberapa agregasi yang memungkinkan pengguna mendapatkan hasil yang cepat dan konsisten.

OLAP sangat berguna untuk menerapkan perhitungan agregat atas sejumlah besar data. Sistem OLAP dioptimalkan untuk skenario dengan beban pembacaan tinggi. OLAP juga memungkinkan pengguna untuk mensegmentasi data multidimensi ke dalam irisan yang dapat mereka lihat dalam dua dimensi, seperti tabel pivot. Atau mereka dapat memfilter data menurut nilai tertentu. Pengguna dapat melakukan proses ini, yang dikenal sebagai mengiris dan menggali data, terlepas dari apakah data dipartisi di beberapa sumber data. Pengguna dapat dengan mudah menjelajahi data tanpa mengetahui detail analisis data tradisional.

Model semantik dapat membantu pengguna bisnis mengabstraksi kompleksitas hubungan dan membuatnya lebih mudah untuk menganalitik data dengan cepat.

Tantangan

Sistem OLAP juga menghasilkan tantangan:

• Transaksi yang mengalir dari berbagai sumber terus memperbarui data dalam sistem OLTP. Penyimpanan data OLAP biasanya di-refresh pada interval yang jauh lebih lambat, tergantung pada kebutuhan bisnis. Sistem OLAP sesuai dengan keputusan bisnis strategis, bukan respons langsung terhadap perubahan. Anda juga harus merencanakan beberapa tingkat pembersihan dan orkestrasi data untuk menjaga penyimpanan data OLAP tetap up-to-date.

• Tidak seperti tabel relasional tradisional yang dinormalisasi dalam sistem OLTP, model data OLAP cenderung multidimensi. Jadi sulit atau tidak mungkin untuk langsung memetakannya ke model hubungan entitas atau berorientasi objek, di mana setiap atribut sesuai dengan satu kolom. Sebaliknya, sistem OLAP biasanya menggunakan skema bintang atau snowflake alih-alih normalisasi tradisional.

OLAP di Azure

Di Azure, data dalam sistem OLTP, seperti Azure SQL Database, disalin ke dalam sistem OLAP seperti Fabric atau Analysis Services. Alat eksplorasi dan visualisasi data seperti opsi Power BI, Excel, dan non-Microsoft tersambung ke server Analysis Services dan memberi pengguna wawasan yang sangat interaktif dan kaya secara visual ke dalam data yang dimodelkan. Anda dapat menggunakan SQL Server Integration Services untuk mengatur aliran data dari sistem OLTP ke sistem OLAP. Untuk menerapkan SQL Server Integration Services, gunakan Azure Data Factory.

Penyimpanan data Azure berikut memenuhi persyaratan inti untuk OLAP:

• Fabric
• SQL Server dengan indeks penyimpan kolom
• Analysis Services
• SQL Server Analysis Services

SQL Server Analysis Services menyediakan fungsionalitas OLAP dan penggalian data untuk aplikasi kecerdasan bisnis. Anda dapat menginstal SQL Server Analysis Services di server lokal atau menghostingnya dalam komputer virtual (VM) di Azure. Analysis Services adalah layanan terkelola penuh yang menyediakan fitur utama yang sama dengan SQL Server Analysis Services. Analysis Services mendukung menyambungkan ke berbagai sumber data di cloud dan lokal di organisasi Anda.

Indeks penyimpan kolom berkluster tersedia di SQL Server 2014 dan yang lebih tinggi dan di SQL Database. Indeks ini ideal untuk beban kerja OLAP. Dimulai dengan SQL Server 2016, termasuk SQL Database, Anda dapat memanfaatkan pemrosesan transaksional dan analitik hibrid (HTAP) melalui indeks penyimpan kolom non-kluster yang dapat diperbarui. Gunakan HTAP untuk melakukan pemrosesan OLTP dan OLAP pada platform yang sama. Pendekatan ini menghilangkan kebutuhan akan beberapa salinan data Anda dan sistem OLTP dan OLAP terpisah. Untuk informasi selengkapnya, lihat Columnstore untuk analitik operasional waktu nyata.

Kriteria pilihan utama

Untuk mempersempit pilihan, jawab pertanyaan berikut:

• Apakah Anda menginginkan layanan terkelola daripada mengelola server Anda sendiri?

• Apakah Anda memerlukan ID Microsoft Entra untuk autentikasi aman?

• Apakah Anda perlu mengintegrasikan data dari beberapa sumber, di luar penyimpanan data OLTP Anda?

• Apakah Anda ingin melakukan analitik real-time?

  Fabric Real-Time Intelligence adalah layanan canggih dalam Fabric yang dapat Anda gunakan untuk mengekstrak wawasan dan memvisualisasikan data Anda yang bergerak. Ini menyediakan solusi end-to-end untuk skenario berbasis peristiwa, data streaming, dan log data. Baik Anda mengelola GB atau PB data, semua data organisasi yang sedang dipindahkan berkumpul di hub Real-Time.

• Apakah Anda perlu menggunakan data pra-agregat, misalnya untuk menyediakan model semantik yang mempermudah analitik bagi pengguna bisnis?

  Jika ya, pilih opsi yang mendukung kubus multidimensi atau model semantik tabular.

  Berikan agregat untuk membantu pengguna menghitung agregat data secara konsisten. Data pra-agregat juga dapat memberikan peningkatan performa besar jika Anda memiliki beberapa kolom di banyak baris. Anda dapat melakukan pra-agregat data dalam kubus multidirmensional atau model semantik tabular.

Matriks kemampuan

Tabel berikut ini meringkas perbedaan utama dalam kemampuan antara layanan ini:

• Kain
• Analysis Services
• SQL Server Analysis Services
• SQL Server dengan indeks penyimpan kolom
• SQL Database dengan indeks penyimpan kolom

Kemampuan umum

Kapabilitas	Kain	Analysis Services	SQL Server Analysis Services	SQL Server dengan indeks penyimpan kolom	SQL Database dengan indeks penyimpan kolom
Adalah layanan terkelola	Ya	Ya	Tidak.	Tidak.	Ya
MPP	Ya	Tidak.	Tidak.	Tidak.	Tidak.
Mendukung kubus multidimensi	Tidak.	Tidak.	Ya	Tidak.	Tidak.
Mendukung model semantik tabular	Ya	Ya	Ya	Tidak.	Tidak.
Mengintegrasikan beberapa sumber data dengan mudah	Ya	Ya	Ya	Nomor 1	Nomor 1
Mendukung analitik real-time	Ya	Tidak.	Tidak.	Ya	Ya
Memerlukan proses untuk menyalin data dari sumber	Opsional 3	Ya	Ya	Tidak.	Tidak.
Integrasi Microsoft Entra	Ya	Ya	Tidak.	Tidak ada 2	Ya

[1] SQL Server dan SQL Database tidak dapat mengkueri dari dan mengintegrasikan beberapa sumber data eksternal, tetapi Anda dapat membangun alur untuk melakukan fungsi-fungsi ini dengan menggunakan SQL Server Integration Services atau Azure Data Factory. Azure VM-hosted SQL Server memiliki lebih banyak opsi, seperti server tertaut dan PolyBase. Untuk informasi selengkapnya, lihat Memilih teknologi orkestrasi alur data.

[2] Akun Microsoft Entra tidak mendukung koneksi ke SQL Server yang dihosting Azure VM. Gunakan akun Domain Windows Server Active Directory sebagai gantinya.

[3] Fabric memberikan fleksibilitas untuk mengintegrasikan sumber data dengan memindahkan data ke OneLake melalui alur atau pencerminan Azure Data Factory. Anda juga dapat membuat pintasan atau melakukan analitik real time pada aliran data tanpa memindahkan data.

Kemampuan skalabilitas

Kapabilitas	Kain	Analysis Services	SQL Server Analysis Services	SQL Server dengan indeks penyimpan kolom	SQL Database dengan indeks penyimpan kolom
Server regional redundan untuk ketersediaan tinggi	Ya	Ya	Tidak.	Ya	Ya
Mendukung peluasan skala pertanyaan	Ya	Ya	Tidak.	Ya	Ya
Skalabilitas dinamis, peningkatan skala	Ya	Ya	Tidak.	Ya	Ya

Langkah selanjutnya

• Penyimpanan data analitik Fabric
• Indeks kolom
• Membuat server Analysis Services
• Apa itu Azure Data Factory?
• Apa itu Power BI?

Sumber daya terkait

• Gaya arsitektur data besar