Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Di Service Manager, data yang ada di gudang data dapat dikonsolidasikan dari berbagai sumber. Ini disajikan melalui Service Manager dengan menggunakan kubus data Microsoft Online Analytical Processing (OLAP) yang telah ditentukan dan disesuaikan sebelumnya. Singkatnya, analitik tingkat lanjut di Service Manager terdiri dari menerbitkan, menampilkan, dan memanipulasi data kubus, biasanya di Microsoft Excel atau Microsoft SharePoint. Excel terutama digunakan dengan sendirinya untuk menampilkan dan memanipulasi data. SharePoint digunakan terutama sebagai sarana penerbitan dan berbagi data kubus.
Manajer Layanan menyertakan gudang data di seluruh Pusat Sistem. Oleh karena itu, data dari Operations Manager, Configuration Manager, dan Service Manager dapat dikonsolidasikan ke dalam gudang data, di mana Anda dapat dengan mudah menggunakan beberapa tampilan data untuk mendapatkan informasi apa pun yang mungkin Anda inginkan. Ini juga merupakan antarmuka tempat Anda dapat memasukkan data ke dalam gudang data yang sama dari sumber kustom Anda sendiri, seperti aplikasi SAP atau aplikasi sumber daya manusia pihak ketiga. Konsolidasi ini membuat model data umum dan memungkinkan analisis yang diperkaya untuk membantu Anda membangun gudang data di seluruh organisasi Teknologi Informasi (TI) Anda yang dapat melayani semua kebutuhan kecerdasan dan pelaporan bisnis Anda.
Ketika data Anda berada dalam model umum, Anda dapat memanipulasi informasi dan memiliki definisi umum dan taksonomi umum untuk seluruh perusahaan Anda. Anda dapat melakukan ini dengan menyebarkan kubus data OLAP dan mengakses informasi dari kubus, menggunakan alat standar seperti Excel dan SharePoint. Ini memungkinkan pengguna Anda untuk menggunakan keterampilan yang sudah mereka ketahui. Anda mengontrol definisi logika bisnis Anda secara terpusat. Misalnya, Anda dapat menentukan indikator performa utama, seperti ambang batas waktu-ke-resolusi insiden, dan nilai mana untuk ambang batas berwarna hijau, kuning, atau merah. Anda dapat mengontrol pilihan ini dengan cara terpusat dan memberdayakan pengguna Anda untuk menggunakan data dengan mudah, namun definisi umum muncul di laporan Excel atau dasbor SharePoint mereka.
Tentang kubus OLAP Service Manager
Kubus pemrosesan analitik online (OLAP) adalah fitur di Service Manager yang menggunakan infrastruktur gudang data yang ada untuk menyediakan kemampuan kecerdasan bisnis layanan mandiri kepada pengguna akhir.
Kubus OLAP adalah struktur data yang mengatasi keterbatasan database relasional dengan memberikan analisis data yang cepat. Kubus dapat menampilkan dan menjumlahkan data dalam jumlah besar sekaligus memberi pengguna akses yang dapat dicari ke titik data apa pun. Dengan cara ini, data dapat diringkas, diiris, dan dibagi-bagi sesuai dengan kebutuhan untuk menangani beragam pertanyaan luas yang relevan dengan area minat pengguna.
Vendor perangkat lunak atau pengembang teknologi informasi (IT) dengan pengetahuan kerja tentang kubus OLAP dapat membuat paket manajemen untuk menentukan kubus OLAP yang dapat diperluas dan dapat disesuaikan yang dibangun di atas infrastruktur gudang data. Kubus ini disimpan di SQL Server Analysis Services (SSAS). Alat kecerdasan bisnis mandiri seperti Excel dan SQL Server Reporting Services (SSRS) dapat menargetkan kubus ini di SSAS, dan Anda dapat menggunakannya untuk menganalisis data dari beberapa perspektif.
Database yang digunakan bisnis untuk menyimpan semua transaksi dan catatannya disebut database pemrosesan transaksi online (OLTP). Database ini biasanya memiliki catatan yang dimasukkan satu per satu dan yang berisi banyak informasi yang dapat digunakan oleh ahli strategi untuk membuat keputusan berdasarkan informasi tentang bisnis mereka. Namun, database yang digunakan untuk menyimpan data tidak dirancang untuk analisis. Oleh karena itu, mengambil jawaban dari database ini mahal dalam hal waktu dan upaya. Database OLAP adalah database khusus yang dirancang untuk membantu mengekstrak informasi kecerdasan bisnis ini dari data.
Kubus OLAP dapat dianggap sebagai bagian akhir dari teka-teki untuk solusi pergudangan data. Kubus OLAP, juga dikenal sebagai kubus multidimensi atau hypercube, adalah struktur data di SQL Server Analysis Services (SSAS) yang dibangun, menggunakan database OLAP, untuk memungkinkan analisis data yang hampir instan. Topologi sistem ini ditampilkan dalam ilustrasi berikut.
Fitur yang berguna dari kubus OLAP adalah bahwa data dalam kubus dapat dimuat dalam bentuk agregat. Bagi pengguna, kubus tampaknya memiliki jawaban terlebih dahulu karena berbagai nilai sudah dikomputasi. Tanpa harus mengkueri database OLAP sumber, kubus dapat mengembalikan jawaban untuk berbagai pertanyaan hampir seketika.
Tujuan utama kubus OLAP Service Manager adalah untuk memberi vendor perangkat lunak atau teknologi informasi (IT) kemampuan untuk melakukan analisis data yang hampir seketika untuk analisis historis dan tujuan yang sedang tren. Service Manager melakukan ini dengan:
- Memungkinkan Anda menentukan kubus OLAP dalam paket manajemen yang akan dibuat secara otomatis di SSAS saat paket manajemen disebarkan.
- Secara otomatis mempertahankan kubus tanpa intervensi pengguna, melakukan tugas seperti pemrosesan, partisi, terjemahan dan pelokalan, dan perubahan skema.
- Memungkinkan pengguna menggunakan alat kecerdasan bisnis layanan mandiri, seperti Excel, untuk menganalisis data dari beberapa perspektif.
- Menyimpan laporan Excel yang dihasilkan untuk referensi di masa mendatang.
Untuk melihat bagaimana kubus gudang data diwakili di konsol Manajer Layanan, navigasikan ke ruang kerja Gudang Data, dan pilih Cubes.
Kubus OLAP Manajer Layanan
Ilustrasi berikut menunjukkan gambar dari SQL Server Business Intelligence Development Studio (BIDS) yang menggambarkan bagian utama yang diperlukan untuk kubus pemrosesan analitik online (OLAP). Bagian-bagian ini adalah sumber data, tampilan sumber data, kubus, dan dimensi. Bagian berikut menjelaskan bagian kubus OLAP dan tindakan yang dapat dilakukan pengguna menggunakannya.
Sumber data
Sumber data adalah asal semua data yang terkandung dalam kubus OLAP. Kubus OLAP terhubung ke sumber data untuk membaca dan memproses data mentah untuk melakukan agregasi dan perhitungan untuk langkah-langkah terkait. Sumber data untuk semua kubus OLAP Manajer Layanan adalah data mart, yang mencakup data mart untuk Manajer Operasi dan Manajer Konfigurasi. Informasi autentikasi tentang sumber data harus disimpan di SQL Server Analysis Services (SSAS) untuk menetapkan tingkat izin yang benar.
Tampilan sumber data
Tampilan Sumber Data (DSV) adalah kumpulan tampilan yang merupakan representasi dari tabel dimensi, fakta, dan outrigger dari sumber data, seperti mart data Service Manager. DSV berisi semua hubungan antara tabel, seperti kunci primer dan asing. Dengan kata lain, DSV menentukan bagaimana database SSAS akan memetakan ke skema relasional, dan menyediakan lapisan abstraksi di atas database relasional. Menggunakan lapisan abstraksi ini, hubungan dapat didefinisikan antara tabel fakta dan dimensi, bahkan jika tidak ada hubungan dalam database relasional sumber. Perhitungan yang diberi nama, ukuran kustom, dan atribut kustom baru juga dapat didefinisikan dalam DSV yang mungkin tidak secara asli ada dalam skema dimensi gudang data. Misalnya, perhitungan bernama yang menentukan nilai Boolean untuk Insiden Teratasi akan menghitung nilai sebagai benar jika status insiden adalah teratasi atau tertutup. Dengan menggunakan perhitungan bernama, Service Manager kemudian dapat menentukan ukuran untuk menampilkan informasi yang berguna seperti persentase insiden yang diselesaikan, jumlah total insiden yang diselesaikan, dan jumlah total insiden yang tidak diselesaikan.
Contoh cepat lain dari perhitungan bernama adalah ReleasesImplementedOnSchedule. Perhitungan bernama ini memberikan pengecekan cepat terhadap status kesehatan pada jumlah catatan rilis di mana tanggal akhir aktual lebih kecil dari atau sama dengan tanggal akhir terjadwal.
Kubus OLAP
Kubus OLAP adalah struktur data yang mengatasi keterbatasan database relasional dengan memberikan analisis data yang cepat. Kubus OLAP dapat menampilkan dan menjumlahkan data dalam jumlah besar sekaligus memberi pengguna akses yang dapat dicari ke titik data apa pun sehingga data dapat digulung, diiris, dan dicat sesuai kebutuhan untuk menangani berbagai pertanyaan terluas yang relevan dengan area minat pengguna.
Dimensi
Dimensi dalam SSAS mereferensikan dimensi dari gudang data Manajer Layanan. Di Service Manager, dimensi kira-kira setara dengan kelas paket manajemen. Setiap kelas paket manajemen memiliki daftar properti, sementara setiap dimensi berisi daftar atribut, dengan setiap pemetaan atribut ke satu properti di kelas. Dimensi memungkinkan pemfilteran, pengelompokan, dan pelabelan data. Misalnya, Anda dapat memfilter komputer berdasarkan sistem operasi yang diinstal dan mengelompokkan orang ke dalam kategori berdasarkan jenis kelamin atau usia. Data kemudian dapat disajikan dalam format di mana data dikategorikan secara alami ke dalam hierarki dan kategori ini untuk memungkinkan analisis yang lebih mendalam. Dimensi mungkin juga memiliki hierarki alami untuk memungkinkan pengguna memperinci ke tingkat yang lebih rinci. Misalnya, dimensi Tanggal memiliki hierarki yang dapat dibor berdasarkan Tahun, lalu Kuartal, lalu Bulan, lalu Minggu, lalu Hari.
Ilustrasi berikut menunjukkan kubus OLAP yang berisi dimensi Tanggal, Wilayah, dan Produk.
Misalnya, anggota tim Microsoft mungkin menginginkan ringkasan cepat dan sederhana dari penjualan konsol game Xbox One dalam versi yang berlaku. Mereka dapat menelusuri lebih lanjut untuk mendapatkan angka penjualan untuk jangka waktu yang lebih fokus. Analis bisnis mungkin ingin memeriksa bagaimana penjualan konsol Xbox One terpengaruh oleh peluncuran desain konsol baru dan Kinect untuk Xbox One. Ini membantu mereka menentukan tren penjualan apa yang terjadi dan potensi revisi strategi bisnis apa yang diperlukan. Dengan memfilter dimensi tanggal, informasi ini dapat dengan cepat dikirimkan dan digunakan. Pemrosesan dan analisis data ini dimungkinkan hanya karena dimensi telah dirancang dengan atribut dan data yang dapat dengan mudah difilter dan dikelompokkan untuk pelanggan.
Di Service Manager, semua kubus OLAP berbagi sekumpulan dimensi umum. Semua dimensi menggunakan gudang data utama sebagai sumbernya, bahkan dalam beberapa skenario mart data. Dalam beberapa skenario mart data, ini mungkin dapat menyebabkan kesalahan kunci dimensi selama pemrosesan kubus.
Mengukur grup
Grup pengukuran adalah konsep yang sama dengan fakta dalam terminologi gudang data. Sama seperti fakta yang berisi ukuran numerik di gudang data, grup pengukuran merepresentasikan ukuran untuk kubus OLAP. Semua ukuran dalam kubus OLAP yang berasal dari tabel fakta tunggal pada tampilan sumber data dapat dianggap sebagai sebuah grup pengukuran. Namun, mungkin ada kasus di mana akan ada beberapa tabel fakta dari mana ukuran-ukuran dalam kubus OLAP berasal. Ukuran tingkat detail yang sama disatukan dalam satu grup pengukuran. Grup ukuran menentukan data apa yang akan dimuat ke dalam sistem, bagaimana data dimuat, dan bagaimana data terhubung dengan kubus multidimensi.
Setiap grup pengukuran juga berisi daftar partisi, yang menyimpan data aktual di bagian terpisah dan tidak tumpang tindih. Grup pengukuran juga berisi desain agregasi, yang mendefinisikan kumpulan data yang telah diringkas sebelumnya yang diproses untuk setiap grup pengukuran untuk meningkatkan kinerja kueri pengguna.
Langkah
Ukuran adalah nilai numerik yang ingin dipilah, dipotong, diagregasikan, dan dianalisis oleh pengguna; mereka adalah salah satu alasan mendasar mengapa Anda ingin membangun kubus OLAP menggunakan infrastruktur gudang data. Dengan menggunakan SSAS, Anda dapat membangun kubus OLAP yang akan menerapkan aturan dan perhitungan bisnis untuk memformat dan menampilkan ukuran dalam format yang dapat disesuaikan. Sebagian besar waktu pengembangan kubus OLAP Anda akan dihabiskan untuk menentukan dan menentukan langkah-langkah mana yang akan ditampilkan dan bagaimana mereka akan dihitung.
Metrik adalah nilai yang biasanya dipetakan ke kolom numerik dalam tabel fakta gudang data, tetapi juga dapat dibuat pada atribut dimensi dan atribut dimensi degeneratif. Metrik-metirk ini adalah nilai yang paling penting dari kubus OLAP yang dianalisis dan yang menjadi perhatian utama bagi pengguna akhir yang menelusuri kubus OLAP. Contoh ukuran yang ada di gudang data adalah ActivityTotalTimeMeasure. ActivityTotalTimeMeasure adalah ukuran dari ActivityStatusDurationFact yang mewakili waktu setiap aktivitas berada dalam status tertentu. Tingkat detail ukuran terdiri dari semua dimensi yang direferensikan. Misalnya, tingkat kedetailan dari fakta hubungan ComputerHostsOperatingSystem terdiri dari dimensi Komputer dan Sistem Operasi.
Fungsi agregasi dihitung berdasarkan ukuran untuk memungkinkan analisis data lebih lanjut. Fungsi agregasi yang paling umum adalah Jumlah. Kueri kubus OLAP umum, misalnya, menghitung total waktu untuk semua aktivitas yang Sedang Berlangsung. Fungsi agregasi umum lainnya termasuk Min, Max, dan Count.
Setelah data mentah diproses dalam kubus OLAP, pengguna dapat melakukan perhitungan dan kueri yang lebih kompleks menggunakan ekspresi multidimensi (MDX) untuk menentukan ekspresi pengukuran atau anggota terhitung mereka sendiri. MDX adalah standar industri untuk mengkueri dan mengakses data yang disimpan dalam sistem OLAP. SQL Server tidak dirancang untuk bekerja dengan model data yang didukung database multidmensional.
Telusuri lebih dalam
Saat pengguna menelusuri data dalam kubus OLAP, pengguna menganalisis data pada tingkat ringkasan yang berbeda. Tingkat detail data berubah saat pengguna mendalami, memeriksa data pada berbagai tingkat dalam hierarki. Saat pengguna menggali lebih dalam, mereka berpindah dari informasi ringkasan ke data dengan fokus yang lebih sempit. Contoh pengeksplorasian mendetail adalah sebagai berikut:
- Menelusuri lebih dalam data untuk melihat informasi demografis tentang populasi Amerika Serikat, kemudian ke negara bagian Washington, kemudian ke daerah metropolitan Seattle, kemudian ke kota Redmond, dan akhirnya sampai ke populasi di Microsoft.
- Menelusuri paling detail angka penjualan untuk konsol Xbox One untuk tahun kalender 2015, lalu kuartal keempat tahun ini, lalu bulan Desember, lalu minggu sebelum Natal, dan akhirnya Malam Natal.
Menelusuri mendalam
Saat pengguna menge-drill-through data, mereka ingin melihat semua transaksi individual yang berkontribusi terhadap data agregat kubus OLAP. Dengan kata lain, pengguna dapat mengambil data pada tingkat detail terendah untuk nilai ukuran tertentu. Misalnya, saat Anda diberi data penjualan untuk kategori bulan dan produk tertentu, Anda dapat menelusuri data tersebut untuk melihat daftar setiap baris tabel yang terkandung dalam sel data tersebut.
Istilah menelusuri lebih dalam dan menelusuri sering kali membingungkan satu sama lain. Perbedaan utama mereka adalah penelusuran yang dilakukan berdasarkan hierarki data yang telah ditentukan sebelumnya, misalnya, Amerika Serikat, kemudian ke Washington, lalu ke Seattle, di dalam kubus OLAP. Telusuri paling detail langsung masuk ke tingkat terendah data dan mengambil sekumpulan baris dari sumber data yang telah dikumpulkan ke dalam satu sel.
Indikator performa utama
Organisasi dapat menggunakan indikator performa utama (KPI) untuk mengukur kesehatan perusahaan mereka dan performa mereka dengan mengukur kemajuan mereka menuju tujuan mereka. KPI adalah metrik bisnis yang dapat didefinisikan untuk memantau kemajuan menuju tujuan dan tujuan tertentu yang telah ditentukan sebelumnya. KPI memiliki nilai target dan nilai aktual, yang mewakili tujuan kuantitatif yang sangat penting bagi keberhasilan organisasi. KPI ditampilkan dalam grup pada kartu skor untuk menunjukkan kesehatan bisnis secara keseluruhan dalam satu rekam jepret cepat.
Contoh KPI adalah menyelesaikan semua permintaan perubahan dalam waktu 48 jam. KPI dapat digunakan untuk mengukur persentase permintaan perubahan yang diselesaikan dalam jangka waktu tersebut. Anda dapat membuat dasbor untuk mewakili KPI secara visual. Misalnya, Anda mungkin ingin menentukan nilai target KPI untuk penyelesaian semua permintaan perubahan dalam waktu 48 jam hingga 75 persen.
Partisi
Partisi adalah struktur data yang menyimpan beberapa atau semua data dalam grup pengukuran. Setiap grup pengukuran dibagi menjadi partisi. Pembagian mendefinisikan subset dari data fakta yang dimuat ke dalam grup pengukuran. SSAS Standard Edition hanya mengizinkan satu partisi per grup pengukuran, sementara SSAS Enterprise Edition memungkinkan grup pengukuran untuk berisi beberapa partisi. Partisi adalah fitur yang transparan bagi pengguna akhir, tetapi memiliki dampak besar pada performa dan skalabilitas kubus OLAP. Semua partisi untuk grup pengukuran selalu ada dalam database fisik yang sama.
Partisi memungkinkan administrator untuk mengelola kubus OLAP dengan lebih baik dan meningkatkan performa kubus OLAP. Misalnya, Anda dapat menghapus atau memproses ulang data dalam satu partisi grup pengukuran tanpa memengaruhi grup pengukuran lainnya. Saat Anda memuat data baru ke dalam tabel fakta, hanya partisi yang harus berisi data baru yang terpengaruh.
Pemartisian juga meningkatkan performa pemrosesan dan kueri untuk kubus OLAP. SSAS dapat memproses beberapa partisi secara paralel, yang mengarah ke penggunaan sumber daya CPU dan memori yang jauh lebih efisien di server. Meskipun menjalankan kueri, SSAS mengambil, memproses, dan menggabungkan data dari beberapa partisi juga, hanya partisi yang berisi data yang relevan dengan kueri yang dipindai, yang mengurangi jumlah keseluruhan input dan output.
Salah satu contoh strategi partisi adalah menempatkan data fakta untuk setiap bulan ke dalam partisi bulanan. Pada akhir setiap bulan, semua data baru masuk ke partisi baru, yang mengarah ke distribusi data alami dengan nilai yang tidak tumpang tindih.
Agregasi
Agregasi dalam kubus OLAP adalah kumpulan data yang diasumsikan. Mereka dianalogikan dengan pernyataan SQL SELECT dengan klausa GROUP BY. SSAS dapat menggunakan agregasi ini ketika menjawab kueri untuk mengurangi jumlah perhitungan yang diperlukan, mengembalikan jawaban dengan cepat kepada pengguna. Agregasi bawaan dalam kubus OLAP mengurangi jumlah agregasi SSAS yang harus dijalankan pada waktu kueri. Membangun agregasi yang benar dapat meningkatkan performa kueri secara drastis. Ini sering kali merupakan proses yang berkembang sepanjang siklus hidup kubus OLAP saat kueri dan penggunaannya berubah.
Sekumpulan agregasi dasar biasanya dibuat yang akan berguna untuk sebagian besar kueri terhadap kubus OLAP. Agregasi dibuat untuk setiap partisi kubus OLAP dalam kelompok pengukuran. Saat agregasi dibuat, atribut dimensi tertentu disertakan dalam himpunan data yang telah diringkas sebelumnya. Pengguna dapat dengan cepat mengkueri data berdasarkan agregasi ini saat mereka menelusuri kubus OLAP. Agregasi harus dirancang dengan hati-hati karena jumlah agregasi potensial sangat besar sehingga membangun semuanya akan memakan waktu dan ruang penyimpanan yang tidak masuk akal.
Service Manager menggunakan dua opsi berikut saat membangun dan merancang agregasi di kubus OLAP Service Manager:
- Pencapaian Peningkatan Performa
- Pengoptimalan berbasis penggunaan
Opsi Tingkat Peningkatan Performa menentukan persentase agregasi yang dibangun. Misalnya, mengatur opsi ini ke nilai default dan direkomendasikan sebesar 30 persen berarti bahwa agregasi akan dibangun untuk memberi kubus OLAP peningkatan performa yang diperkirakan sebesar 30 persen. Namun, ini tidak berarti bahwa 30 persen dari agregasi yang mungkin terjadi akan dibangun.
Pengoptimalan berbasis penggunaan memungkinkan SSAS untuk mencatat permintaan data sehingga ketika kueri dijalankan, informasi dimasukkan ke dalam proses desain agregasi. SSAS kemudian meninjau data dan merekomendasikan agregasi mana yang harus dibangun untuk memberikan perkiraan perolehan performa terbaik.
Pemartisian kubus Manajer Layanan
Setiap grup pengukuran dalam kubus dibagi menjadi partisi, di mana partisi mendefinisikan sebagian data fakta yang dimuat ke dalam grup ukuran. SQL Server Analysis Services (SSAS) pada SQL Server Standard Edition hanya memungkinkan satu partisi per grup pengukuran, sementara beberapa partisi diizinkan di Edisi Perusahaan. Partisi sepenuhnya transparan bagi pengguna akhir, tetapi mereka memiliki dampak penting pada performa dan skalabilitas. Misalnya, partisi dapat diproses secara terpisah dan paralel. Mereka dapat memiliki desain agregasi yang berbeda. Anda dapat memproses ulang partisi tanpa memengaruhi semua partisi lain dalam grup pengukuran. Selain itu, SSAS secara otomatis hanya memindai partisi yang berisi data yang diperlukan untuk kueri, yang dapat sangat meningkatkan performa kueri.
Pemartisian kubus dilakukan pada setiap pekerjaan pemeliharaan gudang data yang dijalankan, yang dilakukan setiap jam secara default. Modul proses tertentu yang berjalan diberi nama ManageCubePartitions. Ini selalu berjalan setelah langkah CreateMartPartitions. Data dependensi ini disimpan dalam tabel infra.moduletriggercondition.
Pustaka tautan dinamis utama (DLL), yang menangani partisi, ada di DLL utilitas gudang, Microsoft.EnterpriseManagement.Warehouse.Utility, di kelas PartitionUtil. Secara khusus, ada metode ManagePartitions() di kelas yang menangani semua pemeliharaan partisi. DLL pemeliharaan gudang data, Microsoft.EnterpriseManagement.Warehouse.Maintenance, dan DLL pemrosesan analitik online gudang data (OLAP), Microsoft.EnterpriseManagement.Warehouse.Olap, keduanya memanggil Microsoft.EnterpriseManagement.Warehouse.Utility untuk menangani partisi selama pemeliharaan dan penyebaran kubus. Inilah sebabnya mengapa penanganan partisi aktual berada di DLL utilitas gudang umum untuk menghindari logika atau kode duplikat.
Pemeliharaan Pemartisian Kubus melakukan tugas-tugas berikut:
- Membuat partisi
- Menghapus partisi
- Memperbarui batas partisi
Untuk melakukan ini, tabel Structured Query Language (SQL) etl.TablePartition dibaca untuk menentukan semua partisi fakta yang telah dibuat untuk grup ukuran. Tindakan berikut terjadi:
- Mulai pemrosesan kubus untuk setiap grup pengukuran dalam kubus
- Dapatkan semua partisi dari etl.TablePartition untuk kelompok pengukuran
- Hapus partisi apa pun yang ada dalam grup pengukuran tetapi yang hilang dari tabel etl.TablePartition
- Tambahkan partisi baru yang telah dibuat dan yang hanya ada di tabel etl.TablePartition
- Perbarui partisi apa pun yang mungkin telah berubah dengan mencocokkan setiap partisi ke RangeStartDate dan RangeEndDate di tabel etl.TablePartition
Ingat hal-hal berikut tentang pemrosesan kubus:
- Hanya kelompok ukur yang ditargetkan pada fakta tertentu yang berisi beberapa partisi di SQL Server Standard Edition. Secara default, semua grup dan dimensi pengukuran hanya berisi satu partisi. Oleh karena itu, partisi tidak memiliki kondisi batas.
- Batas partisi didefinisikan oleh pengikatan kueri yang didasarkan pada datekey yang cocok dengan datekey untuk partisi fakta yang sesuai dalam tabel TablePartition di etl.
Penyebaran kubus OLAP untuk Service Manager
Penyebaran kubus pemrosesan analitik online (OLAP) menggunakan infrastruktur penyebaran Manajer Layanan untuk membuat kubus OLAP di database SQL Server Analysis Services (SSAS).
Untuk meringkas, elemen yang dapat disebarkan mengembalikan penyebar dengan kumpulan sumber daya yang diserialisasikan dan yang digunakan untuk membuat kubus OLAP di database SSAS. Untuk kubus OLAP, nama objek yang dapat disebarkan adalah CubeDeployable untuk elemen SystemCenterCube dan CubeExtensionDeployable untuk elemen CubeExtension. Alat penyebar untuk kedua elemen adalah CubeDeployer.
Tabel dbo.Selector dalam database DWStagingAndConfig memuat entri untuk elemen-elemen dalam paket manajemen SystemCenterCube dan CubeExtension. Mesin penyebaran menggunakan metadata ini jika pemrosesan penyebaran tambahan diperlukan untuk elemen paket manajemen ketika paket manajemen diimpor ke gudang data menggunakan pekerjaan MPSync.
Penyebaran menggunakan antarmuka pemrograman aplikasi (API) Analysis Management Objects (AMO) untuk membuat dan memodifikasi semua komponen cube dalam database SQL Server Analysis Services (SSAS). Secara khusus, AMO dalam mode terputus digunakan karena elemen CubeDeployable tidak akan memiliki koneksi ke database SSAS. Bekerja dengan AMO dalam mode terputus memungkinkan Anda untuk membuat seluruh pohon objek AMO tanpa membuat koneksi ke server. Service Manager kemudian menserialisasikan hierarki objek sebagai sumber daya aliran dan melampirkannya ke objek penyebar yang diteruskan kembali ke infrastruktur penyebaran. Objek penyebar kemudian dideserialisasi, membuat koneksi ke database SSAD, dan membuat objek dengan mengirim permintaan yang sesuai ke server.
Hanya objek utama yang dapat diserialisasikan. Di AMO, objek utama dianggap sebagai kelas yang mewakili objek lengkap sebagai entitas lengkap dan bukan sebagai bagian dari objek lain. Misalnya, objek utama termasuk Server, Kubus, dan Dimensi, yang semuanya adalah entitas mandiri. DimensionAttribute, bagaimanapun, bukan objek utama karena hanya dapat dibuat sebagai bagian dari objek utama induk Dimension. DimensionAttribute, oleh karena itu, adalah objek kecil. Desain kubus OLAP berfokus pada pembuatan semua objek utama yang diperlukan, bersama dengan objek kecil yang bergantung. Objek utama ini adalah objek yang akan diserialisasikan-dan, akhirnya, deserialisasi-sebelum objek dibuat dalam database SSAS.
Sumber daya yang membungkus objek utama harus dibuat dalam urutan tertentu agar penyebaran berhasil diselesaikan dan memenuhi persyaratan dependensi elemen kubus OLAP. Dua daftar berikut mengilustrasikan urutan penyebaran untuk elemen SystemCenterCube dan CubeExtension, masing-masing:
- Elemen DataSourceView
- elemen dimensi
- elemen dimensi tanggal
- elemen kubus
- Elemen DataSourceView
- elemen kubus
Pemrosesan kubus OLAP Service Manager
Ketika kubus pemrosesan analitik online (OLAP) telah disebarkan dan semua partisinya telah dibuat, kubus siap untuk diproses sehingga dapat dilihat. Memproses kubus adalah langkah terakhir setelah ekstrak, transformasi, dan pemuatan (ETL) dijalankan. Langkah-langkah ini terjadi sebagai berikut:
- Ekstrak: Ekstrak data dari sistem sumber
- Transformasi: Menerapkan fungsi untuk menyesuaikan data ke skema dimensi standar
- Muat: Muat data ke dalam data mart untuk dikonsumsi
- Proses: Muat data dari data mart ke dalam kubus OLAP untuk penjelajahan
Pemrosesan kubus OLAP terjadi ketika semua agregasi untuk kubus dihitung dan kubus dimuat dengan agregasi dan data ini. Tabel dimensi dan fakta dibaca, dan data dihitung dan dimuat ke dalam kubus. Ketika Anda merancang kubus OLAP, pemrosesan harus dipertimbangkan dengan hati-hati karena efek yang berpotensi signifikan yang mungkin dimiliki pemrosesan di lingkungan produksi di mana jutaan rekaman mungkin ada. Proses penuh semua partisi di lingkungan seperti itu bisa memakan waktu dari beberapa hari hingga beberapa minggu, yang mungkin membuat infrastruktur dan cubes Service Manager tidak bisa digunakan oleh pengguna akhir. Salah satu rekomendasinya adalah menonaktifkan jadwal pemrosesan kubus apa pun yang tidak digunakan untuk mengurangi overhead pada sistem.
Pemrosesan kubus OLAP terdiri dari dua tugas terpisah:
- Pemrosesan dimensi
- Pemrosesan partisi
Setiap kubus OLAP memiliki pekerjaan pemrosesan yang sesuai di konsol Service Manager, dan berjalan pada jadwal yang dapat dikonfigurasi pengguna. Setiap jenis tugas pemrosesan dijelaskan di bagian berikut.
Pemrosesan dimensi
Setiap kali dimensi baru ditambahkan ke database SQL Server Analysis Server (SSAS), proses penuh harus dijalankan pada dimensi untuk membawanya ke status yang sepenuhnya diproses. Namun, setelah dimensi diproses, tidak ada jaminan bahwa dimensi tersebut akan diproses lagi ketika kubus lain yang menargetkan dimensi yang sama diproses. Dengan tidak memproses ulang dimensi secara otomatis mencegah Service Manager memproses ulang setiap dimensi untuk setiap kubus. Ini terutama berlaku jika dimensi baru-baru ini diproses, karena tidak mungkin ada data baru yang belum diproses. Untuk mengoptimalkan efisiensi pemrosesan, ada kelas singleton, yang didefinisikan dalam paket manajemen Microsoft.SystemCenter.Datawarehouse.OLAP.Base, yang diberi nama Microsoft.SystemCenter.Warehouse.Dimension.ProcessingInterval. Berikut ini adalah contoh kelas ini:
<!-- This singleton class defines the minimum interval of time in minutes that must elapse before a shared dimension is reprocessed. -->
<ClassType ID="Microsoft.SystemCenter.Warehouse.Dimension.ProcessingInterval" Accessibility="Public" Abstract="false" Base="AdminItem!System.AdminItem" Singleton="true">
<Property ID="IntervalInMinutes" Type="int" Required="true" DefaultValue="60"/>
</ClassType>
Kelas singleton ini berisi properti, IntervalInMinutes, yang menjelaskan seberapa sering memproses dimensi. Secara default properti ini diatur ke 60 menit. Misalnya, jika dimensi diproses pada pukul 3:05 P.M. dan kubus lain yang menargetkan dimensi yang sama diproses pada 3:45 P.M., dimensi tidak akan diproses ulang. Salah satu kelemahan dari pendekatan ini adalah peningkatan kemungkinan kesalahan kunci dimensi. Mekanisme coba lagi menangani kesalahan kunci dimensi untuk memproses ulang dimensi dan kemudian partisi kubus. Untuk informasi selengkapnya tentang kegagalan pemrosesan, lihat bagian "Masalah Umum dengan Penelusuran Kesalahan dan Pemecahan Masalah".
Setelah dimensi diproses sepenuhnya, pemrosesan inkremental dengan ProcessUpdate dijalankan. Satu-satunya waktu lain yang ProcessFull dijalankan adalah ketika skema dimensi berubah, karena menghasilkan dimensi yang kembali ke status yang tidak diproses. Ingatlah bahwa jika ProcessFull dilakukan pada dimensi, semua kubus yang terpengaruh dan partisinya akan berada dalam keadaan tidak diproses dan harus diproses sepenuhnya pada eksekusi terjadwal berikutnya.
Pemrosesan partisi
Pemrosesan partisi harus dipertimbangkan dengan hati-hati karena pemrosesan ulang partisi besar lambat, dan mengonsumsi banyak sumber daya CPU di server yang menghosting SSAS. Pemrosesan partisi umumnya membutuhkan waktu lebih lama daripada pemrosesan dimensi. Tidak seperti pemrosesan dimensi, pemrosesan partisi tidak memiliki efek samping pada objek lain. Satu-satunya dua jenis pemrosesan yang dilakukan pada System Center - Kubus OLAP Manajer Layanan adalah ProcessFull dan ProcessAdd.
Mirip dengan dimensi, membuat partisi baru dalam kubus OLAP memerlukan tugas ProcessFull agar partisi berada dalam status di mana partisi dapat dikueri. Karena tugas ProcessFull adalah operasi yang mahal, Anda harus melakukan tugas ProcessFull hanya jika perlu; misalnya, saat Anda membuat partisi atau saat baris telah diperbarui. Dalam skenario di mana baris telah ditambahkan dan tidak ada baris yang diperbarui, Manajer Layanan dapat melakukan tugas ProcessAdd. Untuk melakukan ini, Service Manager menggunakan marka air dan metadata lainnya. Secara khusus, tabel etl.cubepartition dan tabel etl.tablepartition dikueri untuk menentukan jenis pemrosesan apa yang akan dilakukan.
Diagram berikut mengilustrasikan bagaimana Service Manager menentukan jenis pemrosesan apa yang akan dilakukan berdasarkan data marka air.
Saat tugas ProcessAdd dilakukan, Service Manager membatasi cakupan kueri menggunakan penanda. Misalnya, jika nilai InsertedBatchId adalah 100 dan nilai WatermarkBatchId adalah 50, kueri hanya memuat data dari mart data di mana InsertedBatchId lebih besar dari 50 dan kurang dari 100.
Terakhir, penting untuk dicatat bahwa Service Manager tidak mendukung pemrosesan manual kubus OLAP menggunakan SSAS atau Business Intelligence Development Studio. Memproses kubus di luar metode yang disediakan dalam System Center - Service Manager, termasuk konsol Service Manager dan cmdlet Service Manager, tidak akan memperbarui tabel penanda. Oleh karena itu, ada kemungkinan bahwa masalah integritas data mungkin terjadi. Jika Anda telah secara tidak sengaja memproses ulang kubus secara manual, salah satu solusi yang mungkin adalah membatalkan pemrosesan kubus OLAP secara manual dengan cara yang sama. Kemudian, lain kali Service Manager memproses kubus, itu akan secara otomatis melakukan tugas ProcessFull karena partisi akan dalam keadaan tidak diproses. Ini akan memperbarui semua tanda air dan metadata dengan benar sehingga masalah integritas data yang mungkin timbul akan diperbaiki.
Memelihara kubus OLAP Service Manager
Informasi di bagian berikut menjelaskan praktik terbaik pemeliharaan untuk kubus pemrosesan analitik online (OLAP).
Memproses ulang dimensi Analysis Services secara berkala
Praktik terbaik SQL Server Analysis Services (SSAS) merekomendasikan bahwa dimensi SSAS harus diproses sepenuhnya secara berkala. Sepenuhnya memproses dimensi membangun kembali indeks dan mengoptimalkan penyimpanan data data multidimensi, yang meningkatkan performa kueri dan kubus yang dapat menurun dari waktu ke waktu. Ini mirip dengan defragmentasi hard disk secara berkala pada komputer.
Namun, kelemahan untuk sepenuhnya memproses dimensi SSAS adalah bahwa semua kubus OLAP yang terpengaruh menjadi tidak diproses, dan mereka juga harus sepenuhnya diproses untuk mengembalikannya ke status di mana Anda dapat mengkuerinya. Service Manager tidak memproses dimensi SSAS secara penuh. Oleh karena itu, Anda harus memutuskan kapan harus melakukan tugas pemeliharaan ini.
Pertimbangan memori
Jika Anda menjalankan semua operasi ekstraksi, transformasi, dan pemuatan gudang data (ETL) dan fungsi kubus OLAP di satu server, pertimbangkan dengan cermat kebutuhan memori sistem operasi, gudang data, dan SSAS untuk memastikan bahwa server dapat menangani semua operasi intensif data yang dapat berjalan secara bersamaan. Ini sangat penting karena memproses kubus OLAP adalah operasi intensif memori.