Bagikan melalui

Manajemen penyimpanan di Dataverse dan aplikasi keuangan dan operasi

Saat organisasi mempercepat perjalanan transformasi digital mereka, kemampuan untuk mengelola data secara efektif menjadi keharusan bisnis strategis. Dengan munculnya yang didukung AI dan alur kerja yang digerakkan oleh Copilot, perusahaan menghasilkan dan mengonsumsi data dengan kecepatan yang belum pernah terjadi sebelumnya. Data ini mendorong inovasi, memungkinkan pengalaman yang dipersonalisasi, dan mendukung pengambilan keputusan penting—tetapi hanya jika diatur dan disimpan secara cerdas.

Untuk mendukung kebutuhan bisnis yang berkembang ini, organisasi harus mengadopsi strategi manajemen penyimpanan yang proaktif. Hal ini memastikan bahwa data yang tidak lagi diperlukan untuk operasi sehari-hari ditangani secara bertanggung jawab, membebaskan kapasitas untuk beban kerja bernilai tinggi, mengurangi gesekan operasional, dan menyelaraskan dengan persyaratan kepatuhan dan audit.

Dari sudut pandang teknis, manajemen penyimpanan yang efektif di Dataverse dan Dynamics 365 meningkatkan performa sistem, meningkatkan efisiensi biaya, dan memastikan kepatuhan terhadap kebijakan retensi jangka panjang (LTR). Kedua platform menawarkan alat dan kemampuan otomatisasi yang memberdayakan organisasi untuk mengelola penyimpanan.

Dengan menerapkan strategi yang diuraikan dalam artikel ini, perusahaan dapat mengurangi overhead dukungan, merampingkan kepatuhan, dan membuka nilai yang lebih besar dari aplikasi bisnis mereka—mengubah penyimpanan dari kendala menjadi keunggulan kompetitif.

Manfaat utama

Manajemen penyimpanan yang efektif di Dataverse dan Dynamics 365 memberikan beberapa manfaat utama yang mengatasi masalah umum pelanggan dan meningkatkan efisiensi operasional secara keseluruhan.

  • Peningkatan kepatuhan terhadap LTR: Manajemen penyimpanan yang efektif memastikan bahwa data disimpan sesuai dengan kebijakan LTR. Ini tidak hanya membantu dalam memenuhi persyaratan peraturan, tetapi juga memastikan bahwa data penting disimpan dan dapat diakses saat dibutuhkan.

  • Peningkatan kinerja: Dengan mengoptimalkan manajemen penyimpanan, organisasi dapat meningkatkan kinerja sistem mereka secara signifikan. Alokasi dan manajemen penyimpanan yang efisien mengurangi latensi dan meningkatkan kecepatan pengambilan data, yang mengarah pada operasi yang lebih lancar dan lebih cepat.

  • Mendorong efisiensi biaya: Manajemen penyimpanan yang efektif memberdayakan organisasi untuk fokus pada data bernilai tinggi dengan merampingkan dan merapikan lanskap penyimpanan mereka. Dengan mempertahankan hanya apa yang diperlukan, bisnis dapat mengoptimalkan jejak penyimpanan mereka, yang mengarah pada pemanfaatan sumber daya yang lebih cerdas dan skalabilitas hemat biaya.

Latar belakang

Seiring pertumbuhan organisasi dan digitalisasi lebih banyak operasi mereka, volume data bisnis yang disimpan dalam sistem seperti Dataverse dan Dynamics 365 terus meningkat. Ini tidak hanya mencakup data aktif dan transaksional, tetapi juga rekaman historis yang harus disimpan untuk tujuan audit, peraturan, atau kelangsungan bisnis. Seiring waktu, akumulasi ini dapat menyebabkan penurunan performa, peningkatan overhead operasional, dan peningkatan biaya penyimpanan—terutama ketika data yang tidak lagi digunakan secara aktif tetap berada di tingkat penyimpanan berperforma tinggi.

Strategi manajemen penyimpanan yang terdefinisi dengan baik membantu organisasi mengatasi tantangan ini dengan mengidentifikasi data yang dapat diarsipkan, dibersihkan, atau dipindahkan ke penyimpanan yang dioptimalkan untuk dibaca dengan biaya lebih rendah. Ini penting untuk skenario kepatuhan di mana data harus tetap tidak dapat diubah, akses rendah, dan hanya baca, seperti catatan keuangan, log audit, atau pengajuan resmi. Memastikan bahwa data tersebut disimpan dengan cara yang sesuai, tanpa memengaruhi kinerja sistem langsung, adalah persyaratan utama bagi banyak perusahaan.

Dengan menggunakan alat dan strategi yang tersedia di kedua platform, organisasi dapat memperoleh visibilitas yang lebih baik tentang jejak penyimpanan mereka, mengurangi konsumsi yang tidak perlu, dan memastikan bahwa data penting kepatuhan ditangani dengan tepat.

Artikel ini menguraikan pendekatan praktis untuk manajemen penyimpanan yang membantu pelanggan menyelaraskan praktik retensi data mereka dengan kebutuhan bisnis dan peraturan. Ini meningkatkan kinerja sistem, mengurangi overhead operasional, dan memastikan bahwa kewajiban kepatuhan terpenuhi tanpa kompromi.

Mengapa kami menyimpan data

Untuk memilih dan mengoptimalkan pola retensi data yang tepat untuk data Anda, sebaiknya renungkan alasan dan penggunaan penyimpanan data kami.

Data operasional

Dengan aplikasi bisnis, data operasional adalah apa yang digunakan untuk melacak penjualan atau tindakan keuangan atau rantai pasokan.

Data ini perlu diakses secara real time, mendukung proses operasional pelanggan dan internal yang merekam tindakan terperinci seperti interaksi dengan pelanggan, pesanan, atau aktivitas inventaris.

Seiring waktu, data operasional dapat beralih dari digunakan secara aktif menjadi jarang digunakan. Data mungkin perlu diakses hampir secara real time, untuk membantu pelanggan dengan pesanan atau dalam kasus dukungan. Sebagai contoh, pertimbangkan skenario berikut:

  • Seorang pelanggan melakukan pemesanan, sementara pelanggan lain, yang telah tidak berinteraksi dengan bisnis selama beberapa waktu, melakukan pemesanan.
  • Setiap pesanan yang telah dilakukan dan dikirim, diakses terus-menerus. Ada juga pesanan yang berada di bawah masa garansi tiga tahun yang mungkin perlu direferensikan untuk dukungan dan mungkin memerlukan pengembalian dana.

Hal ini dapat menyebabkan fase kebutuhan akses data operasional seperti:

  • Kurang dari satu tahun data yang diakses secara aktif.
  • Kurang dari tiga tahun data yang jarang diakses.
  • Lebih dari tiga tahun di mana data tidak lagi diakses secara operasional.

Sifat real time penyimpanan operasional memang membuatnya relatif mahal dibandingkan dengan penyimpanan lain, jadi mengenali kapan data perlu diakses secara operasional dan kapan tidak penting untuk menentukan strategi retensi.

Integrasi operasional

Sebagai kategori khusus penggunaan operasional, data mungkin diperlukan untuk direplikasi di antara beberapa sistem operasional, termasuk pola seperti:

  • Perbankan: Manajemen hubungan pelanggan untuk interaksi pelanggan garis depan dan replikasi ke beberapa sistem perbankan. Misalnya, Anda memiliki rekening giro, kartu kredit, hipotek, dan sistem pemeriksaan kredit.
  • Manufaktur: Manajemen hubungan pelanggan untuk pengambilan pesanan garis depan dan sistem manajemen sumber daya perusahaan untuk manajemen rantai pasokan.
  • Penanganan darurat polisi: Manajemen hubungan pelanggan untuk interaksi warga dan sistem pengiriman untuk departemen kepolisian menawarkan manajemen penyebaran.

Dalam kasus ini, meskipun setiap sistem mungkin memiliki data unik yang dilacaknya, seringkali ada data master umum yang perlu dibagikan antar sistem dan tetap sinkron, yang mengarah pada kebutuhan integrasi.

Data audit

Bisnis biasanya memiliki tanggung jawab peraturan untuk menyimpan data untuk waktu yang lama—misalnya rata-rata selama tujuh tahun—untuk tujuan audit, baik internal maupun eksternal, seperti mendukung audit keuangan, pengungkapan peraturan, atau tinjauan penipuan.

Data ini biasanya mencakup data yang diperlukan untuk tujuan operasional dan data yang tidak lagi diperlukan, karena memungkinkan peninjauan di seluruh kumpulan data dari satu tempat.

Data analitik

Organisasi memiliki kebutuhan untuk meninjau dan menganalisis keadaan bisnis mereka. Mereka harus mengukur dan membandingkan statistik dari waktu ke waktu, dan mencakup beberapa atau semua bagian bisnis.

Periode besar dan luasnya data di mana analisis ini dapat terjadi menyebabkan kebutuhan untuk mereplikasi data operasional menjadi alat analitik khusus. Hal ini menghindari analitik yang kompleks memengaruhi kinerja sistem operasional, tetapi juga memungkinkan analisis di seluruh kumpulan data yang melampaui periode di mana data diperlukan secara operasional. Misalnya, Anda mungkin perlu membandingkan data selama tujuh tahun, bukan lebih dari satu hingga dua tahun. Namun, kebutuhan analitik yang berbeda mungkin memerlukan periode retensi data penuh atau hanya mencakup data yang disimpan dalam sistem operasional.

Data analitik biasanya memungkinkan agregasi data di beberapa bagian bisnis dan menggabungkan data dari beberapa sistem.

Alur data

Data jenis ini biasanya mengalir dari waktu ke waktu dari data operasional dan kemudian ke data transaksional atau historis, seperti yang ditunjukkan pada gambar berikut.

Nama alur data.

Jenis penyimpanan yang berbeda

Jenis penyimpanan Dataverse

Dataverse mengatur penyimpanan ke dalam tiga kategori utama, masing-masing dengan pola penggunaan dan implikasi penagihan yang berbeda.

Jenis penyimpanan Deskripsi Kasus penggunaan umum
Penyimpanan basis data Menyimpan data terstruktur dalam tabel—standar dan kustom. Catatan bisnis, metadata, hubungan, dan konfigurasi
Penyimpanan file Menyimpan lampiran dan data biner. Lampiran email, gambar, dokumen yang diunggah melalui Power Apps
Penyimpanan log Menyimpan log audit dan log pelacakan plugin. Pelacakan perubahan, audit, diagnostik, dan kepatuhan

Jenis penyimpanan platform keuangan dan operasi

Penyimpanan keuangan dan operasi dikelola secara terpisah, tetapi semakin terintegrasi ke dalam ekosistem Power Platform. Ini mencakup jenis penyimpanan berikut.

Jenis penyimpanan Deskripsi Kasus penggunaan umum
Penyimpanan database operasional Data transaksional inti untuk keuangan, rantai pasokan, sumber daya manusia, dan lainnya Entri buku besar, inventaris, pesanan pelanggan
Penyimpanan manajemen dokumen Objek besar biner (Blob) yang disimpan di Azure Blob Storage Faktur, tanda terima, dokumen yang dipindai
Log telemetri dan diagnostik Log sistem dan data telemetri Pemantauan kinerja, diagnostik masalah.

Skenario penyimpanan bersama dan terintegrasi

  • Penyimpanan tulis ganda

    • Memungkinkan sinkronisasi real-time antara Dataverse dan aplikasi keuangan dan operasi.
    • Membutuhkan manajemen peran dan kapasitas yang cermat untuk menghindari duplikasi atau penggunaan berlebihan.

  • Retensi jangka panjang (LTR)

    • Memindahkan data historis ke data lake terkelola (MDL).
    • Mengurangi penggunaan penyimpanan utama sekaligus mempertahankan kepatuhan dan akses analitik.
    • Terintegrasi dengan:
      • Pencarian Cepat (pencarian asli Dataverse)
      • OneLake (Analitik berbasis Fabric)
      • Synapse Link (analitik danau kustom)

Bagaimana data Anda tumbuh dari waktu ke waktu

Seiring dengan meningkatnya penggunaan Dataverse dan platform Dynamics 365 finance and operations oleh organisasi, pertumbuhan data menjadi tanda keberhasilan dan tantangan strategis. Apa yang dimulai sebagai himpunan data transaksional yang ramping dapat dengan cepat berkembang menjadi kumpulan data berlapis-lapis yang kompleks. Bagian ini mengeksplorasi lima pendorong utama pertumbuhan data dan implikasinya terhadap penyimpanan, kinerja, dan tata kelola.

Menggunakan pergudangan data pada data operasional

Untuk membuka wawasan dari sistem operasional, banyak organisasi menggunakan Azure Synapse Link, OneLake, atau ekspor data untuk mereplikasi data dari Dataverse dan aplikasi keuangan dan operasi ke dalam sistem analitis. Meskipun ini mendukung pelaporan lanjutan dan beban kerja AI, ini juga menyebabkan:

  • Penyimpanan redundan di seluruh lapisan operasional dan analitik

    Data sering diduplikasi antara lingkungan operasional dan analitis. Redundansi ini meningkatkan konsumsi penyimpanan secara keseluruhan dan dapat menyebabkan biaya yang lebih tinggi, terutama jika data historis disimpan tanpa batas waktu di kedua sistem.

  • Duplikasi skema dan overhead penerapan versi

    Untuk menjaga konsistensi antar sistem, organisasi harus mereplikasi perubahan skema—misalnya, bidang baru dan kolom yang diganti namanya—di seluruh lapisan operasional dan analitis. Ini menambah kompleksitas tata kelola data dan meningkatkan risiko penyimpangan skema, yang dapat memecah laporan atau model hilir.

  • Peningkatan retensi data historis untuk analisis tren

    Sistem analitik biasanya menyimpan data untuk waktu yang lebih lama untuk mendukung analisis tren, perkiraan, dan pelaporan resmi. Meskipun berharga, retensi jangka panjang ini dapat menyebabkan kumpulan data yang membengkak jika tidak dikelola dengan strategi pengarsipan dan pelapisan (tiering) yang tepat.

Pergudangan data sangat penting untuk analitik, tetapi tanpa kebijakan siklus hidup, pergudangan data dapat menggandakan atau melipatgandakan jejak penyimpanan Anda.

Menggunakan pencarian pada data

Fitur seperti pencarian Dataverse, pengindeksan Copilot, dan pencarian relevansi memerlukan pengindeksan data terstruktur dan tidak terstruktur dalam jumlah besar. Indeks ini seringkali:

  • Menggunakan penyimpanan log dan database

    Indeks pencarian disimpan dalam penyimpanan log dan database. Karena lebih banyak tabel dan bidang ditandai sebagai dapat dicari, ukuran indeks tumbuh secara proporsional. Hal ini dapat secara signifikan memengaruhi penggunaan penyimpanan secara keseluruhan, terutama di lingkungan dengan volume rekaman yang besar atau perubahan skema yang sering.

  • Bertahan bahkan untuk tabel yang tidak digunakan atau tidak digunakan lagi

    Bahkan ketika tabel tertentu tidak digunakan lagi atau tidak lagi digunakan secara aktif, indeks penelusuran terkaitnya dapat tetap ada kecuali dihapus secara eksplisit. Hal ini menyebabkan konsumsi penyimpanan yang tidak perlu dan dapat mempersulit perencanaan kapasitas.

  • Sering diduplikasi di seluruh lingkungan, seperti lingkungan pengembangan, pengujian, dan produksi

    Indeks pencarian biasanya direplikasi di seluruh lingkungan pengembangan, pengujian, dan produksi. Meskipun ini memastikan perilaku pencarian yang konsisten, ini juga melipatgandakan jejak penyimpanan, terutama ketika lingkungan sering dikloning atau disegarkan.

Pencarian meningkatkan kegunaan dan kesiapan AI, tetapi pembengkakan indeks adalah kontributor diam-diam untuk kelebihan penyimpanan.

Mengaktifkan pencatatan data

Log audit, log pelacakan plug-in, dan telemetri sangat penting untuk kepatuhan, penelusuran kesalahan, dan pemantauan. Namun, ingat poin berikut ini:

  • Penyimpanan log tumbuh secara linier dengan penggunaan dan jumlah pengguna.

    Data log tumbuh secara proporsional dengan:

    • Jumlah pengguna dan tingkat aktivitasnya
    • Volume transaksi dan integrasi
    • Kompleksitas logika bisnis seperti plug-in dan alur kerja

    Dalam lingkungan penggunaan tinggi, hal ini dapat menyebabkan perluasan tabel log yang cepat, menghabiskan kuota penyimpanan database dan log.

  • Default retensi seringkali terlalu panjang seperti 90 hari atau lebih.

    Secara default, banyak fitur pengelogan menyimpan data untuk waktu yang lama, seperti 90 hari atau lebih. Meskipun ini mendukung ketertelusuran jangka panjang, hal ini dapat mengakibatkan konsumsi penyimpanan yang tidak perlu, terutama ketika log tidak ditinjau atau diekspor secara aktif.

  • Log yang dihasilkan sistem ditagih kepada pelanggan Dataverse.

    Dalam Dataverse, log yang dihasilkan sistem, termasuk log audit dan log pelacakan plug-in, dihitung terhadap hak penyimpanan pelanggan. Ini berarti bahwa tanpa strategi pembersihan atau ekspor yang tepat, pengelogan dapat secara langsung berkontribusi pada kelebihan penyimpanan dan peningkatan biaya lisensi.

Pengelogan tidak dapat dinegosiasikan untuk industri yang diatur, tetapi harus dipasangkan dengan strategi retensi dan ekspor, seperti Azure Monitor atau Log Analytics.

Memiliki beberapa salinan lingkungan produksi

Untuk mendukung pengembangan, pengujian, pelatihan, dan pemecahan masalah, pelanggan sering membuat lingkungan sandbox atau kloning. Setiap salinan:

  • Mereplikasi data lengkap dan jejak indeks.
  • Dapat mencakup dependensi yang tidak jelas seperti indeks pencarian, log audit, dan metadata.
  • Jarang dibersihkan setelah digunakan.

Penyebaran lingkungan adalah pendorong utama biaya dan kompleksitas penyimpanan. Kebijakan tata kelola dan otomatisasi adalah kunci pengendalian.

Pengoptimalan kueri pada data

Seiring dengan pertumbuhan volume data dan responsivitas aplikasi menjadi penting, pelanggan dan ISV sering menerapkan berbagai teknik pengoptimalan kueri untuk meningkatkan performa di Dataverse dan Dynamics 365. Strategi-strategi ini sangat umum dalam skenario pelaporan, analitik, dan integrasi berat.

Untuk meningkatkan performa, pelanggan dan ISV sering membuat:

  • Indeks kustom dan tampilan terwujud

    Ini digunakan untuk mempercepat eksekusi kueri dengan gabungan atau agregasi prakomputasi. Semua itu membantu dalam skenario yang melibatkan filter kompleks atau himpunan data besar.

  • Tabel yang didenormalisasi untuk pelaporan

    Untuk menyederhanakan pelaporan dan mengurangi kompleksitas kueri, pengembang sering kali membuat versi data relasional yang diratakan. Tabel-tabel ini mengurangi kebutuhan akan gabungan runtime dan meningkatkan performa dasbor.

  • Lapisan atau agregat caching

    Data yang sering diakses terkadang diagregasi sebelumnya atau di-cache dalam tabel perantara atau penyimpanan eksternal untuk mengurangi beban pada database utama.

Meskipun ini meningkatkan daya tanggap, mereka juga:

  • Meningkatkan penggunaan penyimpanan

    Setiap lapisan pengoptimalan menyebabkan lebih banyak struktur data, baik itu salinan data yang ada dalam format yang didenormalisasi, tampilan yang telah dihitung sebelumnya, atau tabel cache. Struktur ini sering kali menduplikasi data yang sudah disimpan di tempat lain, yang mengarah ke jejak penyimpanan keseluruhan yang lebih besar. Di lingkungan dengan kuota penyimpanan ketat atau model lisensi berbasis biaya, seperti Dataverse, ini dapat dengan cepat meningkat menjadi kelebihan yang dapat dihindari.

  • Dapat menjadi tak bertuan seiring berkembangnya aplikasi

    Seiring berkembangnya aplikasi, beberapa artefak pengoptimalan mungkin tidak lagi direferensikan oleh laporan, dasbor, atau integrasi aktif. Objek tak bertuan ini terus menghabiskan penyimpanan dan bahkan dapat memperlambat operasi sistem, misalnya, selama pencadangan atau pengindeksan, jika tidak diidentifikasi dan dihapus. Tanpa audit rutin, mereka dapat terakumulasi tanpa disadari, merusak keuntungan kinerja yang dihasilkan untuk mendukung.

Pengoptimalan kueri sangat penting untuk skala tetapi harus diimbangi dengan kebersihan penyimpanan dan penyetelan berbasis telemetri.

Indeks dan dampaknya terhadap penyimpanan

Indeks sangat penting untuk meningkatkan performa kueri dan menggunakan pengambilan data cepat dalam himpunan data besar. Di Dataverse maupun aplikasi keuangan dan operasi Dynamics 365, indeks dibuat secara otomatis untuk kunci primer dan bidang yang sering dikueri, dan indeks kustom lainnya dapat ditentukan untuk mendukung skenario bisnis tertentu.

Meskipun indeks sangat penting untuk kinerja, indeks juga berdampak langsung pada konsumsi penyimpanan, yang seringkali diremehkan selama desain solusi.

Cara indeks menggunakan penyimpanan

  • Duplikasi data fisik: Setiap indeks menyimpan salinan kolom yang diindeks, bersama dengan penunjuk ke baris yang sesuai. Semakin banyak kolom dan baris yang diindeks, semakin besar ukuran indeksnya.

  • Pertumbuhan seiring volume data: Seiring bertambahnya tabel yang mendasarinya, begitu pula indeks. Dalam lingkungan transaksi tinggi, indeks dapat tumbuh dengan cepat, terutama pada tabel besar yang didenormalisasi atau tabel yang sering disisipkan dan diperbarui.

  • Beberapa indeks per tabel: Biasanya satu tabel memiliki beberapa indeks, misalnya untuk pencarian, pemfilteran, pengurutan, dan gabungan. Setiap indeks lainnya menambah jejak penyimpanan kumulatif.

  • Cari indeks di Dataverse: Fitur seperti pencarian Dataverse dan pengindeksan Copilot membuat indeks khusus yang menjangkau beberapa bidang dan tabel. Semua ini disimpan dalam tabel DataverseSearch dan dapat menghabiskan ruang yang signifikan, terutama saat digunakan di beberapa lingkungan seperti lingkungan pengembangan, pengujian, dan produksi.

  • Indeks yang dihasilkan sistem: Beberapa indeks dibuat secara otomatis oleh platform seperti untuk bidang pencarian atau hubungan. Ini dapat bertahan meskipun tabel terkait tidak digunakan lagi, kecuali secara eksplisit dihapus.

Implikasi penyimpanan

  • Peningkatan penyimpanan database dan log: Indeks berkontribusi pada penggunaan penyimpanan database dan log, yang dapat memengaruhi biaya lisensi dalam Dataverse.
  • Duplikasi lingkungan: Saat lingkungan disalin atau disegarkan, semua indeks diduplikasi, memperkuat penggunaan penyimpanan di seluruh lingkungan pengembangan, pengujian, dan produksi.
  • Overhead pemeliharaan: Indeks harus diperbarui saat data berubah, yang dapat meningkatkan latensi tulis dan konsumsi sumber daya.

Dampak sinkronisasi sisi server pada penyimpanan

Sinkronisasi sisi server di Dataverse memungkinkan integrasi email, janji temu, dan tugas yang mulus antara Microsoft Exchange dan Dataverse. Meskipun meningkatkan produktivitas dan otomatisasi, ini juga berkontribusi pada konsumsi penyimpanan dengan cara berikut.

  • Pembuatan rekaman aktivitas: Setiap email atau janji temu yang disinkronkan menghasilkan rekaman aktivitas di Dataverse, yang mencakup metadata, konten isi, dan potensi lampiran.
  • Penyimpanan lampiran: Jika lampiran tidak difilter atau di-offload, lampiran tersebut disimpan langsung di dalamnya Dataverse, meningkatkan penggunaan penyimpanan.
  • Kepatuhan dan retensi: Organisasi yang menggunakan sinkronisasi sisi server untuk pelacakan kepatuhan dapat menyimpan lebih banyak data daripada yang diperlukan, sehingga semakin meningkatkan penyimpanan.
  • Konten yang dilindungi: Bahkan email yang dilindungi Purview, meskipun visibilitas konten terbatas, masih menghasilkan rekaman tempat penampung yang menghabiskan ruang.

Untuk mengelola dampak ini, perusahaan harus menerapkan kebijakan retensi, mempertimbangkan untuk pemindahan lampiran, dan memantau volume rekaman aktivitas secara teratur.

Bagaimana cara mengelola penyimpanan yang terus berkembang?

Baik Anda sudah menghadapi kelebihan penyimpanan atau bertujuan untuk tetap menjadi yang terdepan, mengelola pertumbuhan data di Dataverse dan platform keuangan dan operasi Dynamics 365 memerlukan pendekatan yang disengaja dan didorong oleh kebijakan. Bagian ini menguraikan dua titik masuk strategis: remediasi reaktif dan tata kelola proaktif.

Ada dua kemungkinan skenario:

  1. Anda ingin secara proaktif menerapkan praktik terbaik untuk mengelola penyimpanan dan menghindari biaya tinggi di masa mendatang.
  2. Anda sudah berada dalam situasi di mana pengurangan ukuran dan biaya penyimpanan diperlukan.

Menerapkan praktik terbaik untuk mengelola ukuran dan biaya penyimpanan

Skenario 1: Anda ingin secara proaktif menerapkan praktik terbaik untuk mengelola penyimpanan

Jika Anda belum dalam mode krisis, sekarang saatnya menerapkan alat dan teknik untuk mengelola penyimpanan secara proaktif.

Mengonfigurasi analitik untuk data Anda

Seiring pertumbuhan organisasi, begitu pula kebutuhan untuk mengekstrak wawasan dari data operasional, tanpa memengaruhi kinerja aplikasi bisnis inti. Microsoft menawarkan beberapa cara untuk mengizinkan analitik dan Dataverse data keuangan dan operasi Dynamics 365 dengan mengintegrasikan dengan data lake atau gudang Anda sendiri.

Berikut adalah dua opsi ampuh untuk dipertimbangkan:

Pilihan 1. Gunakan Azure Synapse Link – bawa danau Anda sendiri

Azure Synapse Link memungkinkan Anda menghubungkan Dataverse langsung ke Ruang kerja Synapse atau Azure Data Lake Anda sendiri. Hal ini memungkinkan replikasi data operasional hampir real-time ke dalam lingkungan analitis, tanpa menulis alur ETL yang kompleks.

Manfaat:

  • Jalankan analitik Tingkat Lanjut dan model AI pada data langsung atau hampir langsung.
  • Hindari dampak performa pada sistem produksi Anda.
  • Gunakan alat yang sudah dikenal seperti T-SQL, Spark, atau Power BI untuk pelaporan.

Contoh kasus penggunaan: Perusahaan ritel menggunakan Synapse Link untuk menganalisis perilaku pembelian pelanggan di seluruh wilayah, menggabungkan data manajemen hubungan pelanggan Dataverse dengan data pasar eksternal di danau mereka sendiri.

Pilihan 2. Gunakan OneLake – analitik terpadu dengan Microsoft Fabric

OneLake, sebagai bagian dari Microsoft Fabric, menyediakan pengalaman data lake, terpadu di mana Anda dapat menyimpan dan menganalisis data dari berbagai sumber, termasuk Dataverse dan aplikasi keuangan dan operasi, tanpa duplikasi.

Manfaat:

  • Penyimpanan terpusat untuk semua beban kerja analitis.
  • Integrasi asli dengan Power BI, Synapse, dan layanan AI.
  • Tata kelola dan keamanan yang disederhanakan di seluruh domain data.

Contoh kasus penggunaan: Perusahaan jasa keuangan menggunakan OneLake untuk mengkonsolidasikan data operasional dari aplikasi keuangan dan operasi serta Dataverse dengan indikator ekonomi eksternal, memungkinkan pemodelan risiko, dan dasbor eksekutif secara real-time. Dengan melakukan ini, Anda dapat memisahkan data operasional dari sistem inti Anda dan memungkinkan analitik yang dapat diskalakan dan hemat biaya dengan mengekspor data tersebut ke lingkungan analitis mereka sendiri, tanpa menduplikasi beban kerja atau memengaruhi performa.

Alat dan teknik untuk mengurangi penyimpanan

Dataverse menawarkan beberapa alat dan strategi bawaan untuk membantu administrator mengelola penyimpanan secara efisien dan mempertahankan kinerja sistem.

Dataverse

Pembersihan lingkungan dan data

  • Hapus lingkungan yang tidak digunakan: Anda dapat menghapus lingkungan untuk memulihkan ruang penyimpanan dan menghilangkan informasi identitas pribadi (PII).
  • Pekerjaan penghapusan massal: Anda dapat menghapus data berikut secara massal:
    • Data kedaluwarsa atau data yang tidak relevan dengan bisnis.
    • Data pengujian atau data sampel yang tidak diperlukan.
    • Data yang tidak diimpor dengan benar dari sistem lain.

Pengoptimalan file dan tabel

Retensi jangka panjang (LTR) dan pengarsipan

Pengoptimalan indeks pencarian

  • Kurangi Dataverse pencarian: Anda dapat mengurangi ukuran penyimpanan dengan melakukan semua langkah dalam detail penyimpanan berbasis kapasitas Dataverse.
  • Mengurangi ukuran tabel DataverseSearch: Tabel DataverseSearch adalah penyimpanan kumulatif yang digunakan oleh indeks pencarian Dataverse. Bidang ini mencakup data dari semua bidang tabel yang dapat dicari, dapat diambil, dan difilter yang Anda indeks untuk lingkungan Anda. Anda dapat mengurangi ukuran tabel dengan menghilangkan kondisi Cari Kolom, Lihat Kolom, dan Filter untuk satu atau beberapa tabel. Anda dapat menonaktifkan pencarian Dataverse untuk menghapus semua data yang diindeks.
aplikasi keuangan dan operasi

Aplikasi Keuangan dan Operasi menyediakan opsi fleksibel untuk mengelola penyimpanan di seluruh lingkungan produksi dan sandbox.

Manajemen lingkungan

  • Batasi jumlah salinan produksi penuh: Anda dapat mengurangi konsumsi penyimpanan keseluruhan aplikasi Keuangan dan Operasi dengan menghapus salinan produksi penuh di lingkungan sandbox. Misalnya, jika ada lima salinan lingkungan produksi dalam sandbox, konsumsi penyimpanan Anda adalah jumlah produksi ditambah lima salinan lingkungan produksi dalam sandbox.
  • Memangkas data di lingkungan sandbox: Dengan memangkas data di lingkungan sandbox, Anda dapat mengurangi jejak penyimpanan secara keseluruhan. Anda dapat mengikuti metode di bawah ini untuk membersihkan data di sandbox.
    • Proses pemulihan menyediakan eksekusi pembukaan dan pemangkasan
    • Tulis T-SQL
    • Tulis X++
  • Lakukan penyalinan tanpa transaksi antar lingkungan: Salinan lingkungan untuk aplikasi keuangan dan operasi secara tradisional melibatkan duplikasi database penuh, termasuk konfigurasi, data master, dan transaksi, yang, meskipun berguna untuk penelusuran kesalahan, secara signifikan meningkatkan konsumsi penyimpanan di seluruh keuangan dan operasi dan Dataverse.

Pembersihan kustom dan manajemen log

  • Menulis rutinitas pembersihan kustom sesuai kebutuhan: Anda dapat menulis rutinitas pembersihan kustom sesuai kebutuhan bisnis Anda untuk membersihkan data yang tidak diinginkan.
  • Hindari menyimpan log: Anda dapat memindahkan SysDatabaseLog ke database yang kurang transaksional untuk mengurangi jejak penyimpanan secara keseluruhan.

Retensi jangka panjang dan pengarsipan

Rutinitas pembersihan bawaan

  • Rutinitas pembersihan: Di Dynamics 365 Finance dan Dynamics 365 Supply Chain Management, rutinitas pembersihan tersedia di berbagai modul. Rutinitas pembersihan memberikan gambaran umum tentang rutinitas yang saat ini tersedia. Setelah menyalin basis data sandbox, jalankan rutinitas pembersihan ini secara proaktif untuk menghapus tabel yang tidak perlu, seperti riwayat batch, log, dan riwayat transaksi ritel. Hapus data usang atau tidak relevan.
  • Mengarsipkan data transaksi kartu kredit: Menjelaskan pekerjaan pengarsipan di Dynamics 365 Commerce yang dapat membantu mengosongkan ruang dalam database dengan mengarsipkan token pembayaran kartu kredit.

Mengurangi ukuran dan biaya penyimpanan

Skenario 2: Anda sudah berada dalam situasi di mana pengurangan ukuran dan biaya penyimpanan diperlukan

Menilai apa yang menghabiskan penyimpanan

  • Gunakan pusat admin Power Platform dan laporan penyimpanan keuangan dan operasi untuk mengidentifikasi tabel, jenis file, dan log yang paling banyak dikonsumsi.
  • Gunakan telemetri, jika tersedia, untuk mengatribusikan penggunaan ke aplikasi, pengguna, atau unit bisnis tertentu.

Prioritaskan kandidat pembersihan

  • Fokus pada:
    • Tabel penahapan dan integrasi, seperti buffer penulisan ganda
    • Log audit: Simpan di penyimpanan Anda sendiri
    • Lingkungan atau sandbox yang tidak digunakan
    • Indeks pencarian dan metadata tak bertuan
    • Hapus apa yang tidak Anda perlukan, misalnya penghapusan massal

Gunakan Synapse Link dan OneLake untuk pelaporan analitik

  • Ekspor data analitik ke Synapse Link.
  • Gunakan OneLake untuk mengakses data dan data bisnis yang disimpan untuk tujuan pelaporan dan analisis.

Terapkan retensi jangka panjang (LTR)

  • Pindahkan data historis ke data lake terkelola (MDL) menggunakan kebijakan LTR.
  • Pertahankan akses pencarian dan analitik melalui Pencarian Cepat, Synapse Link, atau OneLake.

Gunakan kasus

Kasus penggunaan untuk manajemen penyimpanan di dalam Dataverse dan lingkungan keuangan dan operasi sangat penting untuk mengoptimalkan ruang database, meningkatkan kinerja sistem, dan memenuhi persyaratan peraturan. Di bawah ini adalah beberapa skenario umum yang menunjukkan bagaimana strategi ini dapat diterapkan:

  • Mengelola pertumbuhan data historis

    • Skenario: Sebuah bisnis telah ditayangkan di Dynamics 365 selama beberapa tahun dan telah mengumpulkan volume besar transaksi historis, dan lampiran.
    • Tindakan: Terapkan strategi retensi jangka panjang untuk mempertahankan data yang tidak aktif, mengurangi ukuran database utama, dan menjaga kepatuhan terhadap persyaratan audit.

  • Retensi data berbasis kepatuhan

    • Skenario: Pelanggan industri yang diatur harus menyimpan data keuangan atau pelanggan selama tujuh hingga sepuluh tahun dalam format anti gangguan.
    • Tindakan: Gunakan LTR untuk mempertahankan data baca-saja yang tidak dapat diubah sesuai dengan persyaratan hukum dan peraturan, sekaligus menjaga data bisnis tetap ramping tanpa mengorbankan analitik dan pelaporan.

  • Pengoptimalan indeks pencarian dan Copilot

    • Skenario:Pengindeksan Copilot dan Pencarian Dataverse diaktifkan di semua lingkungan, termasuk tabel yang tidak digunakan.
    • Tindakan: Audit bidang yang dapat dicari dan nonaktifkan pengindeksan untuk tabel bernilai rendah atau tidak digunakan lagi. Pantau ukuran tabel DataverseSearch dan optimalkan konfigurasi untuk mengurangi penyimpanan log dan database.

  • Manajemen audit dan telemetri

    • Skenario: Log pelacakan plug-in dan log audit berkembang pesat, menghabiskan penyimpanan dan memengaruhi performa.
    • Tindakan: Ekspor log ke sistem eksternal, seperti Azure Monitor, dan otomatiskan pembersihan entri lama untuk mempertahankan visibilitas tanpa membuat membengkaknya penyimpanan.

  • Gudang data dan integrasi analitik

    • Skenario: Organisasi mereplikasi data operasional ke Azure Synapse atau OneLake untuk analitik, yang mengarah ke penyimpanan duplikat.
    • Tindakan: Gunakan ekspor inkremental, terapkan filter, dan hindari replikasi himpunan data penuh untuk meminimalkan redundansi sekaligus memungkinkan wawasan yang kaya.

  • Mengurangi kelebihan penyimpanan

    • Skenario: Pelanggan menerima pemberitahuan tentang melebihi kuota penyimpanan mereka Dataverse, yang menyebabkan biaya yang tidak terduga.
    • Tindakan: Gunakan laporan kapasitas untuk mengidentifikasi tabel yang paling banyak dikonsumsi, membersihkan lingkungan usang, dan menghapus lampiran atau log yang tidak digunakan. Pertimbangkan untuk memindahkan data dingin—biasanya catatan historis atau jarang diakses—ke tingkat penyimpanan berbiaya lebih rendah.

  • Mengoptimalkan performa dalam tabel besar

    • Skenario: Proses penting bisnis melambat karena tabel besar.
    • Tindakan: Arsipkan catatan lama, bersihkan pekerjaan sistem, misalnya AsyncOperationBase dan WorkflowLogBase.

  • Manajemen siklus hidup lingkungan

    • Skenario: Lingkungan pengembangan dan pengujian dikloning dari produksi, menduplikasi semua data dan indeks.
    • Tindakan: Pangkas lingkungan sandbox setelah refresh, nonaktifkan pengindeksan pencarian yang tidak perlu, dan hapus data pengujian untuk mengurangi konsumsi penyimpanan yang berlebihan. Hapus lingkungan sandbox yang tidak digunakan untuk menghemat penyimpanan.

Studi kasus

Studi kasus 1: Mengurangi kelebihan penyimpanan melalui pembersihan indeks

Profil pelanggan: Perusahaan manufaktur global yang menggunakan Dynamics 365 untuk rantai pasokan dan aplikasi keuangan dan operasi.

Tantangan: Pelanggan mengalami kelebihan penyimpanan yang tidak terduga dan penurunan kinerja di lingkungan produksi mereka. Investigasi mengungkapkan bahwa beberapa indeks kustom dan tampilan materialisasi, yang dibuat selama implementasi awal, tidak lagi digunakan tetapi masih mengkonsumsi penyimpanan yang signifikan.

Solusi: Tim melakukan audit triwulanan terhadap semua indeks kustom dan menghapus indeks yang tidak direferensikan oleh kueri atau laporan aktif. Mereka juga menerapkan kebijakan tata kelola untuk meninjau permintaan indeks baru sebelum penyebaran.

Hasil:

  • Mengurangi penyimpanan database sebesar 28%.
  • Meningkatkan performa kueri sebesar 15%.
  • Menghindari proyeksi $12.000 per tahun dalam biaya penyimpanan lainnya.

Studi kasus 2: Mengarsipkan data historis untuk memenuhi sasaran kepatuhan dan kinerja

Profil pelanggan: Perusahaan jasa keuangan yang menggunakan Dataverse dan Dynamics 365 untuk onboarding pelanggan dan fungsionalitas manajemen kasus.

Tantangan: Perusahaan perlu menyimpan catatan pelanggan selama lebih dari tujuh tahun untuk memenuhi persyaratan peraturan, tetapi meningkatnya volume data yang tidak aktif memperlambat alur kerja aktif dan meningkatkan biaya penyimpanan.

Solusi: Pelanggan menerapkan strategi retensi jangka panjang menggunakan kemampuan pengarsipan Dataverse. Catatan yang tidak aktif dipindahkan ke tingkat penyimpanan baca-saja yang dioptimalkan biaya, sementara data aktif tetap berada di penyimpanan berperforma tinggi.

Hasil:

  • Mengarsipkan lebih dari 1,2 juta catatan.
  • Mengurangi ukuran database utama sebesar 40%.
  • Mempertahankan auditabilitas penuh dan kepatuhan terhadap kebijakan retensi.

Studi kasus 3: Menyederhanakan indeks penelusuran di seluruh lingkungan

Profil pelanggan: Organisasi ritel dengan banyak lingkungan Dataverse, termasuk lingkungan pengembangan, pengujian, dan produksi, yang mendukung solusi manajemen hubungan pelanggan yang didukung Copilot.

Tantangan: Indeks pencarian digunakan di semua lingkungan, termasuk tabel dan data pengujian yang tidak digunakan. Hal ini menyebabkan tabel DataverseSearch membengkak dan konsumsi penyimpanan yang tidak perlu.

Solusi: Tim meninjau bidang yang dapat dicari dan berhenti menggunakan pengindeksan pada tabel nonkritis di lingkungan pengembangan dan pengujian. Mereka juga mengotomatiskan pembersihan indeks selama penyegaran lingkungan.

Hasil:

  • Mengurangi penyimpanan indeks pencarian sebesar 35%.
  • Meningkatkan waktu refresh lingkungan sebesar 20%.
  • Menurunkan penggunaan penyimpanan log dan database secara keseluruhan.

Studi kasus 4: Menggunakan ekspor data untuk analitik tanpa menduplikasi penyimpanan

Profil pelanggan: Penyedia layanan kesehatan yang menggunakan Dynamics 365 dan Dataverse untuk keterlibatan dan penagihan pasien.

Tantangan: Tim analitik membutuhkan akses ke data operasional untuk analisis tren dan pemodelan AI, tetapi menduplikasi data ke gudang terpisah meningkatkan biaya dan kompleksitas penyimpanan.

Solusi: Pelanggan menggunakan Azure Synapse Link dengan ekspor bertahap dan penyimpanan berjenjang di OneLake. Mereka hanya menyimpan data analitik penting dan menerapkan kebijakan retensi untuk mengelola kedalaman historis.

Hasil:

  • Mengaktifkan analitik real-time tanpa memengaruhi sistem operasional.
  • Mengurangi penyimpanan redundan sebesar 45%.
  • Peningkatan tata kelola selama siklus hidup data analitis.

Kesimpulan

Manajemen penyimpanan yang efektif sangat penting untuk mempertahankan performa sistem dan mengoptimalkan pemanfaatan sumber daya di lingkungan Dynamics 365. Rutinitas pembersihan dan pekerjaan pengarsipan yang diuraikan dalam artikel ini memberikan solusi yang kuat untuk mengosongkan ruang database yang berharga dan merampingkan operasi. Dengan menggunakan alat seperti LTR dan teknik serupa ini, pelanggan dapat mengatasi tantangan penyimpanan umum dan membuat praktik manajemen data yang berkelanjutan. Selain itu, studi kasus dunia nyata menunjukkan kemanjuran pendekatan ini, menawarkan wawasan tentang aplikasi praktisnya. Mengadopsi strategi ini memberdayakan organisasi untuk secara proaktif mengelola kebutuhan penyimpanan mereka dan meningkatkan efisiensi secara keseluruhan.

Referensi

Pembersihan penyimpanan di Dataverse:

Pembersihan penyimpanan di keuangan dan operasi:

Kapasitas penyimpanan:

  • Last updated on