Bagikan melalui

Menggunakan database SQL sebagai penyimpanan data operasional

Berlaku untuk:✅Database SQL di Microsoft Fabric

Artikel ini menguraikan cara menerapkan penyimpanan data operasional (ODS) menggunakan database SQL di Fabric. Ini memberikan panduan arsitektur, pola desain, karakteristik beban kerja, dan pertimbangan khusus Fabric untuk membangun ODS yang aman, berkinerja, dan diatur.

Diagram kasus penggunaan untuk database SQL di Fabric sebagai penyimpanan data operasional (ODS).

Apa itu ODS?

Penyimpanan data operasional (ODS) adalah tempat penyimpanan berorientasi subjek, terintegrasi, dan hampir real-time yang mengonsolidasikan data dari beberapa sistem operasional ke dalam model yang dimodelkan secara ringan dan dinormalisasi - biasanya dalam skema yang dinormalisasi. Ini mendukung pelaporan operasional, analitik ringan, penyajian API, dan penyebaran hilir ke lapisan analitik seperti Fabric Warehouse atau Fabric Lakehouse.

ODS bukan sistem pemrosesan transaksi online (OLTP) atau gudang data dimensional.

Sebaliknya, ini berfungsi sebagai "kebenaran yang panas dan terpadu" selama N menit, jam, atau hari terakhir, berfungsi di antara sistem sumber dan platform analitik.

Karakteristik utama ODS

Penyimpanan data operasional (ODS) di Microsoft Fabric dirancang untuk memberikan tampilan data operasional yang hampir real-time dengan jaminan tata kelola dan performa yang kuat.

  • Ini menyerap data dari beberapa sistem sumber, dengan latensi rendah.
  • Skema biasanya dinormalisasi dalam bentuk normal ketiga (3NF), untuk mendukung fleksibilitas dan keterlacakan.
  • Kualitas data diberlakukan melalui deduplikasi, resolusi identitas, dan penanganan rekaman yang terlambat tiba atau dihapus sementara, menciptakan fondasi yang andal untuk pelaporan operasional dan analitik hilir.
  • Pola penyajian termasuk kueri berbasis SQL, dasbor operasional, pemberitahuan, dan API, sementara fitur tata kelola Fabric memastikan kepatuhan dan keamanan di seluruh siklus hidup data.

Database SQL di Fabric berfungsi sebagai saluran yang aman dan efisien antara data operasional dan platform analitik.

Components

Komponen berikut terlibat dalam penggunaan database SQL di Fabric sebagai penyimpanan data operasional:

  • Batasan dan kunci: Terapkan logika bisnis dan integritas referensial (kunci alami, kunci pengganti, kunci asing).
  • Resolusi identitas: Deduplikasi di seluruh sumber; terapkan aturan penyintas.
  • Sajian: Mengekspos titik akhir GraphQL dan/atau membangun dasbor Power BI.

Praktik terbaik penyerapan dan beban kerja

Membangun ODS pada database SQL di Fabric membutuhkan strategi penyerapan yang menyeimbangkan kesegaran, keandalan, dan performa.

  • Beban batch dan inkremental biasanya diorkestrasi melalui Fabric Data Pipelines menggunakan konektor yang mendukung penangkapan data perubahan, dengan logika watermarking dan coba lagi untuk memastikan konsistensi.
    • Optimalkan konkurensi pipeline untuk memungkinkan skalabilitas database SQL selama beban puncak sambil memenuhi tujuan tingkat layanan (SLA) untuk kesegaran data.
    • Watermarking adalah konsep penting dalam proses penyalinan bertahap. Ini membantu Anda dengan mudah mengidentifikasi di mana beban inkremental terakhir berhenti.
  • Lakukan transformasi berat di hulu di Dataflow Gen2 atau Spark Notebooks. Mengkhususkan lapisan SQL untuk operasi akhir MERGE yang memberlakukan batasan dan mempertahankan performa seperti OLTP.
  • Gunakan pola desain idempoten yang menggabungkan deteksi perubahan, watermarking, T-SQL MERGE, dan tabel kontrol untuk restart yang aman dan ketahanan operasional.

Mesin dan lingkungan

Database SQL di Fabric didasarkan pada SQL Database Engine yang sama dengan Azure SQL Database, memberikan pengalaman T-SQL yang akrab dengan kompatibilitas penuh untuk alat klien standar.

Dengan menggunakan database SQL di Microsoft Fabric, Anda dapat membuat alur kerja end-to-end dari penyerapan ke analitik dengan menggunakan fitur lain di Microsoft Fabric:

  • Alur Data
  • Aliran Data Gen2
  • Notebooks
  • Real-Time Kecerdasan
  • Power BI
  • Semua dengan DevOps yang disederhanakan dengan menggunakan CI/CD berbasis Git

Konten terkait

  • Last updated on