Bagikan melalui

Menggunakan database SQL dalam ETL terbalik

Berlaku untuk:✅Database SQL di Microsoft Fabric

Artikel ini menjelaskan cara menggunakan database SQL di Fabric sebagai target ETL terbalik dalam data estate berbasis Fabric. Ini memberikan panduan arsitektur, pola operasional, dan pertimbangan implementasi untuk memindahkan data yang dikumpulkan dari sumber analitik (seperti Microsoft Fabric Data Warehouse atau Fabric Lakehouse) ke dalam database SQL di Fabric untuk konsumsi operasional oleh aplikasi, API, dan pengalaman real time.

Apa itu ETL terbalik dalam Fabric?

Banyak pelanggan telah menginvestasikan waktu dan upaya yang signifikan dalam membuat proses ekstraksi, transformasi, pemuatan (ETL) untuk mengubah data operasional mentah menjadi data analitik yang lebih halus yang dapat digunakan untuk pelaporan bisnis. Hasil akhir dari proses ETL biasanya adalah gudang penyimpanan analitik atau lakehouse yang dapat diakses oleh lapisan pelaporan seperti Power BI. Arsitektur ini melayani pengguna bisnis dengan baik, tetapi pelaporan relatif statis dan wawasan hanya dapat diturunkan oleh intervensi manusia. Dengan menggunakan reverse ETL, Anda dapat mengumpankan data yang diubah kembali ke sistem operasional sehingga aplikasi dan agen dapat memperoleh wawasan dari data yang dianalisis ini secara real time. ETL terbalik mendorong data dari fakta dan dimensi di penyimpanan analitik ke dalam lapisan penyajian data di mana data tersebut dapat diakses melalui titik akhir seperti GraphQL atau langsung melalui kueri TDS (Tabular Data Stream).

Meskipun Anda dapat menghubungkan aplikasi operasional langsung ke gudang atau lakehouse, penyimpanan data ini dirancang untuk beban kerja analitis. Penyimpanan data operasional, seperti database SQL di Fabric, dirancang untuk mendukung kueri transaksional, dan mereka memberikan performa dan skalabilitas yang lebih baik untuk beban kerja operasional. Database operasional juga memberi Anda opsi untuk lebih memperkaya data dengan penempatan vektor dan metadata tambahan untuk memfasilitasi pencarian vektor dan hibrida serta pengambilan-diperkuat generasi (RAG).

  • Dalam pola ini, gudang atau lakehouse tetap menjadi sistem catatan analitik.
  • Database SQL di Fabric berfungsi sebagai penyimpanan operasional yang menawarkan latensi rendah, pengindeksan yang disempurnakan, batasan data dan hubungan yang ketat, dan SLA yang diharapkan oleh tim aplikasi.

Sasaran reverse ETL umum

Target ETL terbalik umum biasanya mewakili irisan data bernilai tinggi yang dikumpulkan yang dapat dikonsumsi sistem operasional dengan transformasi minimal. Target ini dirancang untuk memberikan akses latensi rendah ke data tepercaya sambil mempertahankan logika bisnis yang diterapkan di lapisan analitik. Contohnya meliputi:

  • Data Pelanggan dan Pengguna (misalnya, metrik keterlibatan seperti aktivitas sesi, penggunaan fitur, dan interaksi)
  • Data Penjualan dan Pemasaran (misalnya, menilai metrik seperti propensitas untuk dibeli, skor keterlibatan, kemungkinan untuk dikonversi)
  • Data operasional dan Transaksional (misalnya, data pesanan dan inventori seperti tingkat stok, status pesanan, dan waktu pengiriman)
  • Data turunan AI/ML (misalnya, rekomendasi produk yang dipersonalisasi, skor prediktif seperti risiko churn atau propensitas upsell, atau analisis sentimen)

Mekanisme pergerakan data

Proses dimulai dengan menentukan data sumber Anda, mengatur tujuan, lalu memilih mekanisme pergerakan data. Pilih satu atau beberapa mekanisme berikut untuk memindahkan data dari penyimpanan analitik Anda ke database SQL di Fabric.

Tip

Sebagai aturan umum, gunakan:

  • Pipeline untuk penyalinan sederhana dan pemrosesan terjadwal.
  • Aliran data Gen2 untuk transformasi kode rendah.
  • Spark untuk pemrosesan skala kompleks dan besar (termasuk pembelajaran mesin).
  • T-SQL lintas item di mana tersedia untuk mempertahankan operasi berfokus pada SQL, misalnya, menghubungkan tabel dalam database SQL ke tabel di gudang atau endpoint analitik SQL.
Mekanisme Gunakan saat Kekuatan Pertimbangan
Jalur Data Fabric Anda memerlukan beban terkelola dan dapat diulang (batch atau mikro-batch) dari operasi penyalinan data Integrasi kelas satu; mendukung penandaan air dan prosedur yang tersimpan Keserentakan; menskalakan basis data SQL selama pemuatan
Dataflow Gen2 Anda memerlukan transformasi data kode rendah dan logika proses yang ditingkatkan Ramah bisnis; mendukung pembentukan dan pembersihan kolom Throughput yang lebih rendah untuk volume besar; merencanakan pemartisian
Spark (buku catatan/pekerjaan) Anda memerlukan transformasi berbasis kode yang kompleks dan pembaharuan ulang skala besar Kontrol kode penuh; pembacaan Delta yang efisien; Dukungan tulis JDBC Autentikasi dan batching; hindari transaksi besar
Kueri T-SQL lintas-item Anda memerlukan pergerakan SQL dalam database antara item Fabric Pipa minimal; SQL-native; mudah dijadwalkan

Arsitektur referensi: membalikkan ETL ke database SQL di Fabric

Arsitektur referensi untuk reverse ETL di Fabric menyatukan komponen penting yang diperlukan untuk mengoperasikan data analitik yang terkurasi. Ini menunjukkan bagaimana data mengalir dari sumber analitik tepercaya melalui lapisan transformasi menjadi database SQL terstruktur. Database operasional berfungsi sebagai antarmuka untuk sistem hilir. Pola ini memastikan bahwa aplikasi, API, dan alat pelaporan dapat mengakses data berlatensi rendah dan berkualitas tinggi tanpa mengorbankan integritas sistem analitik rekaman.

Komponen inti dari alur ini meliputi:

  • Sumber: Himpunan data yang dikumpulkan dari Fabric Data Warehouse atau Lakehouse (Delta).
  • Transformasi: Transformasi ETL terbalik diterapkan menggunakan Alur, Aliran Data Gen2, Spark, atau T-SQL lintas item.
  • Target: Database SQL di Fabric dengan pendaratan yang ditentukan, riwayat (opsional), karantina, dan skema penyajian.
  • Konsumen: Aplikasi melalui GraphQL atau TDS, API, dan Power BI untuk dasbor dan pelaporan real time.

Diagram arsitektur referensi ETL terbalik yang melibatkan database SQL di Fabric.

Components

Komponen berikut terlibat dalam alur umum untuk menggunakan database SQL di Fabric sebagai target ETL terbalik.

Skema penyajian dan pendaratan

  • Petakan data sumber ke skema pendaratan yang sesuai dalam database SQL di Fabric.
  • Secara opsional pertahankan history skema untuk auditabilitas.
  • quarantine Gunakan skema untuk penolakan (masalah kualitas data).
  • serving Tentukan skema untuk konsumsi hilir dengan batasan dan pengindeksan yang sesuai.

Orkestrasi

  • Jadwalkan transfer di Fabric menggunakan Pipeline, Aliran Data, atau Spark Jobs.
  • Gunakan penjadwalan bawaan untuk mengonfigurasi irama, waktu mulai, dan zona waktu.
  • Jadwalkan Spark Notebooks melalui portal Fabric atau API.
  • Pantau proses end-to-end di hub Pemantauan Fabric.

Konsumsi

  • Mengekspos data melalui titik akhir GraphQL atau T-SQL melalui TDS dengan menggunakan pustaka klien seperti ADO.NET (dan lainnya).
  • Buat dasbor dan visualisasi Power BI langsung melalui database SQL di Fabric.

Tata kelola dan keamanan

  • Gunakan ID Microsoft Entra untuk autentikasi dan otorisasi.
  • Gabungkan izin peran ruang kerja Fabric dan izin SQL untuk kontrol terperinci.
  • Secara opsional, konfigurasikan kunci yang dikelola pelanggan untuk enkripsi data tidak aktif.
  • Mengaudit akses dan mengamankan data saat transit dengan menggunakan Private Link.

Pelayanan aplikasi

Setelah Anda mengkurasi dan memperbarui data dalam database SQL, alihkan fokus untuk menyediakan akses yang cepat dan andal bagi pengguna operasional. Dalam konteks ini, penyajian aplikasi berarti mengekspos himpunan data tepercaya melalui antarmuka latensi rendah yang selaras dengan pola aplikasi modern.

Setelah data mendarat dan disegarkan dalam database SQL di Fabric:

  • Untuk melayani beban kerja operasional, ekspos data melalui titik akhir GraphQL atau protokol TDS , untuk digunakan melalui ADO.NET dan pustaka klien lainnya. Misalnya, berikan informasi produk, rantai pasokan, atau kasus penggunaan layanan pelanggan.
  • Pasangkan himpunan data dengan Power BI untuk memberikan dasbor real-time dan analitik layanan mandiri.

Pertimbangan khusus terkait fabric

Database SQL di Fabric menggunakan SQL Database Engine yang sama dengan Azure SQL Database dan dikontrol, diamankan, ditagih, dan dioperasikan melalui portal Fabric. Ini juga memiliki fitur pencerminan bawaan ke dalam file Delta/Parquet yang disimpan di Microsoft OneLake dan dapat diakses melalui endpoint analitik SQL. Karena berada di lingkungan Microsoft Fabric, ada beberapa pertimbangan yang perlu dipertimbangkan saat Anda membuat desain:

  • Paritas fitur: Database SQL di Fabric berkonvergensi dengan Azure SQL Database. Validasi fitur tertentu yang Anda perlukan untuk memastikan kecocokan untuk tujuan, dan memantau pembaruan peta jalan.
  • Model keamanan: Database SQL di Fabric hanya menggunakan autentikasi MICROSOFT Entra ID . Rencanakan identitas untuk alur, aliran data, dan pekerjaan Spark yang sesuai.
  • Replikasi: Database SQL di Fabric secara otomatis mereplikasi data baca-saja ke OneLake. Sinkronisasi ini berguna untuk kebutuhan pelaporan dan analisis, sementara database tetap tersedia untuk beban kerja operasional baca/tulis.

Konten terkait

  • Last updated on