Siklus hidup data yang menyeluruh di Microsoft Fabric

Organisasi biasanya mengandalkan beberapa layanan yang terputus untuk menyerap, menyimpan, mengubah, menganalisis, dan memvisualisasikan data. Fragmentasi ini membuat silo data, meningkatkan overhead integrasi, dan memperlambat waktu untuk mendapatkan wawasan. Microsoft Fabric mengatasi tantangan ini dengan menyatukan setiap tahap siklus hidup data ke dalam satu platform yang dibangun di atas fondasi bersama.

Di pusat arsitektur ini adalah OneLake, satu data lake organisasi yang menyimpan semua data dalam format Delta Parquet terbuka. OneLake secara otomatis disediakan untuk setiap penyewa Fabric. Karena setiap beban kerja Fabric membaca dari dan menulis ke OneLake, data tidak berpindah antar mesin. Himpunan data yang diserap melalui alur, disempurnakan dalam buku catatan, dan divisualisasikan dalam laporan Power BI tetap berada di satu tempat sepanjang perjalanannya.

Siklus hidup data terdiri dari enam tahap, dan Fabric menyediakan alat yang dibuat khusus untuk masing-masing:

  • Mendapatkan data: Membawa data ke OneLake dari ratusan sumber secara real time, sesuai jadwal, melalui replikasi database berkelanjutan, atau dengan mereferensikan penyimpanan eksternal di tempat.

  • Menyimpan data: Menyimpan data dalam format penyimpanan yang dioptimalkan untuk beban kerja Anda, baik itu analitik big data yang fleksibel, kueri SQL terstruktur, analisis peristiwa real time, pemrosesan transaksional, atau pelaporan bisnis yang diatur.

  • Menyiapkan dan mengubah: Membersihkan, membentuk ulang, dan memperkaya data menggunakan transformasi visual berkode rendah atau notebook berfokus pada kode dan fungsi yang dapat digunakan kembali, tanpa memindahkan data dari OneLake.

  • Analisis dan latih: Bangun dan operasionalkan model pembelajaran mesin, jalankan analitik tingkat lanjut, kueri data secara terprogram, dan jelajahi wawasan melalui agen AI bahasa alami.

  • Melacak dan memvisualisasikan: Wawasan permukaan melalui laporan interaktif, memantau aliran data langsung di dasbor real-time, dan memicu tindakan otomatis saat kondisi terpenuhi.

  • Integrasi eksternal: Terhubung dengan aman ke layanan eksternal untuk otomasi, kolaborasi, alat pengembang, dan CI/CD.

Tata kelola mencakup setiap tahap siklus hidup data, membantu organisasi menemukan, mengelola, mengamankan, dan memantau data estate Fabric mereka.

Diagram berikut menunjukkan bagaimana tahapan ini terhubung dan item Fabric mana yang berpartisipasi di setiap tahap. Setiap tahap dibahas secara mendalam dalam artikel khusus. Gunakan tautan di setiap bagian untuk menjelajahi kemampuan dan alat yang tersedia pada tahap tersebut.

Diagram memperlihatkan siklus hidup data end-to-end di Microsoft Fabric, dari penyerapan data melalui penyimpanan, persiapan, analitik, dan visualisasi.

Dapatkan data

Berbagai jenis himpunan data berasal dari berbagai sumber data di berbagai skenario data, termasuk replikasi data, referensi penyimpanan eksternal, himpunan data batch, dan aliran data real time. Anda menyerap dan mengubah himpunan data ini melalui alat integrasi Fabric. Data tersimpan di OneLake, penyimpanan data terpusat untuk semua Fabric. Metode penyerapan utama meliputi:

  • Eventstreams untuk penyerapan dan perutean peristiwa real-time.
  • Alur data untuk batch dan pergerakan data terjadwal dengan lebih dari 200 konektor.
  • Pencerminan untuk replikasi berkelanjutan dari database operasional tanpa membangun alur ETL.
  • Pintasan untuk virtualisasi data tanpa perlu menyalin dari penyimpanan eksternal seperti Azure Data Lake, Amazon S3, atau Google Cloud Storage. Pintasan juga dapat merujuk pada data yang dibagikan dari ruang kerja Fabric atau penyewa lainnya.
  • Berbagi data OneLake untuk akses antar-penyewa ke himpunan data langsung yang diatur tanpa menyalin data melewati batas organisasi.

Untuk informasi selengkapnya, lihat Mendapatkan data ke Microsoft Fabric.

Menyimpan data

Setelah diserap, semua data mendarat di OneLake dalam format Delta Parquet terbuka. OneLake menyediakan satu data lake untuk seluruh organisasi Anda tanpa provisi terpisah yang diperlukan. Karena OneLake mempertahankan satu salinan data, Anda dapat berbagi set data yang diatur di seluruh tenant dengan menggunakan berbagi data OneLake tanpa perlu menduplikasi penyimpanan. Fabric menawarkan beberapa item penyimpanan yang dioptimalkan untuk beban kerja yang berbeda:

  • Lakehouse untuk penyimpanan data besar yang fleksibel yang menggabungkan file dan tabel Delta yang dikelola dengan endpoint analitik SQL otomatis.
  • Gudang untuk analisis relasional yang terstruktur dengan dukungan T-SQL penuh, prosedur tersimpan, dan transaksi ACID.
  • Eventhouse untuk analitik real time pada data streaming dan telemetri dengan menggunakan Kusto Query Language (KQL).
  • SQL Database untuk beban kerja transaksi dan analitik operasional.
  • Model semantik untuk logika bisnis, pengukuran, dan hierarki yang disusun yang mendukung pelaporan dan AI.

Untuk informasi selengkapnya, lihat Menyimpan data di Microsoft Fabric.

Menyiapkan dan mengubah data

Setelah berada di OneLake, Anda dapat mengubah data lebih lanjut dengan menggunakan mesin code-first atau alat low-code, semuanya dilakukan dalam Fabric tanpa pergerakan data antar mesin.

  • Dataflow Gen2 menyediakan antarmuka Power Query kode rendah untuk pembersihan, transformasi, dan pengayaan data.
  • Notebook menawarkan lingkungan seperti Jupyter untuk rekayasa data berbasis Python, T-SQL, dan Scala.
  • Fungsi Data Pengguna memungkinkan Anda menyematkan logika Python kustom yang dapat digunakan kembali yang dapat dipanggil dari alur, buku catatan, dan aturan Aktivator.

Untuk informasi selengkapnya, lihat Menyiapkan dan mengubah data.

Menganalisis data dan melatih model

Gunakan data yang disiapkan untuk melatih model ML dan melakukan analitik tingkat lanjut. Beban kerja Data Science Fabric menyediakan lingkungan untuk membangun, melatih, dan mengoperasionalkan model ML:

  • Eksperimen MLflow melacak sesi pelatihan model dengan pencatatan otomatis hiperparameter, metrik, dan item.
  • Model ML terdaftar dalam registri bertenaga MLflow untuk pengaturan versi, pelacakan metadata, dan reproduksibilitas.
  • Agen data dan agen operasi memungkinkan Anda berinteraksi dengan data dengan menggunakan bahasa alami dan bertindak berdasarkan kondisi dan pola yang ditemukan.
  • API GraphQL menyediakan lapisan akses data yang fleksibel bagi pengembang untuk mengkueri beberapa sumber data Fabric melalui satu titik akhir.
  • Copilot untuk Power BI menggunakan AI generatif untuk analisis ad-hoc, pembuatan DAX, dan eksplorasi data bahasa alami.

Untuk informasi selengkapnya, lihat Menganalisis dan melatih data di Microsoft Fabric.

Melacak dan memvisualisasikan data

Gunakan data yang disiapkan dan dimodelkan untuk membuat laporan, dasbor, dan pemberitahuan real time:

  • Laporan Power BI menyediakan visualisasi data interaktif yang dibangun berdasarkan model semantik, dengan distribusi di seluruh aplikasi Microsoft 365 seperti Teams, SharePoint, PowerPoint, dan Excel.
  • Alur tugas translitikal memungkinkan pengguna mengambil tindakan langsung dari laporan Power BI dengan memanggil fungsi data pengguna.
  • Dasbor Intelegensi Waktu Nyata memantau data streaming dengan latensi sub-detik menggunakan kueri KQL dan pembuatan visual.
  • Aktivator mendeteksi kondisi dalam data streaming dan memicu tindakan otomatis seperti pemberitahuan Teams, email, atau alur Power Automate.
  • Fabric IQ memetakan data perusahaan ke ontologi bisnis bersama dan memungkinkan agen AI untuk beralasan atas data Anda dengan konteks bisnis penuh.

Untuk informasi selengkapnya, lihat Melacak dan memvisualisasikan data.

Kelola data

Katalog OneLake adalah tempat utama untuk penemuan, tata kelola, dan keamanan di seluruh data estate Fabric. Bagian Govern menyediakan wawasan tentang aset data dan tindakan yang direkomendasikan untuk meningkatkan tata kelolanya. Microsoft Purview menyediakan perlindungan informasi, pencegahan kehilangan data, audit, serta kemampuan risiko dan kepatuhan untuk data Fabric yang didukung.

Integrasi eksternal

Fabric terintegrasi dengan sistem eksternal untuk penyerapan data dan pengiriman wawasan:

  • Power Automate dan Data Activator mengaktifkan otomatisasi alur kerja real time berdasarkan kondisi data.
  • Integrasi Microsoft 365 memunculkan wawasan di Teams, SharePoint, PowerPoint, dan Excel.
  • REST API dan pustaka klien menyediakan akses terprogram ke sumber daya Fabric.
  • MICROSOFT Entra ID menangani autentikasi, akses bersyarah, dan dukungan perwakilan layanan.
  • Integrasi Git dengan Azure DevOps dan GitHub memungkinkan kontrol versi dan CI/CD untuk item Fabric.

Untuk informasi selengkapnya, lihat Integrasi eksternal dan konektivitas platform.

Bahasa alami dan dukungan AI

Dukungan bahasa alami hadir dalam bentuk Power BI Copilot, Data Agents, dan Operations Agents, yang dapat beralasan atas data perusahaan di OneLake dan menghasilkan jawaban berdasarkan item data yang dapat diakses pengguna. Anda dapat mengintegrasikan Agen Data ke dalam Microsoft 365 Copilot, Microsoft Foundry, dan Copilot Studio sehingga pengguna bisa mendapatkan wawasan dari OneLake dalam alur kerja yang ada di berbagai aplikasi.

Konten terkait

  • Last updated on