Apa itu pergudangan data di Microsoft Fabric?

Artikel
09/03/2023

Berlaku untuk: Titik Akhir dan Gudang SQL di Microsoft Fabric

Microsoft Fabric memberi pelanggan produk terpadu yang membahas setiap aspek data estate mereka dengan menawarkan platform Data, Analytics, dan AI yang berpusat pada lake dan terbuka. Fondasi Microsoft Fabric memungkinkan pengguna pemula hingga profesional berpengalaman untuk memanfaatkan beban kerja Database, Analitik, Olahpesan, Integrasi Data, dan Kecerdasan Bisnis melalui pengalaman SaaS bersama yang kaya, mudah digunakan dengan Microsoft OneLake sebagai pusatnya.

Penting

Microsoft Fabric sedang dalam pratinjau.

Pengalaman SaaS yang berpusat pada danau yang dibangun untuk tingkat keterampilan apa pun

Microsoft Fabric memperkenalkan gudang data sentris lake yang dibangun di atas mesin pemrosesan terdistribusi tingkat perusahaan yang memungkinkan performa terdepan industri dalam skala besar sambil menghilangkan kebutuhan akan konfigurasi dan manajemen. Melalui pengalaman SaaS yang mudah digunakan yang terintegrasi erat dengan Power BI untuk analisis dan pelaporan yang mudah, Gudang di Microsoft Fabric menyatukan dunia data lake dan gudang dengan tujuan sangat menyederhanakan investasi organisasi dalam real estat analitik mereka. Beban kerja pergudangan data mendapat manfaat dari kemampuan mesin SQL yang kaya melalui format data terbuka, memungkinkan pelanggan untuk fokus pada persiapan, analisis, dan pelaporan data melalui satu salinan data mereka yang disimpan di Microsoft OneLake mereka.

Gudang dibangun untuk tingkat keterampilan apa pun - dari pengembang warga hingga pengembang profesional, DBA, atau insinyur data. Serangkaian pengalaman yang kaya yang dibangun ke dalam ruang kerja Microsoft Fabric memungkinkan pelanggan untuk mengurangi waktu mereka ke wawasan dengan memiliki himpunan data yang mudah dikonsumsi dan selalu terhubung yang terintegrasi dengan Power BI dalam mode DirectLake. Ini memungkinkan performa terdepan industri kedua hingga tidak ada yang memastikan laporan pelanggan selalu memiliki data terbaru untuk analisis dan pelaporan. Kueri lintas database dapat dimanfaatkan untuk memanfaatkan beberapa sumber data dengan cepat dan lancar yang mencakup beberapa database untuk wawasan cepat dan duplikasi data nol.

Gudang virtual dengan kueri lintas database

Microsoft Fabric memberi pelanggan kemampuan untuk berdiri di gudang virtual yang berisi data dari hampir semua sumber dengan menggunakan pintasan. Pelanggan dapat membangun gudang virtual dengan membuat pintasan ke data mereka di mana pun ia berada. Gudang virtual dapat terdiri dari data dari OneLake, Azure Data Lake Storage, atau penyimpanan vendor cloud lainnya dalam satu batas dan tanpa duplikasi data.

Buka nilai dengan mulus dari berbagai sumber data melalui kekayaan kueri lintas database di Microsoft Fabric. Kueri lintas database memungkinkan pelanggan untuk dengan cepat dan mulus memanfaatkan beberapa sumber data untuk wawasan cepat dan tanpa duplikasi data. Data yang disimpan di berbagai sumber dapat dengan mudah digabungkan memungkinkan pelanggan untuk memberikan wawasan kaya yang sebelumnya memerlukan upaya signifikan dari tim integrasi dan teknik data.

Kueri lintas database dapat dibuat melalui editor Visual Query, yang menawarkan jalur tanpa kode ke wawasan melalui beberapa tabel. Editor Kueri SQL, atau alat lain yang sudah dikenal seperti SQL Server Management Studio (SSMS), juga dapat digunakan untuk membuat kueri lintas database.

Manajemen beban kerja otonom

Gudang di Microsoft Fabric memanfaatkan mesin pemrosesan kueri terdistribusi terkemuka di industri, yang memberi pelanggan beban kerja yang memiliki batas isolasi alami. Tidak ada tombol untuk berubah dengan alokasi otonom dan melepaskan sumber daya untuk menawarkan performa terbaik dalam berkembang biak dengan skala otomatis dan konkurensi bawaan. Isolasi sejati dicapai dengan memisahkan beban kerja dengan karakteristik yang berbeda, memastikan bahwa pekerjaan ETL tidak pernah mengganggu analitik ad hoc dan melaporkan beban kerja mereka.

Format terbuka untuk interoperabilitas mesin yang mulus

Data di Gudang disimpan dalam format file parket dan diterbitkan sebagai Delta Lake Logs, memungkinkan transaksi ACID dan interoperabilitas lintas mesin yang dapat dimanfaatkan melalui pengalaman Microsoft Fabric lainnya seperti Spark, Pipelines, Power BI, dan Azure Data Explorer. Pelanggan tidak perlu lagi membuat beberapa salinan data mereka untuk memungkinkan profesional data dengan set keterampilan yang berbeda. Teknisi data yang terbiasa bekerja di Python dapat dengan mudah memanfaatkan data yang sama yang dimodelkan dan dilayani oleh profesional gudang data yang terbiasa bekerja di SQL. Secara paralel, profesional BI dapat dengan cepat dan mudah memanfaatkan data yang sama untuk membuat serangkaian visualisasi yang kaya di Power BI dengan performa rekaman dan tanpa duplikasi data.

Pemisahan penyimpanan dan komputasi

Komputasi dan penyimpanan dipisahkan di Gudang yang memungkinkan pelanggan untuk menskalakan mendekati secara instan untuk memenuhi tuntutan bisnis mereka. Ini memungkinkan beberapa mesin komputasi untuk membaca dari sumber penyimpanan yang didukung dengan keamanan yang kuat dan jaminan transaksional ACID penuh.

Dengan mudah menyerap, memuat, dan mengubah dalam skala besar

Data dapat diserap ke dalam Gudang melalui Alur, Aliran Data, kueri lintas database, atau perintah COPY INTO. Setelah diserap, data dapat dianalisis oleh beberapa grup bisnis melalui fungsionalitas seperti berbagi dan kueri lintas database. Waktu untuk wawasan dipercepat melalui pengalaman BI yang terintegrasi penuh melalui pemodelan data grafis yang mudah digunakan pengalaman web untuk kueri dalam Editor Gudang.

pengalaman Data Warehousing di Microsoft Fabric

Bagian ini memberikan gambaran umum tentang dua pengalaman pergudangan data yang berbeda di Microsoft Fabric: Titik Akhir SQL Lakehouse dan Gudang.

Titik Akhir SQL Lakehouse

Titik Akhir SQL adalah gudang yang secara otomatis dihasilkan dari Lakehouse di Microsoft Fabric. Pelanggan dapat beralih dari tampilan "Lake" Lakehouse (yang mendukung rekayasa data dan Apache Spark) ke tampilan "SQL" dari Lakehouse yang sama. Titik Akhir SQL bersifat baca-saja, dan data hanya dapat dimodifikasi melalui tampilan "Lake" Lakehouse menggunakan Spark.

Melalui Titik Akhir SQL Lakehouse, pengguna memiliki subset perintah SQL yang dapat menentukan dan mengkueri objek data tetapi tidak memanipulasi data. Anda dapat melakukan tindakan berikut di Titik Akhir SQL:

Kueri tabel yang mereferensikan data di folder Delta Lake Anda di lake.
Buat tampilan, TVF sebaris, dan prosedur untuk merangkum semantik dan logika bisnis Anda di T-SQL.
Mengelola izin pada objek.

Di ruang kerja Microsoft Fabric, Titik Akhir SQL diberi label "Titik Akhir SQL" di bawah kolom Jenis . Setiap Lakehouse memiliki Titik Akhir SQL otomatis yang dapat dimanfaatkan melalui alat SQL yang sudah dikenal seperti SQL Server Management Studio, Azure Data Studio, Editor Kueri Microsoft Fabric SQL.

Untuk mulai menggunakan Titik Akhir SQL, lihat Lebih baik bersama-sama: lakehouse dan gudang di Microsoft Fabric.

Gudang Data Synapse

Di ruang kerja Microsoft Fabric, Gudang Data atau Gudang Synapse dilabeli sebagai 'Gudang' di bawah kolom Jenis . Gudang mendukung transaksi, DDL, dan kueri DML.

Tidak seperti Titik Akhir SQL yang hanya mendukung kueri baca-saja dan pembuatan tampilan dan TVF, Gudang memiliki dukungan DDL dan DML transaksi penuh dan dibuat oleh pelanggan. Gudang diisi oleh salah satu metode penyerapan data yang didukung seperti COPY INTO, Pipelines, Dataflows, atau opsi penyerapan lintas database seperti CREATE TABLE AS SELECT (CTAS), INSERT.. SELECT, atau SELECT INTO.

Untuk mulai menggunakan Gudang, lihat Membuat gudang di Microsoft Fabric.

Bandingkan Gudang dan Titik Akhir SQL Lakehouse

Bagian ini menjelaskan perbedaan antara Gudang dan Titik Akhir SQL di Microsoft Fabric.

Titik Akhir SQL adalah gudang baca-saja yang secara otomatis dihasilkan setelah dibuat dari Lakehouse di Microsoft Fabric. Tabel Delta yang dibuat melalui Spark di Lakehouse secara otomatis dapat ditemukan di Titik Akhir SQL sebagai tabel. Titik Akhir SQL memungkinkan teknisi data untuk membangun lapisan relasional di atas data fisik di Lakehouse dan mengeksposnya ke alat analisis dan pelaporan menggunakan string koneksi SQL. Analis data kemudian dapat menggunakan T-SQL untuk mengakses data Lakehouse menggunakan pengalaman gudang. Gunakan Titik Akhir SQL untuk merancang gudang Anda untuk kebutuhan BI dan menyajikan data.

Gudang Data atau GudangSynapse adalah gudang data 'tradisional' dan mendukung kemampuan T-SQL transaksi penuh seperti gudang data perusahaan. Dibandingkan dengan Titik Akhir SQL, di mana tabel dan data dibuat secara otomatis, Anda sepenuhnya mengontrol pembuatan tabel, memuat, mengubah, dan mengkueri data Anda di gudang data menggunakan portal Microsoft Fabric atau perintah T-SQL.

Untuk informasi selengkapnya tentang mengkueri data Anda di Microsoft Fabric, lihat Mengkueri Titik Akhir SQL atau Gudang di Microsoft Fabric.

Membandingkan kemampuan pergudangan yang berbeda

Untuk melayani kasus penggunaan analitik Anda dengan terbaik, ada berbagai kemampuan yang tersedia untuk Anda. Umumnya, gudang dapat dianggap sebagai superset dari semua kemampuan lainnya, memberikan hubungan sinergis antara semua penawaran analitik lain yang menyediakan T-SQL.

Dalam fabric, ada pengguna yang mungkin perlu memutuskan antara Gudang, Lakehouse, dan bahkan datamart Power BI.

Penawaran Microsoft Fabric

Gudang

Titik Akhir SQL Lakehouse

Datamart Power BI

Lisensi

Fabric atau Power BI Premium

Power BI Premium saja

Kemampuan utama

Sesuai dengan ACID, pergudangan data lengkap dengan dukungan transaksi di T-SQL.

Baca saja, sistem menghasilkan Titik Akhir SQL untuk Lakehouse untuk kueri dan penyajian T-SQL. Mendukung analitik pada tabel Delta Lakehouse, dan folder Delta Lake yang dirujuk melalui pintasan.

Pergudangan data tanpa kode dan kueri T-SQL

Profil pengembang

Pengembang SQL atau pengembang warga

Teknisi Data atau Pengembang SQL

Hanya pengembang warga

Kasus penggunaan yang direkomendasikan

Data Warehousing untuk penggunaan perusahaan
Data Warehousing mendukung penggunaan departemen, unit bisnis, atau layanan mandiri
Analisis data terstruktur di T-SQL dengan tabel, tampilan, prosedur dan fungsi serta dukungan SQL Tingkat Lanjut untuk BI

Menjelajahi dan mengkueri tabel delta dari lakehouse
Data Penahapan dan Zona Arsip untuk analisis
Arsitektur medali dengan zona untuk analisis perunggu, perak, dan emas
Memasangkan dengan Warehouse untuk kasus penggunaan analitik perusahaan

Kasus penggunaan pergudangan departemen kecil atau unit bisnis
Kasus penggunaan pergudangan data layanan mandiri
Zona pendaratan untuk aliran data Power BI dan dukungan SQL sederhana untuk BI

Pengalaman pengembangan

Editor Gudang dengan dukungan penuh untuk penyerapan data T-SQL, pemodelan, pengembangan, dan kueri pengalaman UI untuk penyerapan, pemodelan, dan kueri data
Dukungan Baca / Tulis untuk alat pihak ke-1 dan ke-3

Titik Akhir SQL Lakehouse dengan dukungan T-SQL terbatas untuk tampilan, fungsi bernilai tabel, dan Kueri SQL
Pengalaman UI untuk pemodelan dan kueri
Dukungan T-SQL terbatas untuk alat pihak ke-1 dan ke-3

Editor Datamart dengan pengalaman UI dan dukungan kueri
Pengalaman UI untuk penyerapan, pemodelan, dan kueri data
Dukungan baca-saja untuk alat pihak ke-1 dan ke-3

Kemampuan T-SQL

Dukungan DQL, DML, dan DDL T-SQL penuh, dukungan transaksi penuh

DQL Lengkap, Tanpa DML, Dukungan T-SQL DDL terbatas seperti Tampilan SQL dan TVF

DQL penuh saja

Pemuatan Data

SQL, alur, aliran data

Spark, alur, aliran data, pintasan

Aliran data saja

Dukungan tabel Delta

Membaca dan menulis tabel Delta

Membaca tabel delta

Lapisan penyimpanan

Format Data Terbuka - Delta

Skema yang dihasilkan secara otomatis di Titik Akhir SQL Lakehouse

Titik Akhir SQL mengelola tabel yang dihasilkan secara otomatis sehingga pengguna ruang kerja tidak dapat mengubahnya. Pengguna dapat memperkaya model database dengan menambahkan skema, tampilan, prosedur, dan objek database SQL mereka sendiri.

Untuk setiap tabel Delta di Lakehouse Anda, Titik Akhir SQL secara otomatis menghasilkan satu tabel.

Tabel di Titik Akhir SQL dibuat dengan penundaan. Setelah Anda membuat atau memperbarui folder/tabel Delta Lake di lake, tabel gudang yang mereferensikan data lake tidak akan segera dibuat/di-refresh. Perubahan akan diterapkan di gudang setelah 5-10 detik.

Untuk jenis data skema yang dibuat secara otomatis untuk Titik Akhir SQL, lihat Jenis data di Microsoft Fabric.