Apa itu pergudangan data di Microsoft Fabric?
Berlaku untuk: Titik Akhir dan Gudang SQL di Microsoft Fabric
Microsoft Fabric memberi pelanggan produk terpadu yang membahas setiap aspek data estate mereka dengan menawarkan platform Data, Analytics, dan AI yang berpusat pada lake dan terbuka. Fondasi Microsoft Fabric memungkinkan pengguna pemula hingga profesional berpengalaman untuk memanfaatkan beban kerja Database, Analitik, Olahpesan, Integrasi Data, dan Kecerdasan Bisnis melalui pengalaman SaaS bersama yang kaya, mudah digunakan dengan Microsoft OneLake sebagai pusatnya.
Penting
Microsoft Fabric sedang dalam pratinjau.
Pengalaman SaaS yang berpusat pada danau yang dibangun untuk tingkat keterampilan apa pun
Microsoft Fabric memperkenalkan gudang data sentris lake yang dibangun di atas mesin pemrosesan terdistribusi tingkat perusahaan yang memungkinkan performa terdepan industri dalam skala besar sambil menghilangkan kebutuhan akan konfigurasi dan manajemen. Melalui pengalaman SaaS yang mudah digunakan yang terintegrasi erat dengan Power BI untuk analisis dan pelaporan yang mudah, Gudang di Microsoft Fabric menyatukan dunia data lake dan gudang dengan tujuan sangat menyederhanakan investasi organisasi dalam real estat analitik mereka. Beban kerja pergudangan data mendapat manfaat dari kemampuan mesin SQL yang kaya melalui format data terbuka, memungkinkan pelanggan untuk fokus pada persiapan, analisis, dan pelaporan data melalui satu salinan data mereka yang disimpan di Microsoft OneLake mereka.
Gudang dibangun untuk tingkat keterampilan apa pun - dari pengembang warga hingga pengembang profesional, DBA, atau insinyur data. Serangkaian pengalaman yang kaya yang dibangun ke dalam ruang kerja Microsoft Fabric memungkinkan pelanggan untuk mengurangi waktu mereka ke wawasan dengan memiliki himpunan data yang mudah dikonsumsi dan selalu terhubung yang terintegrasi dengan Power BI dalam mode DirectLake. Ini memungkinkan performa terdepan industri kedua hingga tidak ada yang memastikan laporan pelanggan selalu memiliki data terbaru untuk analisis dan pelaporan. Kueri lintas database dapat dimanfaatkan untuk memanfaatkan beberapa sumber data dengan cepat dan lancar yang mencakup beberapa database untuk wawasan cepat dan duplikasi data nol.
Gudang virtual dengan kueri lintas database
Microsoft Fabric memberi pelanggan kemampuan untuk berdiri di gudang virtual yang berisi data dari hampir semua sumber dengan menggunakan pintasan. Pelanggan dapat membangun gudang virtual dengan membuat pintasan ke data mereka di mana pun ia berada. Gudang virtual dapat terdiri dari data dari OneLake, Azure Data Lake Storage, atau penyimpanan vendor cloud lainnya dalam satu batas dan tanpa duplikasi data.
Buka nilai dengan mulus dari berbagai sumber data melalui kekayaan kueri lintas database di Microsoft Fabric. Kueri lintas database memungkinkan pelanggan untuk dengan cepat dan mulus memanfaatkan beberapa sumber data untuk wawasan cepat dan tanpa duplikasi data. Data yang disimpan di berbagai sumber dapat dengan mudah digabungkan memungkinkan pelanggan untuk memberikan wawasan kaya yang sebelumnya memerlukan upaya signifikan dari tim integrasi dan teknik data.
Kueri lintas database dapat dibuat melalui editor Visual Query, yang menawarkan jalur tanpa kode ke wawasan melalui beberapa tabel. Editor Kueri SQL, atau alat lain yang sudah dikenal seperti SQL Server Management Studio (SSMS), juga dapat digunakan untuk membuat kueri lintas database.
Manajemen beban kerja otonom
Gudang di Microsoft Fabric memanfaatkan mesin pemrosesan kueri terdistribusi terkemuka di industri, yang memberi pelanggan beban kerja yang memiliki batas isolasi alami. Tidak ada tombol untuk berubah dengan alokasi otonom dan melepaskan sumber daya untuk menawarkan performa terbaik dalam berkembang biak dengan skala otomatis dan konkurensi bawaan. Isolasi sejati dicapai dengan memisahkan beban kerja dengan karakteristik yang berbeda, memastikan bahwa pekerjaan ETL tidak pernah mengganggu analitik ad hoc dan melaporkan beban kerja mereka.
Format terbuka untuk interoperabilitas mesin yang mulus
Data di Gudang disimpan dalam format file parket dan diterbitkan sebagai Delta Lake Logs, memungkinkan transaksi ACID dan interoperabilitas lintas mesin yang dapat dimanfaatkan melalui pengalaman Microsoft Fabric lainnya seperti Spark, Pipelines, Power BI, dan Azure Data Explorer. Pelanggan tidak perlu lagi membuat beberapa salinan data mereka untuk memungkinkan profesional data dengan set keterampilan yang berbeda. Teknisi data yang terbiasa bekerja di Python dapat dengan mudah memanfaatkan data yang sama yang dimodelkan dan dilayani oleh profesional gudang data yang terbiasa bekerja di SQL. Secara paralel, profesional BI dapat dengan cepat dan mudah memanfaatkan data yang sama untuk membuat serangkaian visualisasi yang kaya di Power BI dengan performa rekaman dan tanpa duplikasi data.
Pemisahan penyimpanan dan komputasi
Komputasi dan penyimpanan dipisahkan di Gudang yang memungkinkan pelanggan untuk menskalakan mendekati secara instan untuk memenuhi tuntutan bisnis mereka. Ini memungkinkan beberapa mesin komputasi untuk membaca dari sumber penyimpanan yang didukung dengan keamanan yang kuat dan jaminan transaksional ACID penuh.
Dengan mudah menyerap, memuat, dan mengubah dalam skala besar
Data dapat diserap ke dalam Gudang melalui Alur, Aliran Data, kueri lintas database, atau perintah COPY INTO. Setelah diserap, data dapat dianalisis oleh beberapa grup bisnis melalui fungsionalitas seperti berbagi dan kueri lintas database. Waktu untuk wawasan dipercepat melalui pengalaman BI yang terintegrasi penuh melalui pemodelan data grafis yang mudah digunakan pengalaman web untuk kueri dalam Editor Gudang.
pengalaman Data Warehousing di Microsoft Fabric
Bagian ini memberikan gambaran umum tentang dua pengalaman pergudangan data yang berbeda di Microsoft Fabric: Titik Akhir SQL Lakehouse dan Gudang.
Titik Akhir SQL Lakehouse
Titik Akhir SQL adalah gudang yang secara otomatis dihasilkan dari Lakehouse di Microsoft Fabric. Pelanggan dapat beralih dari tampilan "Lake" Lakehouse (yang mendukung rekayasa data dan Apache Spark) ke tampilan "SQL" dari Lakehouse yang sama. Titik Akhir SQL bersifat baca-saja, dan data hanya dapat dimodifikasi melalui tampilan "Lake" Lakehouse menggunakan Spark.
Melalui Titik Akhir SQL Lakehouse, pengguna memiliki subset perintah SQL yang dapat menentukan dan mengkueri objek data tetapi tidak memanipulasi data. Anda dapat melakukan tindakan berikut di Titik Akhir SQL:
- Kueri tabel yang mereferensikan data di folder Delta Lake Anda di lake.
- Buat tampilan, TVF sebaris, dan prosedur untuk merangkum semantik dan logika bisnis Anda di T-SQL.
- Mengelola izin pada objek.
Di ruang kerja Microsoft Fabric, Titik Akhir SQL diberi label "Titik Akhir SQL" di bawah kolom Jenis . Setiap Lakehouse memiliki Titik Akhir SQL otomatis yang dapat dimanfaatkan melalui alat SQL yang sudah dikenal seperti SQL Server Management Studio, Azure Data Studio, Editor Kueri Microsoft Fabric SQL.
Untuk mulai menggunakan Titik Akhir SQL, lihat Lebih baik bersama-sama: lakehouse dan gudang di Microsoft Fabric.
Gudang Data Synapse
Di ruang kerja Microsoft Fabric, Gudang Data atau Gudang Synapse dilabeli sebagai 'Gudang' di bawah kolom Jenis . Gudang mendukung transaksi, DDL, dan kueri DML.
Tidak seperti Titik Akhir SQL yang hanya mendukung kueri baca-saja dan pembuatan tampilan dan TVF, Gudang memiliki dukungan DDL dan DML transaksi penuh dan dibuat oleh pelanggan. Gudang diisi oleh salah satu metode penyerapan data yang didukung seperti COPY INTO, Pipelines, Dataflows, atau opsi penyerapan lintas database seperti CREATE TABLE AS SELECT (CTAS), INSERT.. SELECT, atau SELECT INTO.
Untuk mulai menggunakan Gudang, lihat Membuat gudang di Microsoft Fabric.
Bandingkan Gudang dan Titik Akhir SQL Lakehouse
Bagian ini menjelaskan perbedaan antara Gudang dan Titik Akhir SQL di Microsoft Fabric.
Titik Akhir SQL adalah gudang baca-saja yang secara otomatis dihasilkan setelah dibuat dari Lakehouse di Microsoft Fabric. Tabel Delta yang dibuat melalui Spark di Lakehouse secara otomatis dapat ditemukan di Titik Akhir SQL sebagai tabel. Titik Akhir SQL memungkinkan teknisi data untuk membangun lapisan relasional di atas data fisik di Lakehouse dan mengeksposnya ke alat analisis dan pelaporan menggunakan string koneksi SQL. Analis data kemudian dapat menggunakan T-SQL untuk mengakses data Lakehouse menggunakan pengalaman gudang. Gunakan Titik Akhir SQL untuk merancang gudang Anda untuk kebutuhan BI dan menyajikan data.
Gudang Data atau GudangSynapse adalah gudang data 'tradisional' dan mendukung kemampuan T-SQL transaksi penuh seperti gudang data perusahaan. Dibandingkan dengan Titik Akhir SQL, di mana tabel dan data dibuat secara otomatis, Anda sepenuhnya mengontrol pembuatan tabel, memuat, mengubah, dan mengkueri data Anda di gudang data menggunakan portal Microsoft Fabric atau perintah T-SQL.
Untuk informasi selengkapnya tentang mengkueri data Anda di Microsoft Fabric, lihat Mengkueri Titik Akhir SQL atau Gudang di Microsoft Fabric.
Membandingkan kemampuan pergudangan yang berbeda
Untuk melayani kasus penggunaan analitik Anda dengan terbaik, ada berbagai kemampuan yang tersedia untuk Anda. Umumnya, gudang dapat dianggap sebagai superset dari semua kemampuan lainnya, memberikan hubungan sinergis antara semua penawaran analitik lain yang menyediakan T-SQL.
Dalam fabric, ada pengguna yang mungkin perlu memutuskan antara Gudang, Lakehouse, dan bahkan datamart Power BI.
Penawaran Microsoft Fabric
Gudang
Titik Akhir SQL Lakehouse
Datamart Power BI
Lisensi
Fabric atau Power BI Premium
Fabric atau Power BI Premium
Power BI Premium saja
Kemampuan utama
Sesuai dengan ACID, pergudangan data lengkap dengan dukungan transaksi di T-SQL.
Baca saja, sistem menghasilkan Titik Akhir SQL untuk Lakehouse untuk kueri dan penyajian T-SQL. Mendukung analitik pada tabel Delta Lakehouse, dan folder Delta Lake yang dirujuk melalui pintasan.
Pergudangan data tanpa kode dan kueri T-SQL
Profil pengembang
Pengembang SQL atau pengembang warga
Teknisi Data atau Pengembang SQL
Hanya pengembang warga
Kasus penggunaan yang direkomendasikan
- Data Warehousing untuk penggunaan perusahaan
- Data Warehousing mendukung penggunaan departemen, unit bisnis, atau layanan mandiri
- Analisis data terstruktur di T-SQL dengan tabel, tampilan, prosedur dan fungsi serta dukungan SQL Tingkat Lanjut untuk BI
- Menjelajahi dan mengkueri tabel delta dari lakehouse
- Data Penahapan dan Zona Arsip untuk analisis
- Arsitektur medali dengan zona untuk analisis perunggu, perak, dan emas
- Memasangkan dengan Warehouse untuk kasus penggunaan analitik perusahaan
- Kasus penggunaan pergudangan departemen kecil atau unit bisnis
- Kasus penggunaan pergudangan data layanan mandiri
- Zona pendaratan untuk aliran data Power BI dan dukungan SQL sederhana untuk BI
Pengalaman pengembangan
- Editor Gudang dengan dukungan penuh untuk penyerapan data T-SQL, pemodelan, pengembangan, dan kueri pengalaman UI untuk penyerapan, pemodelan, dan kueri data
- Dukungan Baca / Tulis untuk alat pihak ke-1 dan ke-3
- Titik Akhir SQL Lakehouse dengan dukungan T-SQL terbatas untuk tampilan, fungsi bernilai tabel, dan Kueri SQL
- Pengalaman UI untuk pemodelan dan kueri
- Dukungan T-SQL terbatas untuk alat pihak ke-1 dan ke-3
- Editor Datamart dengan pengalaman UI dan dukungan kueri
- Pengalaman UI untuk penyerapan, pemodelan, dan kueri data
- Dukungan baca-saja untuk alat pihak ke-1 dan ke-3
Kemampuan T-SQL
Dukungan DQL, DML, dan DDL T-SQL penuh, dukungan transaksi penuh
DQL Lengkap, Tanpa DML, Dukungan T-SQL DDL terbatas seperti Tampilan SQL dan TVF
DQL penuh saja
Pemuatan Data
SQL, alur, aliran data
Spark, alur, aliran data, pintasan
Aliran data saja
Dukungan tabel Delta
Membaca dan menulis tabel Delta
Membaca tabel delta
NA
Lapisan penyimpanan
Format Data Terbuka - Delta
Format Data Terbuka - Delta
NA
Skema yang dihasilkan secara otomatis di Titik Akhir SQL Lakehouse
Titik Akhir SQL mengelola tabel yang dihasilkan secara otomatis sehingga pengguna ruang kerja tidak dapat mengubahnya. Pengguna dapat memperkaya model database dengan menambahkan skema, tampilan, prosedur, dan objek database SQL mereka sendiri.
Untuk setiap tabel Delta di Lakehouse Anda, Titik Akhir SQL secara otomatis menghasilkan satu tabel.
Tabel di Titik Akhir SQL dibuat dengan penundaan. Setelah Anda membuat atau memperbarui folder/tabel Delta Lake di lake, tabel gudang yang mereferensikan data lake tidak akan segera dibuat/di-refresh. Perubahan akan diterapkan di gudang setelah 5-10 detik.
Untuk jenis data skema yang dibuat secara otomatis untuk Titik Akhir SQL, lihat Jenis data di Microsoft Fabric.
Langkah berikutnya
Saran dan Komentar
Kirim dan lihat umpan balik untuk