Apa itu OneLake?

Microsoft OneLake adalah data lake terpadu untuk seluruh organisasi Anda. Setiap penyewa Microsoft Fabric secara otomatis menyertakan OneLake, dan ini adalah satu tempat untuk semua data analitik Anda. Ini adalah repositori pusat tempat Anda dapat menyimpan, mengelola, dan mengatur semua data Anda untuk analitik dan beban kerja AI di seluruh organisasi.

OneLake dibangun di atas Azure Data Lake Storage dan menyimpan tabel dalam format Delta Parquet atau Iceberg, dua standar terbuka yang dapat dibaca alat apa pun. Artinya, data Anda tidak terkunci dalam format proprieter.

OneLake menyediakan:

  • Penyimpanan data terpadu untuk seluruh organisasi dengan tata kelola dan keamanan bawaan
  • Satu salinan data yang akan digunakan dengan beberapa mesin analitik tanpa duplikasi
  • Konektivitas fleksibel melalui penjelajah file, API ADLS Gen2, dan integrasi layanan Azure
  • Perlindungan dan pemantauan data dengan redundansi bawaan, pemulihan bencana, dan diagnostik akses

Penyimpanan data terpadu

Sebelum OneLake, organisasi sering membuat beberapa danau untuk grup bisnis yang berbeda, yang menyebabkan overhead ekstra untuk mengelola beberapa sumber daya. Pendekatan siloed ini menyulitkan kolaborasi di seluruh tim, memperlambat proyek data, dan meningkatkan risiko duplikasi.

OneLake memecahkan tantangan ini dengan memberi Anda titik akses data pusat untuk seluruh organisasi. Setiap tenant Fabric memiliki satu instans OneLake. Anda tidak dapat menghapus OneLake atau membuat beberapa OneLakes, dan tidak ada infrastruktur untuk disediakan atau dikelola. Departemen, tim, dan proyek dapat menyimpan atau menyambungkan ke data mereka di lake terpadu ini dan mengaturnya menggunakan domain Fabric, sub-domain, dan ruang kerja - masing-masing dengan administrator mereka sendiri. Model ini mempertahankan kepemilikan data dan memungkinkan tata kelola federasi, sambil tetap memungkinkan pengguna yang berwenang untuk menemukan dan menggunakan data tanpa gesekan.

Dikelola secara terpusat dengan kepemilikan terdistribusi

Fabric data ada dalam hierarki berikut untuk organisasi dan tata kelola:

  • Penyewa: Kebijakan tingkat penyewa secara otomatis melindungi data apa pun yang mendarat di OneLake untuk keamanan, kepatuhan, dan manajemen data.
  • Ruang kerja: Anda dapat membuat sejumlah ruang kerja di penyewa Anda untuk menata data Anda. Ruang kerja memungkinkan berbagai bagian organisasi untuk mendistribusikan kebijakan kepemilikan dan akses. Setiap ruang kerja adalah bagian dari kapasitas yang terkait dengan wilayah tertentu dan ditagih secara terpisah.
  • Item data: Ruang kerja berisi item data seperti lakehouse, warehouse, eventhouse, dan database KQL. Setiap jenis item dibuat khusus untuk beban kerja tertentu seperti analitik berbasis Spark, kueri T-SQL, streaming real time, dan banyak lagi.

Diagram memperlihatkan fungsi dan struktur OneLake.

Untuk informasi selengkapnya, lihat Ruang Kerja.

Temukan dan atur dengan katalog OneLake

Katalog OneLake adalah tempat tunggal bagi profesional data dan pengguna bisnis untuk menemukan, mengelola, dan mengatur data yang mereka miliki dan dapat mengakses di OneLake.

Pengguna dapat memfilter menurut domain, ruang kerja, jenis item, dukungan, dan lainnya untuk menemukan apa yang mereka butuhkan, dengan setiap item data yang diperkaya oleh metadata seperti deskripsi, pemilik, skema, silsilah data, dan metrik penggunaan.

Pemilik data bisa mendapatkan wawasan dan tindakan yang direkomendasikan untuk meningkatkan kualitas dan kepatuhan data, termasuk visibilitas ke dalam cakupan label sensitivitas, pemberian tag, dukungan, dan lokasi data.

Untuk informasi selengkapnya, lihat Katalog OneLake.

Keamanan

Model keamanan OneLake memungkinkan Anda berbagi data secara luas tanpa mengekspos informasi sensitif. Dengan menggunakan peran keamanan OneLake, Anda dapat menentukan izin terperinci pada item data, hingga folder, tabel, atau bahkan baris dan kolom tertentu. Misalnya, Anda dapat berbagi himpunan data penjualan dengan tim tetapi membatasi akses ke Cost kolom, atau Anda dapat mengizinkan mitra untuk hanya melihat baris di mana Region = "US". OneLake menyimpan peran ini dan secara otomatis memberlakukannya di semua pengalaman analitik. Jadi, jika pengguna hanya memiliki akses ke bagian dari himpunan data, aturan tersebut berlaku apakah mereka meminta melalui SQL, menjalankan buku catatan Spark, atau menampilkan laporan Power BI. OneLake memastikan mereka hanya melihat apa yang diizinkan untuk dilihat.

Pendekatan terpadu untuk keamanan ini berarti pengguna tidak perlu mempertahankan izin terpisah di berbagai mesin. Ini juga berarti pemilik data asli selalu mempertahankan kontrol atas siapa yang dapat mengakses sumber data, bahkan jika data diteruskan ke lakehouse atau ruang kerja yang dimiliki oleh orang lain.

Anda dapat menerapkan label sensitivitas ke item OneLake seperti yang Anda lakukan pada dokumen, dan label tersebut memberlakukan pembatasan enkripsi atau akses meskipun data diekspor ke Excel atau alat lain. Demikian juga, kebijakan pencegahan kehilangan data (DLP) dapat mendeteksi unggahan atau unduhan data sensitif dari OneLake dan mencegah atau memperingatkan potensi kebocoran data.

Untuk informasi selengkapnya, lihat Mulai mengamankan data Anda di OneLake.

Satu salinan data

Semua mesin analitik Fabric bekerja dengan data langsung di OneLake. Anda tidak perlu menyalin data untuk menggunakannya dengan mesin lain atau menganalisis data dari beberapa sumber.

Jalan pintas

Pintasan adalah referensi ke data yang disimpan di lokasi file lain. Lokasi file ini dapat berada dalam ruang kerja yang sama, ruang kerja yang berbeda di OneLake, atau di luar OneLake. Anda dapat menggunakan pintasan untuk OneLake, Azure Data Lake Storage, penyimpanan Blob Azure, sumber yang kompatibel dengan Amazon S3 dan S3, sumber yang kompatibel dengan Iceberg, Microsoft Dataverse, sumber lokal, dan banyak lagi. Tidak peduli lokasinya, pintasan membuat file dan folder terlihat seperti Anda menyimpannya secara lokal.

Pintasan memungkinkan organisasi Anda menyatukan data di berbagai cloud dan domain tanpa menyalinnya. Teams dapat bekerja secara independen di ruang kerja terpisah dan menggunakan pintasan untuk berbagi data satu sama lain alih-alih menduplikasinya. Misalnya, satu tim dapat membuat pintasan ke himpunan data di ruang kerja tim lain atau ke wadah S3 eksternal, lalu menggabungkan data tersebut dengan data mereka sendiri di OneLake. Pintasan menunjuk ke sumber, jadi ketika data sumber diperbarui, perubahan tersebut segera terlihat melalui OneLake. Dengan cara ini, Anda dapat membuat produk virtual atau tampilan yang mengumpulkan data dari beberapa grup bisnis agar sesuai dengan kebutuhan tertentu, tanpa memindahkan atau menduplikasi data. Dengan menggunakan transformasi pintasan, Anda bahkan dapat menerapkan perubahan otomatis pada data seperti mengonversi format data atau menghapus informasi pengidentifikasi pribadi (PII).

Diagram memperlihatkan cara pintasan menyambungkan data di seluruh ruang kerja dan item.

Untuk informasi selengkapnya tentang cara menggunakan pintasan, lihat Pintasan OneLake.

Mirroring

Pencerminan di Fabric adalah solusi berbiaya rendah dan berlatensi rendah yang secara berkelanjutan mereplikasi data dari berbagai sistem ke dalam OneLake. Anda dapat menyambungkan ke sumber data eksternal dengan aman dan secara otomatis mencerminkan (menyalin) database atau tabel yang dipilih ke dalam format terbuka OneLake, menjaganya tetap sinkron mendekati real time. Data hasil pencerminan disimpan sebagai Delta Parquet di OneLake, sehingga langsung siap untuk dianalisis oleh mesin Fabric mana pun.

Mirroring mendukung sumber seperti Azure SQL Database, Azure Cosmos DB, Azure Database for PostgreSQL, Azure Databricks (Unity Catalog), Snowflake, dan banyak lagi. Perubahan sumber terus disebarluaskan, sehingga salinan OneLake Anda tetap up-to-date tanpa pekerjaan ETL manual. Anda dapat menjalankan laporan analitik, AI, atau Power BI pada data baru tanpa langsung mengkueri sumber produksi.

Untuk informasi selengkapnya, lihat Apa itu pencerminan di Fabric?

Berkolaborasi dalam beberapa mesin analitik

Mesin analitik Fabric (T-SQL, Apache Spark, Analysis Services, dan lainnya) semuanya menyimpan data di OneLake dalam format Delta Parquet terbuka. Standardisasi ini memungkinkan Anda menggunakan data yang sama di beberapa mesin. Anda tidak perlu menyalin data hanya untuk menggunakannya dengan mesin lain atau merasa terjebak dengan menggunakan mesin tertentu karena di situlah data Anda berada.

Misalnya, tim teknisi SQL membangun gudang data transaksi penuh. Mereka menggunakan mesin T-SQL untuk membuat tabel, mengubah data, dan memuat data ke tabel. Jika ilmuwan data ingin menggunakan data ini, mereka dapat melampirkan buku catatan Spark ke OneLake dan membaca tabel tersebut secara langsung. Karena OneLake menyimpan tabel dalam format Delta, Spark dapat memuatnya tanpa konektor atau ekspor data khusus. Kueri SQL dan pekerjaan Spark beroperasi pada satu salinan data di OneLake.

Selain itu, pengguna bisnis dapat membuat laporan Power BI di atas OneLake dengan menggunakan mode Direct Lake di mesin Analysis Services. Mode Direct Lake adalah mode akses data yang memuat dan menyegarkan data dalam volume besar dengan cepat tanpa membuat salinan. Untuk informasi selengkapnya, lihat Gambaran umum Direct Lake.

Contoh diagram memperlihatkan pemuatan data menggunakan Spark, mengkueri menggunakan T-SQL, dan menampilkan data dalam laporan Power BI.

Interoperabilitas format tabel terbuka

OneLake mendukung format tabel Delta Lake dan Apache Iceberg melalui virtualisasi metadata. Fitur ini secara otomatis menghasilkan metadata virtual sehingga tabel Iceberg dapat dibaca sebagai tabel Delta Lake di berbagai workload Fabric, dan tabel Delta Lake dapat dibaca oleh pembaca eksternal Iceberg. Anda dapat menulis tabel Iceberg langsung ke OneLake atau membuat pintasan ke tabel Iceberg yang disimpan secara eksternal, dan OneLake membuatnya tersedia untuk semua mesin Fabric tanpa konversi manual. Demikian pula, setiap tabel Delta Lake di OneLake dapat diakses oleh layanan yang kompatibel dengan Iceberg seperti Snowflake.

Untuk informasi selengkapnya, lihat Menggunakan tabel Iceberg dengan OneLake.

Sambungkan ke OneLake

Anda dapat mengakses data OneLake dari portal Fabric, Windows, alat Azure yang ada, atau aplikasi apa pun yang mendukung API ADLS Gen2.

Penjelajah file OneLake untuk Windows

Anda dapat menjelajahi data OneLake dari Windows dengan menggunakan penjelajah file OneLake untuk Windows. Anda dapat menavigasi semua ruang kerja dan item data Anda, dengan mudah mengunggah, mengunduh, atau memodifikasi file seperti yang Anda lakukan di Office. Penjelajah file OneLake menyederhanakan bekerja dengan data lake, sehingga bahkan pengguna bisnis nonteknis dapat menggunakannya.

Untuk informasi selengkapnya, lihat Penjelajah file OneLake.

API dan SDK ADLS Gen2

OneLake mendukung API dan SDK Gen2 Azure Data Lake Storage (ADLS), sehingga Anda dapat menggunakan aplikasi ADLS Gen2 yang ada. Setiap ruang kerja muncul sebagai kontainer, dan item data muncul sebagai folder dalam kontainer tersebut. Untuk informasi selengkapnya, lihat Akses OneLake dan API.

Diagram memperlihatkan bagaimana Anda dapat mengakses data OneLake dengan API dan SDK.

Karena OneLake kompatibel dengan aplikasi ADLS Gen2, Anda dapat terhubung ke OneLake dari layanan Azure. Contohnya:

Perlindungan dan pemantauan data

OneLake menyertakan kemampuan bawaan untuk menjaga data Anda tetap aman dan memberi Anda visibilitas tentang cara data tersebut digunakan.

Pemulihan bencana dan perlindungan data

OneLake secara otomatis melindungi data Anda dengan redundansi bawaan. Di wilayah yang mendukung zona ketersediaan, OneLake menggunakan penyimpanan zona redundan (ZRS) untuk mereplikasi data di beberapa pusat data. Di wilayah lain, ia menggunakan penyimpanan redundan lokal (LRS). Untuk perlindungan tambahan terhadap pemadaman di seluruh wilayah, Anda dapat mengaktifkan kelangsungan bisnis dan pemulihan bencana (BCDR) pada kapasitas untuk mereplikasi data Anda secara geografis ke wilayah Azure yang dipasangkan. OneLake juga mendukung penghapusan sementara, yang menyimpan file yang dihapus selama tujuh hari sehingga Anda dapat memulihkan dari penghapusan yang tidak disengaja.

Untuk informasi selengkapnya, lihat Pemulihan bencana dan perlindungan data untuk OneLake.

Diagnostik

Diagnostik OneLake memberikan visibilitas tentang bagaimana data diakses dan digunakan di seluruh lingkungan Fabric Anda. Saat Anda mengaktifkan diagnostik di tingkat ruang kerja, peristiwa akses data dialirkan ke lakehouse dalam bentuk log. Anda dapat melacak siapa yang mengakses data apa, kapan, dan bagaimana. Pengelogan ini mencakup tindakan pengguna di UI Fabric, akses terprogram melalui API dan mesin analitik, dan akses lintas ruang kerja melalui pintasan.

Untuk informasi selengkapnya, lihat Diagnostik OneLake.

Konten terkait

  • Last updated on