Pintasan OneLake

Pintasan di Microsoft OneLake menyatukan data Anda di seluruh domain, cloud, dan akun dengan menjadikan OneLake sebagai data lake virtual tunggal untuk seluruh perusahaan Anda. Pengalaman Fabric dan mesin analitik dapat terhubung ke sumber data Anda yang sudah ada, termasuk Azure, Amazon Web Services (AWS), dan OneLake melalui ruang nama terpadu. OneLake mengelola semua izin dan kredensial, sehingga Anda tidak perlu mengonfigurasi setiap beban kerja Fabric secara terpisah untuk menyambungkan ke setiap sumber data. Selain itu, Anda dapat menggunakan pintasan untuk menghilangkan salinan data tepi dan mengurangi latensi proses yang terkait dengan salinan dan penahapan data. Pintasan juga mempertahankan sinkronisasi dengan data sumber, termasuk pembaruan skema otomatis untuk tabel pintasan.

Apa itu pintasan?

Pintasan adalah objek di OneLake yang menunjuk pada lokasi penyimpanan lainnya. Lokasi dapat berada di dalam atau di luar OneLake. Lokasi yang diacu pintasan adalah jalur target pintasan. Lokasi tempat pintasan muncul adalah jalur pintasan.

Pintasan muncul sebagai folder di OneLake dan beban kerja atau layanan apa pun yang memiliki akses ke OneLake dapat menggunakannya. Pintasan berfungsi seperti tautan simbolik. Mereka adalah objek independen dari target. Jika Anda menghapus pintasan, target tetap tidak terpengaruh. Jika Anda memindahkan, mengganti nama, atau menghapus jalur target, pintasan dapat putus.

Di mana saya bisa membuat pintasan?

Anda dapat membuat pintasan di lakehouse dan dalam database Bahasa Kueri Kusto (KQL).

Anda dapat menggunakan portal Fabric untuk membuat pintasan secara interaktif, dan Anda dapat menggunakan API REST untuk membuat pintasan secara terprogram.

Lakehouse

Saat membuat pintasan di lakehouse, Anda perlu memahami struktur folder dari elemen tersebut. Lakehouse memiliki dua folder tingkat atas: folder Tabel dan folder File . Folder tabel adalah untuk himpunan data terstruktur. Folder file adalah untuk data yang tidak terstruktur atau semi terstruktur.

Di folder Tabel , Anda hanya dapat membuat pintasan di tingkat atas. OneLake tidak mendukung pintasan di subdirektori folder Tabel . Pintasan di bagian Tabel biasanya menunjuk ke sumber internal dalam OneLake atau menautkan ke aset data lain yang sesuai dengan format tabel Delta. Jika target pintasan berisi data dalam format tabel yang didukung (seperti Delta), lakehouse secara otomatis menyinkronkan metadata tabel dan mengenali folder sebagai tabel.

Skema tabel disinkronkan secara otomatis untuk semua tabel pintasan, termasuk tabel baru dan yang sudah ada. Sinkronisasi ini memastikan bahwa perubahan skema dalam sumber tercermin dalam pintasan tanpa memerlukan pembaruan manual. Pintasan di bagian Tabel dapat ditautkan ke satu tabel atau skema, yang merupakan folder induk untuk beberapa tabel.

Catatan

Format Delta tidak mendukung tabel dengan karakter spasi dalam nama. OneLake tidak mengenali pintasan apa pun yang berisi spasi dalam nama sebagai tabel Delta di lakehouse.

Di folder file, tidak ada batasan di mana Anda dapat membuat pintasan. Anda dapat membuat pintasan di tingkat hierarki folder mana pun. Penemuan tabel tidak terjadi di folder file. Pintasan di sini dapat menunjuk ke OneLake internal dan sistem penyimpanan eksternal dengan data dalam format apa pun.

KQL Database

Saat Anda membuat pintasan dalam database KQL, pintasan akan muncul di folder Pintasan database. Database KQL memperlakukan pintasan seperti tabel eksternal. Untuk mengkueri pintasan, gunakan external_table fungsi Bahasa Kueri Kusto.

Pintasan basis data Eventhouse

Saat Membuat pintasan database di eventhouse, Anda dapat memilih untuk menyertakan semua subitem dari database sumber atau memilih subitem tertentu untuk dibagikan. Kemampuan berbagi tingkat tabel ini memungkinkan berbagi data yang aman dan terkontrol tanpa mengekspos seluruh database.

Pilih subitem tertentu

Saat membuat pintasan database baru, Anda bisa memilih dari jenis subitem berikut:

• Tabel - Tabel reguler dari database sumber
• Tabel pintasan - Tabel yang juga merupakan pintasan
• Tampilan materialisasi - Tampilan yang telah dikomputasi untuk kueri yang dioptimalkan
• Functions - Fungsi tersimpan untuk logika kueri yang dapat digunakan kembali

Untuk memilih subitem tertentu:

1. Di eventhouse, pilih + Baru>Pintasan database.
2. Pilih metode untuk mengidentifikasi database sumber:
   • Katalog OneLake - Telusuri dan pilih database dari Fabric.
   • URI Kluster - Masukkan URI kluster Azure Data Explorer dan nama database secara manual.
   • Token undangan - Tempel token yang dikeluarkan oleh produsen data. Pemilihan subitem telah ditentukan sebelumnya oleh produser.
3. Di bagian Subitem yang akan disertakan , pilih Sertakan semua subitem (default) atau Pilih subitem tertentu.
4. Jika Anda memilih subitem tertentu, gunakan pemilih sebaris untuk memfilter menurut jenis dan mencari berdasarkan nama.
5. Pilih Buat untuk membuat pintasan.

Catatan

Anda hanya dapat melihat dan memilih subitem yang memiliki izin untuk dibagikan. Subitem yang tidak memiliki izin untuk berbagi disembunyikan.

Sinkronisasi skema otomatis

Ada dua jenis sinkronisasi skema otomatis untuk pintasan database eventhouse:

• Sinkronisasi skema otomatis untuk pintasan database: Menambahkan atau menghapus tabel, tabel pintasan, tampilan materialisasi, dan fungsi. Sinkronisasi ini hanya terjadi ketika Anda membuat pintasan database dan memilih Sertakan semua subitem. Jika Anda hanya memilih sebagian subitem, sinkronisasi ini tidak berlaku.
• Sinkronisasi skema otomatis untuk tabel pintasan: Menambah, menghapus, atau mengganti nama kolom, dan mengubah tipe kolom. Sinkronisasi ini terjadi untuk semua tabel pintasan secara default, kecuali Anda mematikannya dengan perintah KQL pada contoh berikut.

Pengguna share tingkat tabel hanya dapat menjalankan kueri pada dan melihat subitem yang secara eksplisit disertakan dalam share tersebut. Nama subitem yang tidak dibagikan tidak terlihat oleh konsumen.

Untuk menonaktifkan sinkronisasi skema otomatis pada tabel pintasan, jalankan perintah berikut di database sumber:

.create-or-alter external table ExternalTable
kind=delta
(
   h@'https://storageaccount.blob.core.windows.net/container1;secretKey'
) with (AutoUpdateSchema=false)

Ketergantungan subitem

Saat Anda memilih subitem, sistem secara otomatis menangani dependensi:

• Saat Anda memilih tampilan atau fungsi materialisasi, tabel yang dirujuk dipilih secara otomatis.
• Saat Anda membatalkan pilihan tampilan atau fungsi materialisasi, tabel yang dirujuk tetap dipilih.
• Saat Anda membatalkan pilihan tabel, semua tampilan terwujud atau fungsi yang bergantung padanya akan otomatis dibatalkan pilihannya.

Catatan

Saat Anda mengakses tabel pintasan, Anda hanya bisa mengkueri tabel dan menampilkan metadatanya jika Anda memiliki izin untuk database yang diikuti dan data sumber tabel pintasan. Persyaratan izin yang sama berlaku untuk fungsi dan tampilan materialisasi yang merujuk ke tabel pintasan.

Di mana saya dapat mengakses pintasan?

Layanan Fabric atau non-Fabric apa pun yang dapat mengakses data di OneLake dapat menggunakan pintasan. Pintasan transparan untuk layanan apa pun yang mengakses data melalui API OneLake. Pintasan hanya muncul sebagai folder lain di danau. Apache Spark, SQL, Real-Time Intelligence, dan Analysis Services semuanya dapat menggunakan pintasan saat mengkueri data.

Apache Spark

Buku catatan Apache Spark dan pekerjaan Apache Spark dapat menggunakan pintasan yang Anda buat di OneLake. Gunakan jalur file relatif untuk membaca data langsung dari pintasan. Selain itu, jika Anda membuat pintasan di bagian Tabel dari lakehouse dan pintasan tersebut dalam format Delta, Anda dapat membacanya sebagai tabel terkelola menggunakan sintaks Apache Spark SQL.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Anda dapat membaca jalan pintas di bagian Tabel dari lakehouse melalui titik akhir analitik SQL untuk lakehouse. Anda dapat mengakses titik akhir analitik SQL melalui pemilih mode lakehouse atau melalui SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Kecerdasan Waktu Nyata

Pintasan dalam database KQL dikenali sebagai tabel eksternal. Untuk mengkueri pintasan, gunakan external_table fungsi Bahasa Kueri Kusto.

external_table('MyShortcut')
| take 100

Analysis Services

Anda dapat membuat model semantik untuk lakehouse yang berisi pintasan di bagian Tabel dari lakehouse tersebut. Saat model semantik berjalan dalam mode Direct Lake, Analysis Services dapat membaca data langsung dari pintasan.

Layanan yang bukan Fabric

Aplikasi dan layanan di luar Fabric juga dapat mengakses pintasan melalui ONELake API. OneLake mendukung subset API penyimpanan ADLS Gen2 dan Blob. Untuk mempelajari selengkapnya tentang API OneLake, lihat Akses OneLake dengan API.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Berbagai jenis pintasan

Pintasan di OneLake mendukung beberapa sumber data sistem file. Sumber ini mencakup lokasi OneLake internal dan sumber eksternal atau non-Microsoft.

Anda juga dapat buat pintasan ke lokasi lokal atau dibatasi jaringan dengan menggunakan gateway data lokal (OPDG) Fabric.

Pintasan Internal OneLake

Gunakan pintasan OneLake internal untuk merujuk data dalam item Fabric yang sudah ada, termasuk:

• Database KQL
• Rumah Danau
• Katalog Azure Databricks Dicerminkan
• Basis Data Tercermin
• Model Semantik
• Database SQL
• Gudang

Untuk petunjuk membuat pintasan internal, lihat Membuat pintasan OneLake internal.

Pintasan dapat menunjuk ke lokasi folder dalam item yang sama, di seluruh item dalam ruang kerja yang sama, atau bahkan di seluruh item di ruang kerja yang berbeda. Saat Anda membuat pintasan antar item, tipe item tidak perlu cocok. Misalnya, Anda dapat membuat pintasan di lakehouse yang mengarah ke data di warehouse.

Saat pengguna mengakses data dari lokasi OneLake lain melalui pintasan, OneLake menggunakan identitas pengguna panggilan untuk mengotorisasi akses ke data. Pengguna ini harus memiliki izin di lokasi target untuk membaca data.

Penting

Saat pengguna mengakses pintasan melalui model semantik Power BI menggunakan Direct Lake melalui mesin SQL atau T-SQL dalam mode Identitas yang didelegasikan, identitas pengguna panggilan tidak diteruskan ke target pintasan. Sebagai gantinya, identitas pemilik elemen panggilan diteruskan, yang mendelegasikan akses ke pengguna yang memanggil. Untuk mengatasi batasan ini, gunakan model semantik Power BI dalam mode Direct Lake over OneLake atau T-SQL dalam mode Identitas pengguna.

Pintasan eksternal OneLake

Untuk instruksi terperinci untuk membuat jenis pintasan tertentu, pilih artikel dari daftar sumber eksternal yang didukung ini:

• Pintasan Amazon S3
• Pintasan yang kompatibel dengan Amazon S3
• Pintasan Azure Data Lake Storage (ADLS) Gen 2 diakses cepat
• pintasan Azure Blob Storage
• Pintasan Dataverse
• Pintasan Google Cloud Storage
• Pintasan gunung es
• OneDrive dan SharePoint pintasan

Penggunaan Cache

Caching shortcut dapat mengurangi biaya egress yang terkait dengan akses data lintas cloud. Saat OneLake membaca file melalui pintasan eksternal, layanan menyimpan file dalam cache untuk ruang kerja Fabric. OneLake menanggapi permintaan baca berikutnya dari cache daripada penyedia penyimpanan berbasis awan. Anda dapat mengatur periode retensi untuk file yang di-cache antara 1-28 hari. Setiap kali Anda mengakses file, periode retensi diatur ulang. Jika penyimpanan jarak jauh menyediakan versi file yang lebih baru daripada versi cache, maka OneLake melayani permintaan dari penyedia penyimpanan jarak jauh dan memperbarui file di cache. Jika Anda tidak mengakses file dalam periode retensi yang dipilih, file tersebut akan dibersihkan dari cache. File individual yang berukuran lebih besar dari 1 GB tidak di-cache.

Catatan

Penembolokan pintasan saat ini mendukung shortcut Google Cloud Storage (GCS), S3, S3 yang kompatibel, dan pintasan gateway data lokal.

Penembolokan juga didukung untuk pintasan Amazon S3 lokal yang menggunakan autentikasi perwakilan layanan Microsoft Entra.

Untuk mengaktifkan penyimpanan cache untuk pintasan, buka panel Pengaturan ruang kerja. Pilih tab OneLake. Ubah pengaturan cache menjadi Aktif dan pilih Periode Retensi.

Anda dapat menghapus cache kapan saja. Dari halaman pengaturan yang sama, pilih tombol Reset cache. Tindakan ini menghapus semua file dari cache pintasan di ruang kerja ini.

Cara pintasan menggunakan koneksi cloud

Pintasan ADLS dan S3 mendelegasikan otorisasi dengan menggunakan koneksi cloud. Saat membuat pintasan ADLS atau S3 baru, Anda membuat koneksi baru atau memilih koneksi yang sudah ada untuk sumber data. Mengatur koneksi untuk pintasan merupakan operasi pengikatan. Hanya pengguna dengan izin pada koneksi yang dapat melakukan operasi pengikatan. Jika Anda tidak memiliki izin pada koneksi, Anda tidak dapat membuat pintasan baru menggunakan koneksi tersebut.

Untuk informasi selengkapnya tentang menampilkan dan memperbarui koneksi cloud, lihat Mengelola koneksi untuk pintasan.

Keamanan pintasan

Pintasan memerlukan izin tertentu untuk dikelola dan dipakai. Keamanan pintasan OneLake menjelaskan izin yang Anda butuhkan untuk membuat pintasan dan mengakses data melaluinya.

Bagaimana tombol pintas menangani penghapusan?

Pintasan tidak mendukung penghapusan bersusun. Saat menghapus pintasan, Anda hanya menghapus objek pintasan. Data di target pintasan tetap tidak berubah. Namun, jika Anda menghapus file atau folder dalam pintasan, dan Anda memiliki izin di target pintasan untuk melakukan operasi penghapusan, Anda juga menghapus file atau folder di target.

Misalnya, pertimbangkan lakehouse (rumah danau) dengan jalur berikut di dalamnya: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut adalah pintasan yang menunjuk ke akun ADLS Gen2 yang berisi direktori Foo\Bar .

Jika Anda menghapus MyLakehouse\Files\MyShortcut, Anda menghapus pintasan MyShortcut dari lakehouse tetapi file dan direktori di akun ADLS Gen2 Foo\Bar tetap tidak terpengaruh.

Jika Anda menghapus MyLakehouse\Files\MyShortcut\Foo\Bar, dan Anda memiliki izin tulis di akun ADLS Gen2, Anda menghapus direktori Bar dari akun ADLS Gen2.

Sebagai contoh lain, pertimbangkan lakehouse dengan dukungan skema dengan jalur berikut di dalamnya: MyLakehouse\Tables\MySchemaShortcut\Dir1. MySchemaShortcut adalah pintasan skema yang menunjuk ke akun ADLS Gen2 yang berisi direktori Dir1 .

Jika Anda menghapus MyLakehouse\Tables\MySchemaShortcut, Anda menghapus pintasan skema MySchemaShortcut dari lakehouse tetapi file dan direktori di akun ADLS Gen2 Dir1 tetap tidak terpengaruh.

Jika Anda menghapus MyLakehouse\Tables\MySchemaShortcut\Dir1, dan Anda memiliki izin tulis di akun ADLS Gen2, Anda menghapus direktori Dir1 dari akun ADLS Gen2.

Tampilan alur ruang kerja

Saat Anda membuat pintasan antara beberapa item Fabric dalam ruang kerja, Anda dapat memvisualisasikan hubungan pintasan melalui tampilan silsilah ruang kerja. Pilih tombol Lineage view ( ) di sudut kanan atas penjelajah Ruang Kerja.

Catatan

Tampilan garis keturunan dibatasi pada satu ruang kerja. Pintasan ke lokasi di luar ruang kerja terpilih tidak muncul.

Batasan dan pertimbangan

• Setiap item Fabric mendukung hingga 100.000 pintasan. Dalam konteks ini, istilah item mengacu pada aplikasi, lakehouse, gudang, laporan, dan banyak lagi.
• Satu jalur OneLake mendukung hingga 10 pintasan.
• Jumlah maksimum pintasan langsung ke tautan pintasan adalah 5.
• Nama pintasan, jalur induk, dan jalur target tidak boleh berisi "%" atau karakter "+".
• Pintasan tidak bisa mendukung karakter non-Latin.
• Silsilah data untuk pintasan ke gudang dan model semantik saat ini tidak tersedia.
• Pintasan Fabric disinkronkan dengan sumber secara otomatis. Pembaruan skema dan metadata diterapkan tanpa intervensi manual, tetapi waktu penyebaran mungkin bervariasi karena performa sumber data, tampilan yang di-cache, atau konektivitas jaringan.
• Mungkin perlu waktu hingga satu menit agar Table API mengenali pintasan baru.
• Pintasan skema hanya dapat dibuat di lakehouse yang mendukung skema.

Konten terkait

• Membuat pintasan OneLake
• Pindahkan pintasan ke wilayah baru
• Gunakan pintasan OneLake REST API