Bagikan melalui

Pintasan OneLake

  • Artikel

Pintasan di Microsoft OneLake memungkinkan Anda menyatukan data di seluruh domain, cloud, dan akun dengan membuat satu data lake virtual untuk seluruh perusahaan Anda. Semua pengalaman Fabric dan mesin analitik dapat langsung terhubung ke sumber data Anda yang ada seperti Azure, Amazon Web Services (AWS), dan OneLake melalui namespace terpadu. OneLake mengelola semua izin dan kredensial, sehingga Anda tidak perlu mengonfigurasi setiap beban kerja Fabric secara terpisah untuk terhubung ke setiap sumber data. Selain itu, Anda dapat menggunakan pintasan untuk menghilangkan salinan data tepi dan mengurangi latensi proses yang terkait dengan salinan dan penahapan data.

Apa itu pintasan?

Pintasan adalah objek di OneLake yang menunjuk ke lokasi penyimpanan lainnya. Lokasi dapat internal atau eksternal ke OneLake. Lokasi tempat pintasan menunjuk ke dikenal sebagai jalur target pintasan. Lokasi tempat pintasan muncul dikenal sebagai jalur pintasan. Pintasan muncul sebagai folder di OneLake dan beban kerja atau layanan apa pun yang memiliki akses ke OneLake dapat menggunakannya. Pintasan berulah seperti tautan simbolis. Mereka adalah objek independen dari target. Jika Anda menghapus pintasan, target tetap tidak terpengaruh. Jika Anda memindahkan, mengganti nama, atau menghapus jalur target, pintasan dapat putus.

Diagram memperlihatkan cara pintasan menyambungkan file dan folder yang disimpan di lokasi lain.

Di mana saya bisa membuat pintasan?

Anda dapat membuat pintasan di lakehouse dan database Bahasa Kueri Kusto (KQL). Selain itu, pintasan yang Anda buat dalam item ini dapat menunjuk ke lokasi OneLake lainnya, Azure Data Lake Storage (ADLS) Gen2, akun penyimpanan Amazon S3, atau Dataverse. Anda bahkan dapat membuat pintasan ke lokasi lokal atau dibatasi jaringan dengan penggunaan gateway data lokal Fabric (OPDG).

Anda dapat menggunakan UI Fabric untuk membuat pintasan secara interaktif, dan Anda dapat menggunakan REST API untuk membuat pintasan secara terprogram.

Lakehouse

Saat membuat pintasan di lakehouse, Anda harus memahami struktur folder item. Lakehouses terdiri dari dua folder tingkat atas: folder Tabel dan folder File . Folder Tabel mewakili bagian terkelola dari lakehouse, sementara folder Files adalah bagian yang tidak dikelola dari lakehouse. Di folder Tabel, Anda hanya dapat membuat pintasan di tingkat atas. Pintasan tidak didukung di subdirektori lain dari folder Tabel . Jika target pintasan berisi data dalam format Delta\Parquet, lakehouse secara otomatis menyinkronkan metadata dan mengenali folder sebagai tabel. Di folder File, tidak ada batasan di mana Anda dapat membuat pintasan. Anda dapat membuatnya di tingkat hierarki folder apa pun. Penemuan tabel tidak terjadi di folder File .

Diagram memperlihatkan tampilan Danau dan tampilan Tabel berdampingan.

Database KQL

Saat Anda membuat pintasan dalam database KQL, pintasan akan muncul di folder Pintasan database. Database KQL memperlakukan pintasan seperti tabel eksternal. Untuk mengkueri pintasan, gunakan external_table fungsi Bahasa Kueri Kusto.

Cuplikan layar pintasan di dalam database KQL.

Di mana saya dapat mengakses pintasan?

Setiap layanan Fabric atau non-Fabric yang dapat mengakses data di OneLake dapat menggunakan pintasan. Pintasan transparan untuk layanan apa pun yang mengakses data melalui API OneLake. Pintasan hanya muncul sebagai folder lain di danau. Apache Spark, SQL, Real-Time Intelligence, dan Analysis Services semuanya dapat menggunakan pintasan saat mengkueri data.

Apache Spark

Buku catatan Apache Spark dan pekerjaan Apache Spark dapat menggunakan pintasan yang Anda buat di OneLake. Jalur file relatif dapat digunakan untuk langsung membaca data dari pintasan. Selain itu, jika Anda membuat pintasan di bagian Tabel lakehouse dan dalam format Delta, Anda dapat membacanya sebagai tabel terkelola menggunakan sintaks Apache Spark SQL.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

Catatan

Format Delta tidak mendukung tabel dengan karakter spasi dalam nama. Pintasan apa pun yang berisi spasi dalam nama tidak akan ditemukan sebagai tabel Delta di lakehouse.

SQL

Anda juga dapat membaca pintasan di bagian Tabel lakehouse melalui titik akhir analitik SQL untuk lakehouse. Anda dapat mengakses titik akhir analitik SQL melalui pemilih mode lakehouse atau melalui SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Kecerdasan Real Time

Pintasan dalam database KQL dikenali sebagai tabel eksternal. Untuk mengkueri pintasan, gunakan external_table fungsi Bahasa Kueri Kusto.

external_table('MyShortcut')
| take 100

Analysis Services

Anda dapat membuat model semantik untuk lakehouse yang berisi pintasan di bagian Tabel lakehouse. Saat model semantik berjalan dalam mode Direct Lake, Analysis Services dapat membaca data langsung dari pintasan.

Non-Fabric

Aplikasi dan layanan di luar Fabric juga dapat mengakses pintasan melalui ONELake API. OneLake mendukung subset API penyimpanan ADLS Gen2 dan Blob. Untuk mempelajari selengkapnya tentang API OneLake, lihat Akses OneLake dengan API.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Jenis pintasan

Pintasan OneLake mendukung beberapa sumber data sistem file. Ini termasuk lokasi OneLake internal, Azure Data Lake Storage (ADLS) Gen2, Amazon S3, Kompatibel S3, Google Cloud Storage (GCS) dan Dataverse.

Pintasan OneLake internal

Pintasan OneLake internal memungkinkan Anda mereferensikan data dalam item Fabric yang ada. Item-item ini termasuk lakehouse, database KQL, dan gudang data. Pintasan dapat menunjuk ke lokasi folder dalam item yang sama, di seluruh item dalam ruang kerja yang sama atau bahkan di seluruh item di ruang kerja yang berbeda. Saat Anda membuat pintasan di seluruh item, jenis item tidak perlu cocok. Misalnya, Anda dapat membuat pintasan di lakehouse yang menunjuk ke data di gudang data.

Saat pengguna mengakses data melalui pintasan ke lokasi OneLake lain, identitas pengguna panggilan digunakan untuk mengotorisasi akses ke data di jalur target pintasan*. Pengguna ini harus memiliki izin di lokasi target untuk membaca data.

Penting

Saat mengakses pintasan melalui model semantik Power BI atau T-SQL, identitas pengguna panggilan tidak diteruskan ke target pintasan. Sebagai gantinya, identitas pemilik item panggilan diteruskan, mendelegasikan akses ke pengguna panggilan.

Pintasan ADLS

Pintasan juga dapat dibuat ke akun penyimpanan ADLS Gen2. Saat Anda membuat pintasan ke ADLS, jalur target dapat menunjuk ke folder apa pun dalam namespace hierarkis. Minimal, jalur target harus menyertakan nama kontainer.

Access

Pintasan ADLS harus menunjuk ke titik akhir DFS untuk akun penyimpanan. Contoh: https://accountname.dfs.core.windows.net/

Jika akun penyimpanan Anda dilindungi oleh firewall penyimpanan, Anda dapat mengonfigurasi akses layanan tepercaya. Lihat Akses Ruang Kerja Tepercaya

Authorization

Pintasan ADLS menggunakan model otorisasi yang didelegasikan. Dalam model ini, pembuat pintasan menentukan kredensial untuk pintasan ADLS dan semua akses ke pintasan tersebut diotorisasi menggunakan kredensial tersebut. Jenis yang didelegasikan yang didukung adalah akun Organisasi, Kunci Akun, Tanda Tangan Akses Bersama (SAS), dan Perwakilan Layanan.

  • Akun organisasi - harus memiliki peran Pembaca Data Blob Penyimpanan, Kontributor Data Blob Penyimpanan, atau Pemilik Data Blob Penyimpanan pada akun penyimpanan
  • Tanda Tangan Akses Bersama (SAS) - harus menyertakan setidaknya izin berikut: Baca, Daftar, dan Jalankan
  • Perwakilan Layanan - harus memiliki peran Pembaca Data Blob Penyimpanan, Kontributor Data Blob Penyimpanan, atau Pemilik Data Blob Penyimpanan pada akun penyimpanan
  • Identitas Ruang Kerja - harus memiliki peran Pembaca Data Blob Penyimpanan, Kontributor Data Blob Penyimpanan, atau Pemilik Data Blob Penyimpanan pada akun penyimpanan

Catatan

Anda harus mengaktifkan Namespace Hierarkis di akun penyimpanan ADLS Gen 2 Anda.

Pintasan S3

Anda juga dapat membuat pintasan ke akun Amazon S3. Saat Anda membuat pintasan ke Amazon S3, jalur target harus berisi nama wadah minimal. S3 tidak secara asli mendukung namespace hierarkis tetapi Anda dapat menggunakan awalan untuk meniru struktur direktori. Anda dapat menyertakan awalan di jalur pintasan untuk lebih mempersempit cakupan data yang dapat diakses melalui pintasan. Saat Anda mengakses data melalui pintasan S3, awalan diwakili sebagai folder.

Access

Pintasan S3 harus menunjuk ke titik akhir https untuk wadah S3.

Contoh: https://bucketname.s3.region.amazonaws.com/

Catatan

Anda tidak perlu menonaktifkan pengaturan Akses Publik Blok S3 untuk akun S3 Anda agar pintasan S3 berfungsi.

Akses ke titik akhir S3 tidak boleh diblokir oleh firewall penyimpanan atau Virtual Private Cloud.

Authorization

Pintasan S3 menggunakan model otorisasi yang didelegasikan. Dalam model ini, pembuat pintasan menentukan kredensial untuk pintasan S3 dan semua akses ke pintasan tersebut diotorisasi menggunakan kredensial tersebut. Kredensial yang didelegasikan yang didukung adalah Kunci dan Rahasia untuk pengguna IAM.

Pengguna IAM harus memiliki izin berikut pada wadah yang ditujukan pintasan.

  • S3:GetObject
  • S3:GetBucketLocation
  • S3:ListBucket

Catatan

Pintasan S3 bersifat baca-saja. Mereka tidak mendukung operasi tulis terlepas dari izin untuk pengguna IAM.

Pintasan Google Cloud Storage

Pintasan dapat dibuat ke Google Cloud Storage (GCS) menggunakan XML API untuk GCS. Saat Anda membuat pintasan ke Google Cloud Storage, jalur target harus berisi nama wadah minimal. Anda juga dapat membatasi cakupan pintasan dengan menentukan lebih lanjut awalan/folder yang ingin Anda arahkan dalam hierarki penyimpanan.

Access

Saat mengonfigurasi koneksi untuk pintasan GCS, Anda dapat menentukan titik akhir global untuk layanan penyimpanan atau menggunakan titik akhir spesifik wadah.

  • Contoh Titik Akhir Global: https://storage.googleapis.com
  • Contoh Titik Akhir Spesifik Wadah: https://<BucketName>.storage.googleapis.com

Authorization

Pintasan GCS menggunakan model otorisasi yang didelegasikan. Dalam model ini, pembuat pintasan menentukan kredensial untuk pintasan GCS dan semua akses ke pintasan tersebut diotorisasi menggunakan kredensial tersebut. Kredensial yang didelegasikan yang didukung adalah kunci dan rahasia HMAC untuk akun Layanan atau Akun pengguna.

Akun harus memiliki izin untuk mengakses data dalam wadah GCS. Jika titik akhir khusus wadah digunakan dalam koneksi untuk pintasan, akun harus memiliki izin berikut:

  • storage.objects.get
  • stoage.objects.list

Jika titik akhir global digunakan dalam koneksi untuk pintasan, akun juga harus memiliki izin berikut:

  • storage.buckets.list

Catatan

Pintasan GCS bersifat baca-saja. Mereka tidak mendukung operasi tulis terlepas dari izin untuk akun yang digunakan.

Pintasan dataverse

Integrasi langsung Dataverse dengan Microsoft Fabric memungkinkan organisasi memperluas aplikasi perusahaan dan proses bisnis Dynamics 365 mereka ke Fabric. Integrasi ini dicapai melalui pintasan, yang dapat dibuat dengan dua cara: melalui portal pembuat PowerApps atau melalui Fabric secara langsung.

Membuat Pintasan melalui Portal Pembuat PowerApps

Pengguna PowerApps resmi dapat mengakses portal pembuat PowerApps dan menggunakan fitur Tautan ke Microsoft Fabric . Dari tindakan tunggal ini, Lakehouse dibuat di Fabric dan pintasan secara otomatis dihasilkan untuk setiap tabel di lingkungan Dataverse. Untuk informasi selengkapnya, lihat Integrasi langsung Dataverse dengan Microsoft Fabric.

Membuat Pintasan melalui Fabric

Pengguna Fabric juga dapat membuat pintasan ke Dataverse. Dari UX buat pintasan, pengguna dapat memilih Dataverse, menyediakan URL lingkungan mereka, dan menelusuri tabel yang tersedia. Pengalaman ini memungkinkan pengguna untuk secara selektif memilih tabel mana yang akan dibawa ke Fabric daripada membawa semua tabel.

Catatan

Tabel Dataverse harus terlebih dahulu tersedia di Dataverse Managed Lake sebelum terlihat di UX pintasan pembuatan Fabric. Jika tabel Anda tidak terlihat dari Fabric, gunakan fitur Tautan ke Microsoft Fabric dari portal pembuat PowerApps.

Authorization

Pintasan dataverse menggunakan model otorisasi yang didelegasikan. Dalam model ini, pembuat pintasan menentukan kredensial untuk pintasan Dataverse, dan semua akses ke pintasan tersebut diotorisasi menggunakan kredensial tersebut. Jenis kredensial yang didelegasikan yang didukung adalah akun Organisasi (OAuth2). Akun organisasi harus memiliki izin administrator sistem untuk mengakses data di Dataverse Managed Lake.

Catatan

Perwakilan layanan yang ditambahkan ke ruang kerja fabric harus memiliki peran admin untuk mengotorisasi pintasan Dataverse.

penembolokan

Penembolokan pintasan dapat digunakan untuk mengurangi biaya keluar yang terkait dengan akses data lintas cloud. Saat file dibaca melalui pintasan eksternal, file disimpan dalam cache untuk ruang kerja Fabric. Permintaan baca berikutnya dilayani dari cache daripada penyedia penyimpanan jarak jauh. File yang di-cache memiliki periode retensi 24 jam. Setiap kali file diakses, periode retensi diatur ulang. Jika file di penyedia penyimpanan jarak jauh lebih baru daripada file di cache, permintaan dilayani dari penyedia penyimpanan jarak jauh dan file yang diperbarui akan disimpan dalam cache. Jika file belum diakses selama lebih dari 24 jam, file dihapus menyeluruh dari cache. File individual yang berukuran lebih besar dari 1GB tidak di-cache.

Catatan

Penembolokan pintasan saat ini hanya didukung untuk pintasan yang kompatibel dengan GCS, S3, dan S3.

Untuk mengaktifkan penembolokan pintasan, buka panel Pengaturan ruang kerja. Pilih tab OneLake . Alihkan pengaturan cache ke Aktif dan pilih Simpan.

Cuplikan layar panel pengaturan ruang kerja dengan tab OneLake dipilih.

Cara pintasan menggunakan koneksi cloud

Otorisasi pintasan ADLS dan S3 didelegasikan dengan menggunakan koneksi cloud. Saat membuat pintasan ADLS atau S3 baru, Anda membuat koneksi baru atau memilih koneksi yang sudah ada untuk sumber data. Mengatur koneksi untuk pintasan adalah operasi pengikatan. Hanya pengguna dengan izin pada koneksi yang dapat melakukan operasi pengikatan. Jika Anda tidak memiliki izin pada koneksi, Anda tidak dapat membuat pintasan baru menggunakan koneksi tersebut.

Keamanan pintasan

Pintasan memerlukan izin tertentu untuk mengelola dan menggunakan. Keamanan pintasan OneLake melihat izin yang diperlukan untuk membuat pintasan dan mengakses data menggunakannya.

Bagaimana pintasan menangani penghapusan?

Pintasan tidak melakukan penghapusan berskala. Saat Anda melakukan operasi penghapusan pada pintasan, Anda hanya menghapus objek pintasan. Data dalam target pintasan tetap tidak berubah. Namun, jika Anda melakukan operasi penghapusan pada file atau folder dalam pintasan, dan Anda memiliki izin di target pintasan untuk melakukan operasi penghapusan, file dan/atau folder akan dihapus di target. Contoh berikut mengilustrasikan poin ini.

Hapus contoh

Pengguna A memiliki lakehouse dengan jalur berikut di dalamnya:

MyLakehouse\Files\MyShortcut\Foo\Bar

MyShortcut adalah pintasan yang menunjuk ke akun ADLS Gen2 yang berisi direktori Foo\Bar .

Menghapus objek pintasan

Pengguna A melakukan operasi penghapusan pada jalur berikut:

MyLakehouse\Files\MyShortcut

Dalam hal ini, MyShortcut dihapus dari lakehouse. Pintasan tidak melakukan penghapusan berjenjang, oleh karena itu file dan direktori di akun ADLS Gen2 Foo\Bar tetap tidak terpengaruh.

Menghapus konten yang dirujuk oleh pintasan

Pengguna A melakukan operasi penghapusan pada jalur berikut:

MyLakehouse\Files\MyShortcut\Foo\Bar

Dalam hal ini, jika Pengguna A memiliki izin tulis di akun ADLS Gen2, direktori Bar dihapus dari akun ADLS Gen2.

Tampilan silsilah ruang kerja

Saat membuat pintasan antara beberapa item Fabric dalam ruang kerja, Anda dapat memvisualisasikan hubungan pintasan melalui tampilan silsilah ruang kerja. Pilih tombol Tampilan silsilah data ( ) di sudut kanan atas penjelajah Ruang Kerja.

Cuplikan layar tampilan silsilah data.

Catatan

Tampilan silsilah data dilingkup ke satu ruang kerja. Pintasan ke lokasi di luar ruang kerja terpilih tidak akan muncul.

Batasan dan pertimbangan

  • Jumlah maksimum pintasan per item Fabric adalah 100.000. Dalam konteks ini, istilah item mengacu pada: aplikasi, lakehouse, gudang, laporan, dan banyak lagi.
  • Jumlah maksimum pintasan dalam satu jalur OneLake adalah 10.
  • Jumlah maksimum pintasan langsung ke tautan pintasan adalah 5.
  • Jalur target pintasan ADLS dan S3 tidak boleh berisi karakter yang dipesan dari RFC 3986 bagian 2.2. Untuk karakter yang diizinkan, lihat RFC 3968 bagian 2.3.
  • Nama pintasan OneLake, jalur induk, dan jalur target tidak boleh berisi karakter "%" atau "+".
  • Pintasan tidak mendukung karakter non-Latin.
  • Salin BLob API tidak didukung untuk pintasan ADLS atau S3.
  • Fungsi salin tidak berfungsi pada pintasan yang langsung mengarah ke kontainer ADLS. Disarankan untuk membuat pintasan ADLS ke direktori yang setidaknya satu tingkat di bawah kontainer.
  • Pintasan tambahan tidak dapat dibuat di dalam pintasan ADLS atau S3.
  • Silsilah data untuk pintasan ke Gudang Data dan Model Semantik saat ini tidak tersedia.
  • Mungkin perlu waktu hingga satu menit agar Table API mengenali pintasan baru.

Konten terkait