Tutorial: Mengonfigurasi database Microsoft Fabric yang tercermin dari Azure Databricks

Pencerminan database di Microsoft Fabric adalah teknologi SaaS berbasis perusahaan, berbasis cloud, zero-ETL. Panduan ini membantu Anda membuat database cermin dari Azure Databricks, yang membuat salinan data Azure Databricks Anda yang baca-saja dan terus direplikasi di OneLake.

Prasyarat

  • Ruang kerja Fabric.
  • Aktifkan akses data eksternal di metastore. Untuk informasi selengkapnya, lihat Mengaktifkan akses data eksternal di metastore.
  • Buat atau gunakan ruang kerja Azure Databricks yang sudah ada dengan Unity Catalog diaktifkan.
  • Miliki izin EXTERNAL USE SCHEMA pada skema di Unity Catalog yang berisi tabel yang diakses Fabric.
  • Gunakan model izin Fabric untuk mengatur kontrol akses untuk katalog, skema, dan tabel di Fabric.

Membuat database cermin dari Azure Databricks

Ikuti langkah-langkah ini untuk membuat database cermin baru dari Azure Databricks Unity Catalog Anda.

  1. Buka ruang kerja Anda di Fabric.

  2. Pilih Item baru>Katalog Azure Databricks tercermin.

    Cuplikan layar di portal Fabric untuk item duplikat Azure Databricks baru.

  3. Pilih koneksi yang sudah ada jika Anda memiliki koneksi yang dikonfigurasi, atau buat koneksi baru.

    Untuk membuat koneksi, Anda harus menjadi pengguna atau admin ruang kerja Azure Databricks. Anda dapat mengautentikasi ke ruang kerja Azure Databricks Anda dengan menggunakan akun Organizational atau Service utama autentikasi.

    Note

    Pilihan autentikasi yang Anda buat di sini berlaku untuk autentikasi Databricks dan otorisasi Katalog Unity. Jika Anda perlu mengakses akun Azure Data Lake Storage (ADLS) Gen2 di belakang firewall, ikuti langkah-langkah untuk Enable akses keamanan jaringan untuk akun Azure Data Lake Storage Gen2 Anda nanti di artikel ini. Ketika ADLS Gen2 berada di balik firewall, Identitas Ruang Kerja Fabric diperlukan untuk mengakses firewall penyimpanan, apa pun metode autentikasi yang dipilih untuk koneksi Databricks.

  4. Setelah Anda tersambung ke ruang kerja Azure Databricks, pada Memilih tabel dari katalog Databricks, pilih katalog, skema, dan tabel yang ingin Anda tambahkan dan akses dari Fabric dengan menggunakan daftar penyertaan atau pengecualian. Pilih katalog dan skema dan tabel terkait yang ingin Anda tambahkan ke ruang kerja Fabric Anda.

    Anda hanya dapat melihat katalog, skema, dan tabel yang dapat Anda akses. Untuk informasi selengkapnya, lihat Hak istimewa Katalog Unity dan objek yang dapat diamankan.

    Secara default, opsi Secara otomatis menyinkronkan perubahan katalog di masa mendatang untuk skema yang dipilih diaktifkan. Untuk informasi selengkapnya, lihat Mirroring Azure Databricks > sinkronisasi metadata.

  5. Untuk melanjutkan, klik Berikutnya.

  6. Pada halaman Tinjau dan buat, tinjau detailnya dan, jika perlu, ubah nama item database yang dicerminkan, yang harus unik di ruang kerja Anda. Secara default, nama item yang dicerminkan adalah nama katalog.

  7. Pilih Buat untuk melanjutkan.

  8. Item katalog Databricks dibuat dan untuk setiap tabel, tipe pintasan Databricks terkait juga dibuat.

    Skema yang tidak memiliki tabel apa pun tidak ditampilkan.

  9. Anda juga dapat melihat pratinjau data saat mengakses pintasan dengan memilih titik akhir analitik SQL. Buka item titik akhir analitik SQL untuk meluncurkan halaman editor Penjelajah dan Kueri. Anda dapat mengkueri tabel Azure Databricks cermin dengan menggunakan T-SQL di Editor SQL.

Buat pintasan Lakehouse ke item katalog Databricks

Anda juga dapat membuat pintasan dari Lakehouse ke katalog item Databricks untuk memanfaatkan data Lakehouse dan menggunakan Spark Notebooks.

  1. Pertama, buat lakehouse. Jika Anda sudah memiliki lakehouse di ruang kerja ini, Anda dapat menggunakan lakehouse yang ada.
    1. Pilih ruang kerja Anda di menu navigasi.
    2. Pilih + New>Lakehouse.
    3. Masukkan nama untuk lakehouse Anda di bidang Nama, dan pilih Buat.
  2. Di tampilan Explorer lakehouse Anda, di menu Dapatkan data di lakehouse Anda, di bawah Muat data di lakehouse Anda, pilih tombol Pintasan baru.
  3. Pilih Microsoft OneLake. Pilih katalog. Ini adalah item data yang Anda buat di langkah-langkah sebelumnya. Kemudian pilih Berikutnya.
  4. Pilih tabel dalam skema, dan pilih Berikutnya.
  5. Pilih Buat.
  6. Pintasan sekarang tersedia di Lakehouse Anda untuk digunakan dengan data Lakehouse Anda yang lain. Anda juga bisa menggunakan Notebooks dan Spark untuk melakukan pemrosesan data pada data untuk tabel katalog ini yang Anda tambahkan dari ruang kerja Azure Databricks Anda.

Membuat model semantik

Anda dapat membuat model semantik Power BI berdasarkan item cermin Anda, dan menambahkan atau menghapus tabel secara manual. Untuk informasi selengkapnya tentang membuat dan mengelola model semantik, lihat Membuat model semantik Power BI.

Untuk pengalaman terbaik, gunakan browser Microsoft Edge untuk tugas pemodelan semantik.

Mengelola hubungan model semantik Anda

Setelah Anda membuat model semantik baru berdasarkan database cermin Anda, konfigurasikan hubungan antar tabel.

  1. Pilih Tata Letak Model dari Explorer di ruang kerja Anda.
  2. Setelah Anda memilih Tata letak model, Anda disajikan dengan grafik tabel yang disertakan sebagai bagian dari model semantik.
  3. Untuk membuat hubungan antar tabel, seret nama kolom dari satu tabel ke nama kolom lain dari tabel lain. Popup muncul untuk mengidentifikasi hubungan dan kardinalitas untuk tabel-tabel tersebut.

Mengaktifkan akses keamanan jaringan untuk akun Azure Data Lake Storage Gen2 Anda

Konfigurasikan keamanan jaringan untuk akun Azure Data Lake Storage (ADLS) Gen2 Saat Anda memiliki firewall Azure Storage dikonfigurasi. Bagian ini berlaku untuk akun penyimpanan ADLS Gen2 di belakang firewall Azure Storage. Penyimpanan ruang kerja Azure Databricks yang berada di balik firewall Azure Storage tidak didukung.

Prasyarat

  • Saat firewall Azure Storage melindungi ADLS Gen2, Fabric menggunakan Identitas Ruang Kerja untuk mengakses firewall. Bahkan jika Anda memilih Service utama untuk autentikasi ADLS di tab Network Security, Anda harus mengizinkan Identitas Ruang Kerja di firewall akun Azure Storage.

    • Identitas Ruang Kerja digunakan untuk mengakses firewall penyimpanan. Perwakilan layanan atau OAuth digunakan untuk autentikasi Databricks dan otorisasi Katalog Unity.

    • Untuk mengaktifkan jenis autentikasi identitas ruang kerja (disarankan), kaitkan ruang kerja Fabric dengan kapasitas F. Untuk membuat identitas ruang kerja, lihat Mengautentikasi dengan identitas ruang kerja.

  • Anda hanya dapat mengaitkan katalog dengan satu akun penyimpanan.

Mengaktifkan akses keamanan jaringan

  1. Saat membuat Katalog Azure Databricks Cermin baru, di langkah Pilih data , pilih tab Keamanan Jaringan .

    Cuplikan layar tab Keamanan Jaringan di Databricks.

  2. Pilih Koneksi yang Sudah Ada ke akun penyimpanan jika Anda memiliki koneksi yang dikonfigurasi. 

    • Jika Anda tidak memiliki koneksi ADLS yang sudah ada, buat koneksi Baru.  
    • URL titik akhir penyimpanan adalah tempat data katalog yang dipilih disimpan. Titik akhir harus menjadi folder tertentu tempat data disimpan, daripada menentukan titik akhir untuk berada di tingkat akun penyimpanan. Misalnya, sediakan https://<storage account>.dfs.core.windows.net/container1/folder1 daripada https://<storage account>.dfs.core.windows.net/.
    • Berikan kredensial koneksi. Jenis autentikasi yang didukung adalah Akun organisasi, Perwakilan layanan, dan Identitas Ruang Kerja (disarankan).

    Note

    Saat ADLS Gen2 dilindungi oleh firewall Azure Storage, Fabric menggunakan Identitas Ruang Kerja untuk melintasi firewall terlepas dari jenis autentikasi yang dipilih di sini. Jenis autentikasi (prinsipal layanan atau akun organisasi) menentukan autentikasi Databricks dan otorisasi Unity Catalog, sedangkan identitas ruang kerja menentukan akses tepercaya melalui firewall penyimpanan. Identitas Ruang Kerja harus diizinkan di firewall akun Azure Storage meskipun Anda memilih jenis autentikasi yang berbeda untuk koneksi ADLS.

  3. Di portal Microsoft Azure, berikan hak akses ke akun penyimpanan berdasarkan jenis autentikasi yang Anda pilih di langkah sebelumnya. Navigasi ke akun penyimpanan di portal Microsoft Azure. Pilih Kontrol Akses (IAM). Pilih +Tambahkan dan Tambahkan penetapan peran. Untuk informasi selengkapnya, lihat Menetapkan peran Azure menggunakan portal Microsoft Azure.

    Tetapkan peran berdasarkan cakupan koneksi:

    • Akun penyimpanan: Identitas autentikasi yang dipilih memerlukan peran Pembaca Data Blob Penyimpanan di akun penyimpanan.
    • Kontainer: Identitas autentikasi yang dipilih memerlukan peran Pembaca Data Blob Penyimpanan pada kontainer.
    • Folder dalam kontainer (disarankan): Identitas autentikasi yang dipilih memerlukan izin Baca (R) dan Jalankan (E) di tingkat folder. Jika Anda menggunakan Perwakilan Layanan atau Identitas Ruang Kerja sebagai jenis autentikasi, berikan juga izin Eksekusi identitas tersebut pada folder akar kontainer dan setiap folder dalam hierarki yang mengarah ke folder yang ditentukan.

    Untuk informasi dan langkah-langkah selengkapnya untuk memberikan akses ADLS, lihat Kontrol akses ADLS.

  4. Aktifkan Trusted Workspace Access dengan mengonfigurasi aturan instans sumber daya untuk ruang kerja Fabric Anda di akun penyimpanan. Untuk langkah-langkah terperinci, lihat Akses ruang kerja tepercaya dan Mengamankan database cermin Fabric dari Azure Databricks.

Setelah koneksi dibuat, pintasan ke tabel Katalog Unity dibuat untuk tabel yang nama akun penyimpanannya cocok dengan akun penyimpanan yang ditentukan dalam koneksi ADLS. Pintasan tidak dibuat untuk tabel yang nama akun penyimpanannya tidak cocok.

Penting

Jika Anda berencana menggunakan koneksi ADLS di luar skenario item katalog Azure Databricks yang dicerminkan, Anda juga perlu menetapkan peran Storage Blob Delegator pada akun penyimpanan.

Tip

Jika Anda menerima kesalahan otorisasi 403 saat menggunakan Service Principal untuk autentikasi Databricks dengan akun ADLS Gen2 yang dilindungi firewall, pastikan bahwa Workspace Identity telah diizinkan dalam firewall akun Azure Storage. Bahkan ketika Perwakilan Layanan dipilih untuk autentikasi, Fabric menggunakan Identitas Ruang Kerja untuk melintasi firewall penyimpanan.

Mengaktifkan keamanan OneLake pada item Mirrored Databricks

Petakan kebijakan Unity Catalog (UC) ke keamanan Microsoft OneLake dengan mengikuti langkah-langkah berikut:

  1. Sinkronkan Grup Entra dan terapkan izin di Katalog Unity. Di Azure Databricks, gunakan Manajemen Identitas Otomatis untuk menyinkronkan grup Microsoft Entra ID dan memberinya hak istimewa Katalog Unity yang diperlukan (USE, BROWSE, dan SELECT) pada katalog dan tabel yang relevan.
  2. Tetapkan Peran Akses Data OneLake. Di ruang kerja Fabric, buat peran akses data untuk data yang baru dicermin. Tambahkan grup Entra yang sama ke dalam peran ini dan berikan akses baca ke pintasan OneLake yang sesuai dengan tabel Azure Databricks. Untuk mulai menggunakan keamanan tingkat tabel, pilih tombol Kelola keamanan OneLake di pita. Pastikan Anda menjaga konfigurasi akses tetap sinkron saat struktur katalog dan izin berevolusi. Untuk informasi selengkapnya, lihat model kontrol akses data OneLake (pratinjau).

Konten terkait

  • Last updated on