Bagikan melalui

Tutorial: Mengonfigurasi database cermin Microsoft Fabric dari Azure Databricks

Pencerminan database di Microsoft Fabric adalah teknologi SaaS berbasis perusahaan, berbasis cloud, zero-ETL. Panduan ini membantu Anda membuat database cermin dari Azure Databricks, yang membuat salinan data Azure Databricks Anda yang baca-saja dan terus direplikasi di OneLake.

Prasyarat

  • Anda harus mengaktifkan akses data eksternal di metastore. Untuk informasi selengkapnya, lihat Mengaktifkan akses data eksternal di metastore.
  • Buat atau gunakan ruang kerja Azure Databricks yang sudah ada dengan Unity Catalog diaktifkan.
  • Anda harus memiliki EXTERNAL USE SCHEMA hak istimewa pada skema di Unity Catalog yang berisi tabel yang akan diakses dari Fabric.
  • Anda perlu menggunakan model izin Fabric untuk mengatur kontrol akses untuk katalog, skema, dan tabel di Fabric.
  • Ruang kerja Azure Databricks tidak dapat berada di belakang titik akhir privat.

Membuat database cermin dari Azure Databricks

Ikuti langkah-langkah ini untuk membuat database cermin baru dari Azure Databricks Unity Catalog Anda.

  1. Pindah ke https://powerbi.com.

  2. Pilih + Baru lalu Cerminkan katalog Azure Databricks.

    Cuplikan layar dari portal Fabric dari item cermin Azure Databricks baru.

  3. Pilih koneksi yang sudah ada jika Anda memiliki koneksi yang dikonfigurasi.

    • Jika Anda tidak memiliki koneksi yang sudah ada, buat koneksi baru dan masukkan semua detailnya. Anda dapat mengautentikasi ke ruang kerja Azure Databricks menggunakan 'Akun organisasi' atau 'Perwakilan layanan.' Untuk membuat koneksi, Anda harus menjadi pengguna atau admin ruang kerja Azure Databricks.
    • Untuk mengakses akun Azure Data Lake Storage (ADLS) Gen2 di belakang firewall, Anda harus mengikuti langkah-langkah untuk Mengaktifkan akses keamanan jaringan untuk akun Azure Data Lake Storage Gen2 Anda nanti di artikel ini.

  4. Setelah Anda tersambung ke ruang kerja Azure Databricks, pada halaman Pilih tabel dari katalog Databricks , Anda dapat memilih katalog, skema, dan tabel melalui daftar penyertaan/pengecualian yang ingin Anda tambahkan dan akses dari Microsoft Fabric. Pilih katalog dan skema dan tabel terkait yang ingin Anda tambahkan ke ruang kerja Fabric Anda.

  5. Secara default, nama item akan menjadi nama katalog yang anda coba tambahkan ke Fabric. Pada halaman Tinjau dan buat , Anda dapat meninjau detail dan secara opsional mengubah nama item database cermin, yang harus unik di ruang kerja Anda. Pilih Buat.

  6. Item katalog Databricks dibuat dan untuk setiap tabel, pintasan jenis Databricks terkait juga dibuat.

    • Skema yang tidak memiliki tabel apa pun tidak ditampilkan.

  7. Anda juga dapat melihat pratinjau data saat mengakses pintasan dengan memilih titik akhir analitik SQL. Buka item titik akhir analitik SQL untuk meluncurkan halaman editor Penjelajah dan Kueri. Anda dapat mengkueri tabel Azure Databricks cermin Anda dengan T-SQL di Editor SQL.

Membuat pintasan Lakehouse ke item katalog Databricks

Anda juga dapat membuat pintasan dari Lakehouse ke item katalog Databricks Anda untuk menggunakan data Lakehouse Anda dan menggunakan Spark Notebooks.

  1. Pertama, kita membuat lakehouse. Jika Anda sudah memiliki lakehouse di ruang kerja ini, Anda dapat menggunakan lakehouse yang ada.
    1. Pilih ruang kerja Anda di menu navigasi.
    2. Pilih + New>Lakehouse.
    3. Berikan nama untuk lakehouse Anda di bidang Nama , dan pilih Buat.
  2. Di tampilan Explorer lakehouse Anda, di menu Dapatkan data di lakehouse Anda, di bawah Muat data di lakehouse Anda, pilih tombol Pintasan baru .
  3. Pilih Microsoft OneLake. Pilih katalog. Ini adalah item data yang Anda buat di langkah-langkah sebelumnya. Kemudian pilih Berikutnya.
  4. Pilih tabel dalam skema, dan pilih Berikutnya.
  5. Pilih Buat.
  6. Pintasan sekarang tersedia di Lakehouse Anda untuk digunakan dengan data Lakehouse Anda yang lain. Anda juga bisa menggunakan Notebooks dan Spark untuk melakukan pemrosesan data pada data untuk tabel katalog ini yang Anda tambahkan dari ruang kerja Azure Databricks Anda.

Membuat model semantik

Anda dapat membuat model semantik Power BI berdasarkan item cermin Anda, dan menambahkan/menghapus tabel secara manual. Untuk informasi selengkapnya tentang membuat dan mengelola model semantik, lihat Membuat model semantik Power BI.

Untuk pengalaman terbaik, disarankan agar Anda menggunakan Browser Microsoft Edge untuk Tugas Pemodelan Semantik.

Mengelola hubungan model semantik Anda

Setelah Anda membuat model semantik baru berdasarkan database cermin Anda,

  1. Pilih Tata Letak Model dari Explorer di ruang kerja Anda.
  2. Setelah tata letak Model dipilih, Anda disajikan dengan grafik tabel yang disertakan sebagai bagian dari Model Semantik.
  3. Untuk membuat hubungan antar tabel, seret nama kolom dari satu tabel ke nama kolom lain dari tabel lain. Popup disajikan untuk mengidentifikasi hubungan dan kardinalitas untuk tabel.

Mengaktifkan akses keamanan jaringan untuk akun Azure Data Lake Storage Gen2 Anda

Bagian ini memandu Anda mengonfigurasi keamanan jaringan untuk akun Azure Data Lake Storage (ADLS) Gen2 Anda, saat firewall Azure Storage dikonfigurasi. 

Prasyarat

  • Buat atau gunakan ruang kerja Azure Databricks yang sudah ada dengan Unity Catalog diaktifkan.
  • Untuk mengaktifkan jenis autentikasi identitas ruang kerja (disarankan), ruang kerja Fabric harus dikaitkan dengan kapasitas F apa pun. Untuk membuat identitas ruang kerja, lihat Mengautentikasi dengan identitas ruang kerja.
  • Bagian ini untuk menjangkau akun penyimpanan Azure Data Lake Storage (ADLS) Gen2 di belakang firewall Azure Storage. Penyimpanan ruang kerja Azure Databricks di belakang firewall Azure Storage tidak didukung.
  • Katalog harus dikaitkan dengan satu akun penyimpanan.

Mengaktifkan akses keamanan jaringan

  1. Saat membuat Katalog Azure Databricks Cermin baru, di langkah Pilih data , pilih tab Keamanan Jaringan .

    Cuplikan layar tab Keamanan Jaringan di Databricks.

  2. Pilih Koneksi yang Sudah Ada ke akun penyimpanan jika Anda memiliki koneksi yang dikonfigurasi. 

    • Jika Anda tidak memiliki koneksi ADLS yang sudah ada, buat koneksi Baru.  
    • URL titik akhir penyimpanan adalah tempat data katalog yang dipilih disimpan. Titik akhir harus menjadi folder tertentu tempat data disimpan, daripada menentukan titik akhir untuk berada di tingkat akun penyimpanan. Misalnya, sediakan https://<storage account>.dfs.core.windows.net/container1/folder1 daripada https://<storage account>.dfs.core.windows.net/.
    • Berikan kredensial koneksi. Jenis autentikasi yang didukung adalah Akun organisasi, Perwakilan layanan, dan Identitas Ruang Kerja (disarankan).

  3. Di portal Microsoft Azure, berikan hak akses ke akun penyimpanan berdasarkan jenis autentikasi yang Anda pilih di langkah sebelumnya. Navigasi ke akun penyimpanan di portal Microsoft Azure. Pilih Kontrol Akses (IAM). Pilih +Tambahkan dan Tambahkan penetapan peran. Untuk informasi selengkapnya, lihat Menetapkan peran Azure menggunakan portal Microsoft Azure.

    • Jika Anda menentukan akun penyimpanan sebagai bagian dari koneksi, objek autentikasi yang dipilih harus memiliki peran Pembaca Data Blob Penyimpanan di akun penyimpanan. 
    • Jika Anda menentukan kontainer tertentu sebagai bagian dari koneksi, objek autentikasi yang dipilih harus memiliki peran Pembaca Data Blob Penyimpanan pada kontainer.  
    • Jika Anda menentukan folder tertentu dalam kontainer (disarankan), objek autentikasi yang dipilih harus memiliki Baca (R) dan Jalankan (E) di tingkat folder. Jika Anda menggunakan Perwakilan Layanan atau Identitas Ruang Kerja sebagai jenis autentikasi, Anda perlu memberikan izin Service Principal atau Workspace Identity Execute tersebut ke folder akar kontainer, dan ke setiap folder dalam hierarki folder yang mengarah ke folder yang Anda tentukan. 

    Untuk informasi dan langkah-langkah selengkapnya untuk memberikan akses ADLS, lihat Kontrol akses ADLS.

  4. Aktifkan Akses Ruang Kerja Tepercaya untuk mengakses akun Azure Data Lake Storage (ADLS) Gen2 dengan dukungan firewall dengan cara yang aman. Akses ruang kerja tepercaya memerlukan pembuatan koneksi langsung ke akun penyimpanan ADLS yang dapat digunakan secara independen dari koneksi ruang kerja Azure Databricks. Untuk informasi selengkapnya, lihat Database cermin Secure Fabric dari Azure Databricks.

  5. Pintasan ke tabel Katalog Unity dibuat untuk tabel yang nama akun penyimpanannya cocok dengan akun penyimpanan yang ditentukan dalam koneksi ADLS. Untuk tabel apa pun yang nama akun penyimpanannya tidak cocok dengan akun penyimpanan yang ditentukan dalam koneksi ADLS, pintasan untuk tabel tersebut tidak akan dibuat. 

Penting

Jika Anda berencana untuk menggunakan koneksi ADLS di luar skenario item katalog Azure Databricks Cermin, Anda juga perlu memberikan peran Delegator Blob Penyimpanan di akun penyimpanan.

Mengaktifkan keamanan OneLake pada item Mirrored Databricks

Petakan kebijakan Unity Catalog (UC) ke keamanan Microsoft OneLake dengan mengikuti langkah-langkah berikut:

  1. Sinkronkan Grup Entra dan terapkan izin di Katalog Unity. Di Azure Databricks, gunakan Manajemen Identitas Otomatis untuk menyinkronkan grup ID Microsoft Entra dan memberinya hak istimewa Unity Catalog yang diperlukan, misalnya, USE, BROWSE, SELECT pada katalog/tabel yang relevan.
  2. Tetapkan Peran Akses Data OneLake. Di ruang kerja Fabric, buat peran akses data untuk data yang baru dicerminkan. Tambahkan grup Entra yang sama ke peran ini dan berikan akses baca ke pintasan OneLake yang sesuai dengan tabel Azure Databricks. Anda bisa segera memulai keamanan tingkat tabel dengan tombol Kelola keamanan OneLake di pita. Pastikan Anda menjaga konfigurasi akses tetap sinkron saat struktur katalog dan izin berevolusi. Untuk informasi selengkapnya, lihat model kontrol akses data OneLake (pratinjau).

Konten terkait

  • Last updated on