Bagikan melalui

Cara menyerap data ke Fabric menggunakan aktivitas Salin Azure Data Factory

  • Artikel

Konektor Microsoft Fabric Lakehouse di Azure Data Factory (ADF) dan Azure Synapse Analytics memungkinkan operasi baca dan tulis ke Microsoft Fabric Lakehouse (baik untuk tabel maupun file). Konektor ini memberi Anda kemampuan untuk menggunakan Alur ADF dan Synapse dan Aliran Data Pemetaan yang ada untuk berinteraksi dengan Fabric Lakehouses. Artikel ini membantu Anda mengonfigurasi Microsoft Fabric untuk memungkinkan autentikasi perwakilan layanan lalu menunjukkan Koneksi or Lakehouse untuk membaca dan menulis ke Fabric Lakehouse.

Untuk informasi selengkapnya tentang Microsoft Fabric Lakehouse, lihat Apa itu lakehouse?

Koneksi or Azure Data Factory Lakehouse

Konektor layanan tertaut Lakehouse baru dan dua Himpunan Data baru sekarang tersedia untuk pelanggan yang ingin mulai membaca dari dan menulis ke Microsoft Fabric Lakehouse. Untuk panduan lengkap tentang Koneksi or Lakehouse, lihat Menyalin dan mengubah data di Microsoft Fabric Lakehouse Files (Pratinjau).

Autentikasi

Layanan tertaut Azure Data Factory

Konektor Microsoft Fabric Lakehouse memerlukan perwakilan layanan (SPN)/pendaftaran aplikasi untuk autentikasi. Untuk memulai, Anda harus membuat SPN baru atau menggunakan SPN yang sudah ada. Microsoft Fabric memungkinkan akses SPN ke grup keamanan tertentu atau untuk seluruh organisasi. Jika grup keamanan tertentu adalah opsi yang digunakan organisasi Anda, maka SPN yang digunakan dalam konektor Lakehouse harus termasuk dalam grup keamanan yang ditambahkan ke daftar yang diizinkan.

Catatan

izin API Power BI (Didelegasikan) tidak diperlukan

Akses ke API Power BI

Dari portal admin Power BI, admin penyewa Power BI harus mengaktifkan Izinkan perwakilan layanan untuk menggunakan API Power BI. Grup keamanan harus ditentukan di bawah pengaturan Izinkan perwakilan layanan untuk menggunakan API Power BI atau Anda dapat mengaktifkan untuk seluruh organisasi.

Untuk panduan lengkap, lihat Menyematkan konten Power BI di aplikasi analitik yang disematkan dengan perwakilan layanan dan rahasia aplikasi.

Catatan

Saat menetapkan Grup Keamanan ke Ruang Kerja, mungkin ada penundaan bagi perwakilan layanan untuk diberikan akses ke Ruang Kerja karena penembolokan izin di Azure. Jika Anda memerlukan akses langsung, Anda bisa menggunakan PowerShell untuk memaksa refresh izin pengguna. Untuk melakukannya, Buka PowerShell sebagai Administrator, lalu jalankan perintah berikut:

Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace

Akses ruang kerja

Setelah Grup Keamanan ditambahkan, Grup Keamanan atau perwakilan layanan juga harus ditambahkan ke setiap Ruang Kerja sebagai Anggota, Kontributor, atau Admin. Lihat Memberi pengguna akses ke ruang kerja untuk detail selengkapnya.

Demo: Menyiapkan autentikasi

Perwakilan layanan pendaftaran aplikasi

Membuat atau menggunakan perwakilan layanan pendaftaran aplikasi (SPN) yang ada. Ikuti langkah-langkah dalam Mendaftarkan aplikasi dengan ID Microsoft Entra dan membuat perwakilan layanan.

Catatan

Anda tidak perlu menetapkan URI Pengalihan.

Cuplikan layar memperlihatkan detail perwakilan layanan baru.

Kelompok keamanan

Buat Grup Keamanan Microsoft Entra baru atau gunakan yang sudah ada lalu tambahkan SPN ke dalamnya. Ikuti langkah-langkah dalam Membuat grup dasar dan menambahkan anggota untuk membuat Grup Keamanan Microsoft Entra.

Cuplikan layar memperlihatkan tempat menambahkan anggota ke grup keamanan.

portal admin Power BI

Dari portal admin Power BI, navigasikan ke Pengaturan pengembang dan pilih Izinkan perwakilan layanan untuk menggunakan API Power BI, lalu aktifkan. Kemudian tambahkan Grup Keamanan dari langkah sebelumnya. Untuk informasi selengkapnya tentang pengaturan penyewa portal admin Power BI, lihat Pengaturan penyewa.

Cuplikan layar memperlihatkan portal admin Power BI dengan opsi Izinkan perwakilan layanan ke pengguna API Power BI diperluas dan diaktifkan.

Catatan

Pastikan pengaturan Pengguna dapat mengakses data yang disimpan di OneLake dengan aplikasi eksternal ke Fabric diaktifkan. Lihat Mengizinkan aplikasi yang berjalan di luar Fabric untuk mengakses data melalui OneLake.

Ruang kerja

Tambahkan SPN atau grup layanan ke ruang kerja dengan akses Anggota, Kontributor, atau Admin .

Azure Data Factory: Layanan tertaut

Dari Azure Data Factory, buat layanan tertaut Microsoft Fabric Lakehouse baru.

Catatan

Untuk menemukan ruang kerja dan ID Lakehouse, navigasikan ke Fabric Lakehouse Anda dan identifikasi dari URL. Misalnya: https://.../groups/<Workspace ID>>/lakehouses/<Lakehouse ID>

Azure Data Factory: Himpunan data

Buat Himpunan Data yang mereferensikan layanan tertaut Microsoft Fabric Lakehouse.

Catatan

Pilih Tidak Ada untuk opsi Impor skema jika tabel belum ada dan Anda secara manual menentukan nama tabel baru.

Cuplikan layar memperlihatkan dialog Himpunan data baru dengan jenis himpunan data Microsoft Fabric Lakehouse Table dipilih.

Cuplikan layar memperlihatkan dialog properti Himpunan data dengan opsi Impor skema diatur ke Tidak Ada.

Demo: Menulis ke tabel Fabric Lakehouse dengan alur ADF

Sumber

Buat alur baru dan tambahkan aktivitas Salin ke kanvas alur. Dari tab Sumber aktivitas Salin, pilih himpunan data sumber yang ingin Anda pindahkan ke tabel Lakehouse. Dalam contoh ini, kami merujuk file .csv dari akun Azure Data Lake Storage (ADLS) Gen2.

Cuplikan layar memperlihatkan konfigurasi tab Pengaturan sumber aktivitas Salin dengan .csv dipilih untuk himpunan data sumber.

Sink

Navigasi ke tab Sink aktivitas Salin dan pilih himpunan data Fabric Lakehouse yang dibuat sebelumnya.

Cuplikan layar memperlihatkan pemilihan himpunan data Fabric Lakehouse yang dibuat sebelumnya.

Menjalankan alur

Jalankan alur untuk memindahkan data .csv ke tabel Fabric Lakehouse.

Cuplikan layar memperlihatkan hasil menjalankan alur.

Demo: Membaca dari tabel Fabric Lakehouse dengan alur ADF

Di bagian di atas, kami menunjukkan cara menggunakan ADF untuk menulis ke Fabric Lakehouse Table. Sekarang, mari kita baca dari Fabric Lakehouse Table dan menulis ke file Parquet di Azure Data Lake Storage (ADLS) Gen2 dengan alur serupa.

Sumber

Buat alur baru dan tambahkan aktivitas Salin ke kanvas alur. Dari tab Sumber aktivitas Salin, pilih himpunan data Fabric Lakehouse yang dibuat sebelumnya.

Cuplikan layar memperlihatkan pilihan dan pratinjau sumber data Lakehouse yang dibuat sebelumnya.

Sink

Navigasi ke tab Sink aktivitas Salin dan pilih himpunan data tujuan. Dalam contoh ini, tujuannya adalah Azure Data Lake Storage (Gen2), sebagai file Parquet.

Cuplikan layar memperlihatkan pemilihan sink ADLS Gen2.

Menjalankan alur

Jalankan alur untuk memindahkan data dari tabel Fabric Lakehouse ke file Parquet di ADLS Gen2.

Cuplikan layar memperlihatkan hasil menjalankan alur untuk mengimpor data ke ADLS Gen2 dari Fabric Lakehouse.

Memeriksa file Parquet di ADLS Gen2

Data dari tabel Fabric Lakehouse sekarang tersedia di ADLS Gen2 sebagai file Parquet.

Cuplikan layar memperlihatkan file Parquet yang dihasilkan oleh alur.

Ringkasan

Di bagian ini, kami mengeksplorasi persyaratan untuk lakehouse Koneksi or menggunakan autentikasi perwakilan layanan ke Microsoft Fabric Lakehouse, lalu menelusuri contoh untuk membaca dan menulis ke Lakehouse dari alur Azure Data Factory. Konektor dan kemampuan ini juga tersedia di Aliran Data Pemetaan Azure Data Factory, Azure Synapse Analytics, dan Aliran Data Pemetaan Azure Synapse Analytics.

Konten terkait

Dokumentasi Azure Data Factory