Membuat runtime integrasi bersama yang dihost sendiri di Azure Data Factory

Azure Data Factory Azure Synapse Analytics

Petunjuk

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

• Mulai uji coba gratis Fabric.
• Mutakhirkan dari Azure Data Factory ke Data Factory di Microsoft Fabric

Panduan ini menunjukkan kepada Anda cara membuat runtime integrasi bersama yang dihost sendiri di Azure Data Factory. Lalu Anda dapat menggunakan runtime integrasi bersama yang dihost sendiri di pabrik data lain.

Catatan

Saat Anda berbagi runtime integrasi yang di-host sendiri dengan lebih banyak pusat data, peningkatan beban kerja terkadang dapat menyebabkan waktu tunggu yang lebih lama. Jika waktu antrean menjadi berlebihan, Anda dapat meningkatkan simpul atau meluaskan skala dengan menambahkan simpul tambahan. Anda dapat menambahkan hingga 4 simpul.

Membuat runtime integrasi bersama yang dihost sendiri di Azure Data Factory

Anda dapat menggunakan kembali infrastruktur runtime integrasi yang dihost sendiri yang sudah Anda siapkan di pabrik data. Penggunaan kembali ini memungkinkan Anda membuat runtime integrasi terhubung yang dihosting sendiri di fabrik data yang berbeda dengan merujuk runtime integrasi yang dihosting sendiri yang sudah ada.

Untuk melihat pengantar dan demonstrasi fitur ini, tonton video berdurasi 12 menit berikut:

Terminologi

• Shared IR: IR asli yang dilakukan sendiri beroperasi pada infrastruktur fisik.
• IR Tertaut: IR yang merujuk pada IR yang dibagikan lainnya. IR yang tertaut adalah IR logis dan menggunakan infrastruktur dari IR bersama lain yang di-hosting sendiri.

Membuat IR bersama yang dihost sendiri menggunakan UI Azure Data Factory

Untuk membuat IR bersama yang dihost sendiri menggunakan UI Azure Data Factory, Anda dapat mengambil langkah-langkah berikut:

1. Di IR yang dihost sendiri untuk dibagikan, pilih Beri izin ke Data Factory lain dan di halaman "Penyiapan runtime integrasi", pilih Data Factory tempat Anda ingin membuat IR tertaut.

   

2. Catat dan salin "ID Sumber Daya" dari IR yang dihost sendiri di atas untuk dibagikan.

3. Di pabrik data tempat izin diberikan, buat IR baru yang dihost sendiri (tertaut) dan masukkan ID sumber daya.

   

   

   

Membuat IR bersama yang dihost sendiri menggunakan Azure PowerShell

Untuk membuat IR bersama yang dihost sendiri menggunakan Azure PowerShell, Anda dapat mengambil langkah-langkah berikut:

1. Membuat pabrik data.
2. Membuat runtime integrasi yang dihost sendiri.
3. Membagikan runtime integrasi yang dihost sendiri dengan pabrik data lainnya.
4. Membuat runtime integrasi yang terhubung.
5. Batalkan berbagi.

Prasyarat

Catatan

Kami menyarankan agar Anda menggunakan modul Az PowerShell Azure untuk berinteraksi dengan Azure. Untuk memulai, lihat Install Azure PowerShell. Untuk mempelajari cara bermigrasi ke modul Az PowerShell, lihat Migrasikan Azure PowerShell dari AzureRM ke Az.

• langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Memulai.

• Azure PowerShell. Ikuti instruksi dalam Install Azure PowerShell pada Windows dengan PowerShellGet. Anda menggunakan PowerShell untuk menjalankan skrip untuk membuat runtime integrasi yang dihost sendiri yang dapat dibagikan dengan pabrik data lainnya.

Catatan

Untuk daftar wilayah Azure tempat Data Factory saat ini tersedia, pilih wilayah yang Anda minati Products yang tersedia menurut wilayah.

Membuat pabrik data

1. Luncurkan Windows PowerShell Integrated Scripting Environment (ISE).

2. Buat variabel. Salin dan tempel skrip berikut ini. Ganti variabel, seperti SubscriptionName dan ResourceGroupName, dengan nilai aktual:

   # If input contains a PSH special character, e.g. "$", precede it with the escape character "`" like "`$". 
   $SubscriptionName = "[Azure subscription name]" 
   $ResourceGroupName = "[Azure resource group name]" 
   $DataFactoryLocation = "EastUS" 
   
   # Shared Self-hosted integration runtime information. This is a Data Factory compute resource for running any activities 
   # Data factory name. Must be globally unique 
   $SharedDataFactoryName = "[Shared Data factory name]" 
   $SharedIntegrationRuntimeName = "[Shared Integration Runtime Name]" 
   $SharedIntegrationRuntimeDescription = "[Description for Shared Integration Runtime]"
   
   # Linked integration runtime information. This is a Data Factory compute resource for running any activities
   # Data factory name. Must be globally unique
   $LinkedDataFactoryName = "[Linked Data factory name]"
   $LinkedIntegrationRuntimeName = "[Linked Integration Runtime Name]"
   $LinkedIntegrationRuntimeDescription = "[Description for Linked Integration Runtime]"
   

3. Masuk dan pilih langganan Anda. Tambahkan kode berikut ke skrip untuk masuk dan pilih langganan Azure Anda:

   Connect-AzAccount
   Select-AzSubscription -SubscriptionName $SubscriptionName
   

4. Buat grup sumber daya dan pabrik data.

   Catatan

   Langkah ini bersifat opsional. Jika Anda sudah memiliki pabrik data, lompati langkah ini.

   Buat grup sumber daya Azure dengan menggunakan perintah New-AzResourceGroup. Grup sumber daya adalah kontainer logis tempat sumber daya Azure disebarkan dan dikelola sebagai grup. Contoh berikut membuat grup sumber daya bernama myResourceGroup di lokasi WestEurope:

   New-AzResourceGroup -Location $DataFactoryLocation -Name $ResourceGroupName
   

   Jalankan perintah berikut untuk membuat pabrik data:

   Set-AzDataFactoryV2 -ResourceGroupName $ResourceGroupName `
                            -Location $DataFactoryLocation `
                            -Name $SharedDataFactoryName
   

Membuat runtime integrasi yang dihost sendiri

Catatan

Langkah ini bersifat opsional. Jika Anda sudah memiliki runtime integrasi yang dihost sendiri yang ingin Anda bagikan dengan pabrik data lain, lompati langkah ini.

Jalankan perintah berikut untuk membuat runtime integrasi yang dihost sendiri:

$SharedIR = Set-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName `
    -Type SelfHosted `
    -Description $SharedIntegrationRuntimeDescription

Mendapatkan kunci autentikasi untuk runtime integrasi dan mendaftarkan sebuah simpul

Jalankan perintah berikut untuk mendapatkan kunci autentikasi untuk runtime integrasi yang dihost sendiri:

Get-AzDataFactoryV2IntegrationRuntimeKey `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName

Respons berisi kunci autentikasi untuk runtime integrasi yang dihost sendiri ini. Anda menggunakan kunci ini saat Anda mendaftarkan simpul runtime integrasi.

Memasang dan mendaftarkan runtime integrasi yang dihost sendiri

1. Unduh penginstal integration runtime yang dihost sendiri dari Azure Data Factory Integration Runtime.

2. Jalankan alat penginstal untuk memasang integrasi yang dihost sendiri di komputer lokal.

3. Daftarkan integrasi yang di-host sendiri yang baru dengan kunci autentikasi yang Anda ambil di langkah sebelumnya.

Membagikan runtime integrasi yang dihost sendiri dengan pabrik data lain

Membuat pabrik data lain

Catatan

Langkah ini bersifat opsional. Jika Anda sudah memiliki pabrik data yang ingin Anda bagikan, lompati langkah ini. Tetapi untuk menambahkan atau menghapus penetapan peran ke pabrik data lain, Anda harus memiliki izin Microsoft.Authorization/roleAssignments/write dan Microsoft.Authorization/roleAssignments/delete, seperti Pengguna Akses Administrator atau Owner.

$factory = Set-AzDataFactoryV2 -ResourceGroupName $ResourceGroupName `
    -Location $DataFactoryLocation `
    -Name $LinkedDataFactoryName

Memberikan izin

Berikan izin ke pabrik data yang perlu mengakses runtime integrasi yang dihosting sendiri yang Anda buat dan daftarkan.

Penting

Jangan lompati langkah ini!

New-AzRoleAssignment `
    -ObjectId $factory.Identity.PrincipalId ` #MSI of the Data Factory with which it needs to be shared
    -RoleDefinitionName 'Contributor' `
    -Scope $SharedIR.Id

Membuat rutime integrasi tertaut yang dihost sendiri

Jalankan perintah berikut untuk membuat runtime integrasi tertaut yang dihost sendiri:

Set-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $LinkedDataFactoryName `
    -Name $LinkedIntegrationRuntimeName `
    -Type SelfHosted `
    -SharedIntegrationRuntimeResourceId $SharedIR.Id `
    -Description $LinkedIntegrationRuntimeDescription

Sekarang Anda dapat menggunakan runtime integrasi tertaut ini di layanan apa pun yang ditautkan. Runtime integrasi yang tertaut menggunakan runtime integrasi yang dibagikan untuk menjalankan tugas.

Mencabut berbagi runtime integrasi dari pabrik data

Untuk mencabut akses pabrik data dari runtime integrasi bersama, jalankan perintah berikut:

Remove-AzRoleAssignment `
    -ObjectId $factory.Identity.PrincipalId `
    -RoleDefinitionName 'Contributor' `
    -Scope $SharedIR.Id

Untuk menghapus runtime integrasi tertaut yang ada, jalankan perintah berikut ini terhadap runtime integrasi bersama:

Remove-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName `
    -LinkedDataFactoryName $LinkedDataFactoryName

Pemantauan

IR Bersama

IR Tertaut

Batasan yang diketahui dari berbagi IR yang dihost sendiri

• Pabrik data tempat IR tertaut dibuat harus memiliki Identitas Terkelola. Secara default, pabrik data yang dibuat di portal Azure atau cmdlet PowerShell memiliki Identitas Terkelola yang dibuat secara implisit. Tetapi ketika pabrik data dibuat melalui templat Azure Resource Manager atau SDK, Anda harus mengatur properti Identity secara eksplisit. Pengaturan ini memastikan bahwa Resource Manager membuat pabrik data yang berisi Identitas Terkelola.

• Data Factory .NET SDK yang mendukung fitur ini harus versi 1.1.0 atau yang lebih baru.

• Untuk memberikan izin, Anda memerlukan peran Pemilik atau peran Pemilik yang telah diwariskan di pabrik data tempat IR bersama tersebut berada.

• Fitur berbagi hanya berfungsi untuk pabrik data yang berada dalam penyewa Microsoft Entra yang sama.

• Untuk pengguna Microsoft Entra ID guest, fungsionalitas pencarian di UI, yang mencantumkan semua pabrik data dengan menggunakan kata kunci pencarian, tidak berfungsi. Tetapi selama pengguna tamu adalah pemilik pabrik data, Anda dapat membagikan IR tanpa fungsi pencarian. Untuk Identitas Terkelola dari pabrik data yang perlu berbagi IR, masukkan Identitas Terkelola tersebut di kotak Tetapkan Izin dan pilih Tambahkan di antarmuka pengguna Data Factory.

  Catatan

  Fitur ini hanya tersedia di Data Factory V2.

Konten terkait

• Tinjau konsep integrasi runtime di Azure Data Factory.

• Pelajari cara buat runtime integrasi yang dihost sendiri di portal Azure.