Gunakan Azure SQL Managed Instance dengan Layanan Integrasi SQL Server (SSIS) di Azure Data Factory atau Azure Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Petunjuk / Saran

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

Kini Anda dapat memindahkan proyek, paket, dan beban kerja Layanan Integrasi SQL Server (SSIS) ke cloud Azure. Sebarkan, jalankan, dan kelola proyek dan paket SSIS di Azure SQL Database atau SQL Managed Instance dengan alat yang sudah tidak asing lagi seperti SQL Server Management Studio (SSMS). Artikel ini menyoroti area tertentu berikut saat menggunakan Azure SQL Managed Instance dengan runtime integrasi (IR) Azure-SSIS:

Siapkan lingkungan runtime integrasi Azure-SSIS dengan SSISDB yang dihosting oleh Azure SQL Managed Instance

Prasyarat

  1. Aktifkan ID Microsoft Entra di Azure SQL Managed Instance, saat memilih autentikasi Microsoft Entra.

  2. Pilih cara menyambungkan SQL Managed Instance, melalui titik akhir privat atau melalui titik akhir publik:

    • Melalui titik akhir privat (lebih disarankan)

      1. Pilih jaringan virtual tempat Azure-SSIS IR akan bergabung:

        • Di dalam jaringan virtual yang sama dengan instans terkelola, dengan subnet yang berbeda.
        • Di dalam jaringan virtual yang berbeda dari instance terkelola, baik melalui peering jaringan virtual (yang terbatas pada wilayah yang sama karena batasan peering Global VNet) ataupun melalui koneksi dari jaringan virtual ke jaringan virtual.

        Untuk informasi selengkapnya tentang konektivitas SQL Managed Instance, lihat Menyambungkan aplikasi Anda ke Azure SQL Managed Instance.

      2. Konfigurasikan jaringan virtual.

    • Melalui titik akhir publik

      Azure SQL Managed Instance dapat menyediakan konektivitas melalui titik akhir publik. Persyaratan masuk dan keluar harus dipenuhi untuk memungkinkan lalu lintas antara SQL Managed Instance dan runtime integrasi Azure-SSIS:

      • ketika runtime integrasi Azure-SSIS tidak berada di dalam jaringan virtual (lebih disarankan)

        Persyaratan dalam SQL Managed Instance, untuk memungkinkan lalu lintas masuk dari Azure-SSIS IR.

        Protokol transportasi Sumber Rentang port sumber Tujuan Rentang port tujuan
        PKT Tag Layanan Cloud Azure * JaringanVirtual 3342

        Untuk informasi selengkapnya, lihat Memperbolehkan lalu lintas titik akhir publik pada kelompok keamanan jaringan.

      • ketika Azure-SSIS IR (runtime integrasi) berada di dalam jaringan virtual

        Ada skenario khusus ketika SQL Managed Instance berada di wilayah yang tidak didukung runtime integrasi (IR) Azure-SSIS. IR Azure-SSIS berada di dalam jaringan virtual tanpa dukungan peering VNet karena batasan peering Global VNet. Dalam skenario ini, Azure-SSIS IR di dalam jaringan virtual menghubungkan SQL Managed Instance melalui titik akhir publik. Gunakan aturan Kelompok Keamanan Jaringan (NSG) berikut untuk memungkinkan lalu lintas antara SQL Managed Instance dan runtime integrasi Azure-SSIS:

        1. Persyaratan dalam SQL Managed Instance, untuk memungkinkan lalu lintas masuk dari Azure-SSIS IR.

          Protokol transportasi Sumber Rentang port sumber Tujuan Rentang port tujuan
          PKT Alamat IP statis Azure-SSIS Integrasi Runtime
          Untuk detailnya, lihat Bawa IP Publik Anda Sendiri untuk Azure-SSIS IR.          		 * JaringanVirtual 3342

        2. Persyaratan lalu lintas keluar Azure-SSIS IR, untuk memungkinkan lalu lintas keluar ke SQL Managed Instance.

          Protokol transportasi Sumber Rentang port sumber Tujuan Rentang port tujuan
          PKT JaringanVirtual * SQL Managed Instance alamat IP titik akhir publik 3342

Konfigurasikan jaringan virtual

  1. Izin pengguna. Pengguna yang membuat IR Azure-SSIS harus memiliki penetapan peran setidaknya pada sumber daya Azure Data Factory dengan salah satu opsi di bawah ini:

    • Gunakan peran Kontributor Jaringan bawaan. Peran ini dilengkapi dengan izin Microsoft.Network/*, yang memiliki cakupan yang jauh lebih besar dari yang diperlukan.
    • Buat peran kustom yang hanya menyertakan izin Microsoft.Network/virtualNetworks/*/join/action yang diperlukan. Jika Anda juga ingin menggunakan alamat IP publik Anda sendiri untuk IR Azure-SSIS saat menambahkannya ke jaringan virtual Azure Resource Manager, sertakan juga izin Microsoft.Network/publicIPAddresses/*/join/action dalam peran tersebut.

  2. Jaringan virtual.

    1. Pastikan bahwa grup sumber daya jaringan virtual dapat membuat dan menghapus sumber daya jaringan Azure tertentu.

      IR Azure-SSIS perlu membuat sumber daya jaringan tertentu di bawah grup sumber daya yang sama dengan jaringan virtual. Sumber daya ini meliputi:

      • Azure penyeimbang beban, dengan nama <Guid>-azurebatch-cloudserviceloadbalancer
      • Kelompok keamanan jaringan, dengan nama *<Guid>-azurebatch-cloudservicenetworksecuritygroup
      • Alamat IP publik Azure, dengan nama -azurebatch-cloudservicepublicip

      Sumber daya tersebut dibuat ketika integrasi IR Azure-SSIS Anda dimulai. Mereka dihapus ketika IR Azure-SSIS Anda berhenti. Untuk mencegah terhentinya Azure-SSIS IR Anda, jangan gunakan kembali sumber daya jaringan ini pada sumber daya Anda yang lain.

    2. Pastikan Anda tidak memiliki kunci sumber daya pada grup sumber daya/langganan tempat jaringan virtual berada. Jika Anda mengonfigurasi kunci baca-saja/hapus, maka memulai dan menghentikan fungsi runtime integrasi Azure-SSIS Anda akan gagal atau tidak akan merespons lagi.

    3. Pastikan Anda tidak memiliki definisi Azure Policy yang mencegah sumber daya berikut ini dibuat dalam grup sumber daya/langganan tempat jaringan virtual berada:

      • Microsoft.Network/LoadBalancers (Penyeimbang Beban)
      • Microsoft.Network/NetworkSecurityGroups

    4. Izinkan lalu lintas pada aturan Network Security Group (NSG) untuk memungkinkan lalu lintas antara SQL Managed Instance dan Azure-SSIS IR, serta lalu lintas yang diperlukan oleh Azure-SSIS IR.

      1. Persyaratan dalam SQL Managed Instance, untuk memungkinkan lalu lintas masuk dari Azure-SSIS IR.

        Protokol transportasi Sumber Rentang port sumber Tujuan Rentang port tujuan Komentar
        PKT JaringanVirtual * JaringanVirtual 1433, 11000-11999 Jika kebijakan koneksi server SQL Database Anda diatur ke Proksi alih-alih Pengalihan, hanya port 1433 yang diperlukan.

      2. Persyaratan keluar Azure-SSIS IR, agar memungkinkan lalu lintas keluar menuju SQL Managed Instance, serta lalu lintas lain yang dibutuhkan oleh Azure-SSIS IR.

        Protokol transportasi Sumber Rentang port sumber Tujuan Rentang port tujuan Komentar
        PKT JaringanVirtual * JaringanVirtual 1433, 11000-11999 Izinkan lalu lintas keluar ke SQL Managed Instance. Jika kebijakan koneksi diatur ke Proksi alih-alih Pengalihan, hanya port 1433 yang diperlukan.
        PKT JaringanVirtual * AzureCloud 443 Node runtime integrasi Azure-SSIS Anda di jaringan virtual menggunakan port ini untuk mengakses layanan Azure, seperti Azure Storage dan Azure Event Hubs.
        PKT JaringanVirtual * internet 80 (Opsional) Node IR Azure-SSIS Anda di jaringan virtual menggunakan port ini untuk mengunduh daftar pencabutan sertifikat dari internet. Jika Anda memblokir lalu lintas ini, Anda mungkin mengalami penurunan kinerja ketika memulai IR dan kehilangan kemampuan untuk memeriksa daftar pencabutan sertifikat untuk penggunaan sertifikat. Jika Anda ingin lebih mempersempit tujuan ke FQDN tertentu, lihat Mengonfigurasi Rute yang Ditentukan Pengguna (User Defined Route/UDR).
        PKT JaringanVirtual * Storage 445 (Opsional) Aturan ini hanya diperlukan ketika Anda ingin mengeksekusi paket SSIS yang disimpan di Azure Files.

      3. Permintaan lalu lintas masuk Azure-SSIS IR, untuk memungkinkan lalu lintas yang diperlukan oleh Azure-SSIS IR.

        Protokol transportasi Sumber Rentang port sumber Tujuan Rentang port tujuan Komentar
        PKT BatchNodeManagement * JaringanVirtual 29876, 29877 (jika Anda menggabungkan IR ke jaringan virtual Resource Manager)

        10100, 20100, 30100 (jika Anda menggabungkan IR ke jaringan virtual klasik)        		 Layanan Data Factory menggunakan port ini untuk berkomunikasi dengan node IR Azure-SSIS Anda di jaringan virtual.

        Baik Anda membuat NSG tingkat subnet atau tidak, Data Factory akan selalu mengonfigurasi NSG pada tingkat kartu antarmuka jaringan (NIC) yang terpasang pada komputer virtual yang menghosting IR Azure-SSIS. Hanya lalu lintas masuk dari alamat IP Data Factory pada port tertentu yang diizinkan oleh NSG tingkat NIC. Meskipun Anda membuka port ini untuk lalu lintas internet di tingkat subnet, lalu lintas dari alamat IP yang bukan alamat IP Data Factory diblokir pada tingkat NIC.
        PKT CorpNetSaw * JaringanVirtual 3389 (Opsional) Aturan ini hanya diperlukan ketika pendukung Microsoft meminta pelanggan untuk membuka pemecahan masalah tingkat lanjut dan dapat ditutup tepat setelah pemecahan masalah. Tag layanan CorpNetSaw hanya mengizinkan stasiun kerja akses aman pada jaringan korporat Microsoft untuk menggunakan desktop jarak jauh. Tag layanan ini tidak dapat dipilih dari portal dan hanya tersedia melalui Azure PowerShell atau Azure CLI.

        Pada NSG tingkat NIC, port 3389 terbuka secara default, dan kami memungkinkan Anda mengontrol port 3389 di NSG tingkat subnet. Sementara itu, Azure-SSIS IR telah mencegah lalu lintas keluar melalui port 3389 secara default pada aturan Windows Firewall di setiap node IR untuk keamanan.

    5. Lihat konfigurasi jaringan virtual untuk informasi lebih lanjut:

      • Jika Anda membawa alamat IP publik Anda sendiri untuk Azure-SSIS IR (Integration Runtime)
      • Jika Anda menggunakan server Sistem Nama Domain (Domain Name System/DNS) Anda sendiri
      • Jika Anda menggunakan Azure ExpressRoute atau rute yang ditentukan pengguna (user-defined route/UDR)
      • Jika Anda menggunakan Azure-SSIS IR yang disesuaikan

Menyiapkan Azure-SSIS Integration Runtime

  1. Pilih titik akhir privat atau titik akhir publik SQL Managed Instance.

    Saat memprovisikan Azure-SSIS IR di portal Microsoft Azure atau aplikasi ADF, pada halaman Pengaturan SQL, gunakan titik akhir privat dari SQL Managed Instance atau titik akhir publik saat membuat katalog SSIS (SSISDB).

    Nama host titik akhir publik hadir dalam format <mi_name>.public.<dns_zone>.database.windows.net dan port yang digunakan untuk sambungan adalah 3342.

    Cuplikan layar memperlihatkan penyetelan integrasi runtime dengan Buat katalog SSIS dipilih dan titik akhir server basis data katalog telah dimasukkan.

  2. Pilih autentikasi Microsoft Entra saat berlaku.

    catalog-public-endpoint

    Untuk informasi selengkapnya tentang cara mengaktifkan autentikasi Microsoft Entra, lihat Mengaktifkan ID Microsoft Entra di Azure SQL Managed Instance.

  3. Gabungkan Azure-SSIS IR dengan jaringan virtual jika berlaku.

    Pada halaman pengaturan tingkat lanjut, pilih Virtual Network dan subnet yang akan bergabung.

    Saat berada di dalam jaringan virtual yang sama dengan SQL Managed Instance, pilih subnet yang berbeda dari SQL Managed Instance.

    Untuk informasi selengkapnya tentang cara menggabungkan runtime integrasi Azure-SSIS ke dalam jaringan virtual, lihat Menggabungkan runtime integrasi Azure-SSIS dengan jaringan virtual.

    Cuplikan layar memperlihatkan pengaturan Tingkat lanjut penyetelan runtime integrasi, di mana Anda dapat memilih jaringan virtual untuk menggabungkan runtime integrasi Anda.

Untuk informasi selengkapnya tentang cara membuat runtime integrasi Azure-SSIS, lihat Membuat runtime integrasi Azure-SSIS di Azure Data Factory.

Membersihkan log SSISDB

Kebijakan penyimpanan log SSISDB didefinisikan oleh properti di bawah ini dalam catalog.catalog_properties:

  • OPERASI_PEMBERSIHAN_DIAKTIFKAN

    Bila nilainya TRUE, detail operasi dan pesan operasi yang lebih lama dari RETENTION_WINDOW (hari) dihapus dari katalog. Ketika nilainya FALSE, semua detail operasi dan pesan operasi disimpan dalam katalog. Catatan: job SQL Server melakukan operasi pembersihan.

  • JENDELA_RETENSI

    Jumlah hari detail operasi dan pesan operasi disimpan dalam katalog. Ketika nilainya -1, jendela retensi tak terbatas. Catatan: Jika tidak ada pembersihan yang diinginkan, atur OPERATION_CLEANUP_ENABLED menjadi FALSE.

Untuk menghapus log SSISDB yang berada di luar jendela retensi yang ditetapkan oleh admin, Anda dapat memicu prosedur tersimpan [internal].[cleanup_server_retention_window_exclusive]. Secara opsional, Anda dapat menjadwalkan eksekusi pekerjaan agen SQL Managed Instance untuk memicu prosedur tersimpan.

Konten terkait

  • Last updated on