Menyalin dan mengubah data di Azure SQL Managed Instance menggunakan Azure Data Factory atau Synapse Analytics

Azure Data Factory Azure Synapse Analytics

Petunjuk

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

Artikel ini menguraikan cara menggunakan Aktivitas Salin untuk menyalin data dari dan ke Azure SQL Managed Instance, dan menggunakan Data Flow untuk mengubah data dalam Azure SQL Managed Instance. Untuk mempelajari lebih lanjut, baca artikel pengantar untuk Azure Data Factory dan Synapse Analytics.

Kemampuan yang didukung

Konektor Azure SQL Managed Instance ini didukung untuk kemampuan berikut:

Kemampuan yang didukung	IR	Titik akhir privat terkelola
Copy activity (sumber/sink)	(1) (2)	✓ Pratinjau umum
Memetakan aliran data (sumber/tujuan)	(1)	✓ Pratinjau umum
Aktivitas pencarian	(1) (2)	✓ Pratinjau umum
Aktivitas GetMetadata	(1) (2)	✓ Pratinjau umum
Aktivitas skrip	(1) (2)	✓ Pratinjau umum
Aktivitas prosedur tersimpan	(1) (2)	✓ Pratinjau umum

(1) Azure runtime integrasi (2) Runtime integrasi yang dihost sendiri

Untuk Copy activity, konektor Azure SQL Database ini mendukung fungsi-fungsi berikut:

Menyalin data dengan menggunakan autentikasi SQL dan autentikasi token Aplikasi Microsoft Entra dengan perwakilan layanan atau identitas terkelola untuk sumber daya Azure.
Sebagai sumber, mengambil data dengan menggunakan kueri SQL atau prosedur tersimpan. Anda juga dapat memilih untuk menyalin secara paralel dari sumber SQL MI, lihat bagian Penyalinan paralel dari SQL MI untuk detailnya.
Sebagai sink, secara otomatis membuat sebuah tabel tujuan jika tidak ada berdasarkan skema sumber; menambahkan data ke sebuah tabel atau memanggil prosedur tersimpan dengan logika kustom selama proses penyalinan.

Prasyarat

Untuk mengakses titik akhir publik SQL Managed Instance , Anda dapat menggunakan runtime integrasi Azure terkelola. Pastikan Anda mengaktifkan titik akhir publik dan juga mengizinkan lalu lintas titik akhir publik di grup keamanan jaringan, sehingga layanan dapat terhubung ke database Anda. Untuk informasi selengkapnya, lihat panduan ini.

Untuk mengakses titik akhir privat SQL Managed Instance, siapkan runtime integrasi yang di-host sendiri agar dapat mengakses database. Jika Anda menyediakan runtime integrasi yang dihosting sendiri di jaringan virtual yang sama dengan instans terkelola Anda, pastikan bahwa mesin runtime integrasi Anda berada dalam subnet yang berbeda dengan instans terkelola Anda. Jika Anda menyediakan runtime integrasi yang dihosting sendiri di jaringan virtual yang berbeda dari instans terkelola Anda, Anda dapat menggunakan peering jaringan virtual atau koneksi antarjaringan virtual. Untuk informasi selengkapnya, lihat Hubungkan aplikasi Anda ke SQL Managed Instance.

Mulai sekarang

Untuk melakukan aktivitas salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

Membuat layanan tertaut ke instans terkelola Azure SQL menggunakan UI

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke instans Terkelola SQL di UI portal Azure.

Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:
- Azure Data Factory
- Azure Synapse
Cari SQL dan pilih konektor Azure SQL Server Managed Instance.
Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

Detail konfigurasi konektor

Bagian berikut ini menyediakan detail tentang properti yang digunakan untuk menentukan entitas Azure Data Factory khusus untuk konektor SQL Managed Instance.

Properti layanan terhubung

Konektor Azure SQL Managed Instance Recommended mendukung TLS 1.3. Lihat bagian ini untuk meningkatkan versi konektor Azure SQL Managed Instance Anda dari versi Legacy. Untuk detail properti, lihat bagian yang sesuai.

Versi yang direkomendasikan
Versi lama

Versi yang Direkomendasikan

Properti generik ini didukung untuk layanan tertaut Azure SQL Managed Instance saat Anda menerapkan versi Recommended:

Properti	Deskripsi	Wajib
jenis	Properti type harus diatur ke AzureSqlMI.	Ya
server	Nama atau alamat jaringan instans server SQL yang ingin Anda sambungkan.	Ya
database	Nama database.	Ya
jenisOtentikasi	Jenis yang digunakan untuk autentikasi. Nilai yang diizinkan adalah SQL (default), ServicePrincipal, SystemAssignedManagedIdentity, UserAssignedManagedIdentity. Buka bagian autentikasi yang relevan pada properti dan prasyarat tertentu.	Ya
pengaturanSelaluTerenkripsi	Tetapkan informasi alwaysencryptedsettings yang diperlukan untuk mengaktifkan Always Encrypted untuk melindungi data sensitif yang disimpan di server SQL dengan menggunakan identitas terkelola atau prinsip layanan. Untuk informasi selengkapnya, lihat contoh JSON mengikuti tabel dan bagian Menggunakan Always Encrypted. Jika tidak ditentukan, pengaturan default selalu dienkripsi akan dinonaktifkan.	Tidak
enkripsi	Menunjukkan apakah enkripsi TLS diperlukan untuk semua data yang dikirim antara klien dan server. Opsi: wajib (untuk true, default)/opsional (untuk false)/ketat.	Tidak
trustServerCertificate	Tunjukkan apakah saluran akan dienkripsi saat melewati rantai sertifikat untuk memvalidasi kepercayaan.	Tidak
NamaHostDalamSertifikat	Nama host yang digunakan saat memvalidasi sertifikat server untuk koneksi. Ketika tidak ditentukan, nama server digunakan untuk validasi sertifikat.	Tidak
connectVia	Runtime integrasi ini digunakan untuk menyambungkan ke penyimpanan data. Anda dapat menggunakan runtime integrasi yang dihost sendiri atau runtime integrasi Azure jika instans terkelola Anda memiliki titik akhir publik dan memungkinkan layanan mengaksesnya. Jika tidak ditentukan, runtime integrasi bawaan Azure akan digunakan.	Ya

Untuk properti koneksi tambahan, lihat tabel di bawah ini:

Properti	Deskripsi	Wajib
applicationIntent	Jenis beban kerja aplikasi saat menyambungkan ke server. Nilai yang diizinkan adalah `ReadOnly` dan `ReadWrite`.	Tidak
connectTimeout	Lamanya waktu (dalam detik) untuk menunggu koneksi ke server sebelum mengakhiri upaya dan menghasilkan kesalahan.	Tidak
connectRetryCount	Jumlah percobaan koneksi ulang setelah mengidentifikasi kegagalan koneksi tidak aktif. Nilai harus berupa bilangan bulat antara 0 dan 255.	Tidak
connectRetryInterval	Jumlah waktu (dalam detik) antara setiap upaya koneksi ulang setelah mengidentifikasi kegagalan koneksi diam. Nilai harus berupa bilangan bulat antara 1 dan 60.	Tidak
batas waktu keseimbangan beban	Waktu minimum (dalam detik) agar koneksi hidup di kumpulan koneksi sebelum koneksi dihancurkan.	Tidak
commandTimeout	Waktu tunggu default (dalam detik) sebelum mengakhiri upaya untuk menjalankan perintah dan menghasilkan kesalahan.	Tidak
keamananTertanam	Nilai yang diizinkan adalah `true` atau `false`. Saat menentukan `false`, tunjukkan apakah userName dan kata sandi ditentukan dalam koneksi. Saat menentukan `true`, menunjukkan apakah kredensial akun Windows saat ini digunakan untuk autentikasi.	Tidak
failoverPartner	Nama atau alamat server mitra yang akan disambungkan jika server utama tidak berfungsi.	Tidak
maxPoolSize	Jumlah maksimum koneksi yang diizinkan dalam kumpulan koneksi untuk koneksi tertentu.	Tidak
minPoolSize	Jumlah minimum koneksi yang diizinkan dalam kumpulan koneksi untuk koneksi tertentu.	Tidak
multipleActiveResultSets	Nilai yang diizinkan adalah `true` atau `false`. Saat Anda menentukan `true`, aplikasi dapat mempertahankan beberapa kumpulan hasil aktif (MARS). Ketika Anda menentukan `false`, aplikasi harus memproses atau membatalkan semua kumpulan hasil dari satu batch sebelum dapat menjalankan batch lain pada koneksi tersebut.	Tidak
multiSubnetFailover	Nilai yang diizinkan adalah `true` atau `false`. Jika aplikasi Anda tersambung ke grup ketersediaan AlwaysOn (AG) pada subnet yang berbeda, atur properti ini untuk `true` memberikan deteksi dan koneksi yang lebih cepat ke server yang saat ini aktif.	Tidak
ukuran paket	Ukuran dalam byte paket jaringan yang digunakan untuk berkomunikasi dengan instans server.	Tidak
Penggabungan	Nilai yang diizinkan adalah `true` atau `false`. Saat Anda menentukan `true`, koneksi akan dikumpulkan. Ketika Anda menentukan `false`, koneksi akan dibuka secara eksplisit setiap kali koneksi diminta.	Tidak

Autentikasi SQL

Untuk menggunakan autentikasi SQL, selain properti generik yang dijelaskan di bagian sebelumnya, tentukan properti berikut:

Properti	Deskripsi	Wajib
userName	Nama pengguna yang digunakan untuk menyambungkan ke server.	Ya
kata sandi	Kata sandi untuk nama pengguna. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman. Atau, Anda dapat mengacu pada rahasia yang tersimpan di Azure Key Vault.	Ya

Contoh 1: menggunakan autentikasi SQL

{
    "name": "AzureSqlMILinkedService",
    "properties": {
        "type": "AzureSqlMI",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Example 2: gunakan autentikasi SQL dengan kata sandi di Azure Key Vault

{
    "name": "AzureSqlMILinkedService",
    "properties": {
        "type": "AzureSqlMI",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Contoh 3: gunakan autentikasi SQL dengan Always Encrypted

{
    "name": "AzureSqlMILinkedService",
    "properties": {
        "type": "AzureSqlMI",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SQL",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "alwaysEncryptedSettings": {
            "alwaysEncryptedAkvAuthType": "ServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autentikasi principal layanan

Untuk menggunakan autentikasi perwakilan layanan, selain properti generik yang dijelaskan di bagian sebelumnya, tentukan properti berikut

Properti	Deskripsi	Wajib
servicePrincipalId	Menentukan ID klien aplikasi.	Ya
servicePrincipalCredential	Kredensial prinsipal layanan. Tentukan kunci aplikasi. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau referensi rahasia yang disimpan di Azure Key Vault.	Ya
penyewa	Menentukan informasi penyewa, seperti nama domain atau ID penyewa, tempat aplikasi Anda berada. Ambil dengan mengarahkan mouse ke sudut kanan atas portal Azure.	Ya
azureCloudType	Untuk autentikasi perwakilan layanan, tentukan jenis lingkungan cloud Azure tempat aplikasi Microsoft Entra Anda terdaftar. Nilai yang diizinkan adalah AzurePublic, AzureChina, AzureUsGovernment, dan AzureGermany. Secara default, lingkungan cloud layanan digunakan.	Tidak

Anda juga harus mengikuti langkah-langkah di bawah:

Ikuti langkah-langkah untuk menyediakan administrator Microsoft Entra untuk Instance Terkelola.
Buat aplikasi Microsoft Entra dari portal Azure. Catat nama aplikasi dan nilai berikut yang menentukan layanan tertaut:
- ID aplikasi
- Kunci Aplikasi
- ID Penyewa
Buat login untuk perwakilan layanan. Di SQL Server Management Studio (SSMS), sambungkan ke instans terkelola Anda menggunakan akun SQL Server yang merupakan sysadmin. Dalam database master, jalankan T-SQL berikut ini:
```
CREATE LOGIN [your application name] FROM EXTERNAL PROVIDER
```
Buat pengguna database terkonten untuk prinsipal layanan. Sambungkan ke database dari atau ke mana Anda ingin menyalin data, jalankan T-SQL berikut:
```
CREATE USER [your application name] FROM EXTERNAL PROVIDER
```
Berikan izin yang diperlukan perwakilan layanan seperti yang biasa Anda lakukan untuk pengguna SQL dan lainnya. Jalankan kode berikut. Untuk opsi selengkapnya, lihat dokumen ini.
```
ALTER ROLE [role name e.g. db_owner] ADD MEMBER [your application name]
```
Mengonfigurasi layanan terhubung SQL Managed Instance.

Contoh: menggunakan autentikasi perwakilan layanan

{
    "name": "AzureSqlDbLinkedService",
    "properties": {
        "type": "AzureSqlMI",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "hostNameInCertificate": "<host name>",
            "authenticationType": "ServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<application key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autentikasi identitas terkelola yang diatur oleh sistem

Pabrik data atau ruang kerja Synapse dapat dikaitkan dengan identitas terkelola yang ditetapkan system untuk sumber daya Azure yang mewakili layanan untuk autentikasi ke layanan Azure lainnya. Anda dapat menggunakan identitas terkelola ini untuk autentikasi SQL Managed Instance. Layanan yang ditunjuk dapat mengakses dan menyalin data dari atau ke database Anda dengan menggunakan identitas ini.

Untuk menggunakan autentikasi identitas terkelola yang ditetapkan sistem, tentukan properti generik yang dijelaskan di bagian sebelumnya, dan ikuti langkah-langkah ini.

Ikuti langkah-langkah untuk menyediakan administrator Microsoft Entra untuk Instance Terkelola Anda.
Buat login untuk identitas terkelola yang ditetapkan sistem. Di SQL Server Management Studio (SSMS), sambungkan ke instans terkelola Anda menggunakan akun SQL Server yang merupakan sysadmin. Dalam database master, jalankan T-SQL berikut ini:
```
CREATE LOGIN [your_factory_or_workspace_ name] FROM EXTERNAL PROVIDER
```
Buat pengguna database mandiri untuk identitas terkelola yang ditetapkan sistem. Sambungkan ke database dari atau ke mana Anda ingin menyalin data, jalankan T-SQL berikut:
```
CREATE USER [your_factory_or_workspace_name] FROM EXTERNAL PROVIDER
```
Berikan izin akses yang diperlukan kepada identitas terkelola yang diberikan sistem seperti yang biasanya dilakukan kepada pengguna SQL dan yang lainnya. Jalankan kode berikut. Untuk opsi selengkapnya, lihat dokumen ini.
```
ALTER ROLE [role name e.g. db_owner] ADD MEMBER [your_factory_or_workspace_name]
```
Mengonfigurasi layanan tertaut SQL Managed Instance.

Contoh: menggunakan autentikasi identitas terkelola yang ditetapkan sistem

{
    "name": "AzureSqlDbLinkedService",
    "properties": {
        "type": "AzureSqlMI",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "SystemAssignedManagedIdentity"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autentikasi identitas terkelola yang ditetapkan pengguna

Pabrik data atau ruang kerja Synapse dapat dikaitkan dengan identitas terkelola yang ditetapkan pengguna yang mewakili layanan untuk autentikasi ke layanan Azure lainnya. Anda dapat menggunakan identitas terkelola ini untuk autentikasi SQL Managed Instance. Layanan yang ditunjuk dapat mengakses dan menyalin data dari atau ke database Anda dengan menggunakan identitas ini.

Untuk menggunakan autentikasi identitas terkelola yang ditetapkan pengguna, selain properti generik yang dijelaskan di bagian sebelumnya, tentukan properti berikut ini:

Properti	Deskripsi	Wajib
kredensial	Tentukan identitas terkelola yang ditetapkan pengguna sebagai objek kredensial.	Ya

Anda juga harus mengikuti langkah-langkah di bawah:

Ikuti langkah-langkah untuk menyediakan administrator Microsoft Entra untuk Managed Instance.
Buat login untuk identitas terkelola yang ditetapkan pengguna. Di SQL Server Management Studio (SSMS), sambungkan ke instans terkelola Anda menggunakan akun SQL Server yang merupakan sysadmin. Dalam database master, jalankan T-SQL berikut ini:
```
CREATE LOGIN [your_factory_or_workspace_ name] FROM EXTERNAL PROVIDER
```
Buat pengguna database mandiri untuk identitas terkelola yang ditetapkan pengguna. Sambungkan ke database dari atau ke mana Anda ingin menyalin data, jalankan T-SQL berikut:
```
CREATE USER [your_factory_or_workspace_name] FROM EXTERNAL PROVIDER
```
Buat satu atau beberapa identitas terkelola yang ditetapkan pengguna dan berikan izin yang diperlukan identitas terkelola yang ditetapkan pengguna seperti yang biasa Anda lakukan untuk pengguna SQL dan lainnya. Jalankan kode berikut. Untuk opsi selengkapnya, lihat dokumen ini.
```
ALTER ROLE [role name e.g. db_owner] ADD MEMBER [your_factory_or_workspace_name]
```
Tetapkan satu atau beberapa identitas terkelola yang ditetapkan pengguna ke pabrik data Anda dan buat info masuk untuk setiap identitas terkelola yang ditetapkan pengguna.
Mengonfigurasi layanan tertaut untuk SQL Managed Instance.

Contoh: menggunakan autentikasi identitas terkelola yang ditetapkan pengguna

{
    "name": "AzureSqlDbLinkedService",
    "properties": {
        "type": "AzureSqlMI",
        "typeProperties": {
            "server": "<name or network address of the SQL server instance>",
            "database": "<database name>",
            "encrypt": "<encrypt>",
            "trustServerCertificate": false,
            "authenticationType": "UserAssignedManagedIdentity",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Versi lama

Properti generik ini didukung untuk layanan tertaut Azure SQL Managed Instance saat Anda menerapkan versi Legacy:

Properti	Deskripsi	Wajib
jenis	Properti type harus diatur ke AzureSqlMI.	Ya
String Koneksi	Properti ini menentukan informasi connectionString yang diperlukan untuk menyambungkan ke SQL Managed Instance dengan menggunakan autentikasi SQL. Untuk informasi selengkapnya, lihat contoh berikut ini. Port defaultnya adalah 1433. Jika Anda menggunakan SQL Managed Instance dengan titik akhir publik, tentukan port 3342 secara eksplisit. Anda juga dapat memasukkan kata sandi ke Azure Key Vault. Jika autentikasi SQL, tarik konfigurasi `password` dari string koneksi. Untuk informasi selengkapnya, lihat kredensial Store di Azure Key Vault.	Ya
pengaturanSelaluTerenkripsi	Tetapkan informasi alwaysencryptedsettings yang diperlukan untuk mengaktifkan Always Encrypted untuk melindungi data sensitif yang disimpan di server SQL dengan menggunakan identitas terkelola atau prinsip layanan. Untuk informasi selengkapnya, lihat bagian Menggunakan Always Encrypted. Jika tidak ditentukan, pengaturan default selalu dienkripsi akan dinonaktifkan.	Tidak
connectVia	Runtime integrasi ini digunakan untuk menyambungkan ke penyimpanan data. Anda dapat menggunakan runtime integrasi yang dihost sendiri atau runtime integrasi Azure jika instans terkelola Anda memiliki titik akhir publik dan memungkinkan layanan mengaksesnya. Jika tidak ditentukan, runtime integrasi bawaan Azure akan digunakan.	Ya

Untuk jenis autentikasi yang berbeda, lihat bagian berikut pada properti dan prasyarat tertentu masing-masing:

Autentikasi SQL untuk versi warisan
Autentikasi prinsipal layanan untuk versi lama
Autentikasi identitas terkelola yang ditetapkan sistem untuk versi warisan
Autentikasi identitas terkelola yang ditetapkan oleh pengguna untuk versi lama

Autentikasi SQL untuk versi warisan

Untuk menggunakan autentikasi SQL, tentukan properti generik yang dijelaskan di bagian sebelumnya.

Autentikasi aplikasi layanan untuk versi lama

Untuk menggunakan autentikasi perwakilan layanan, selain properti generik yang dijelaskan di bagian sebelumnya, tentukan properti berikut ini:

Properti	Deskripsi	Wajib
servicePrincipalId	Menentukan ID klien aplikasi.	Ya
servicePrincipalKey	Tentukan kunci aplikasi. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman atau referensi rahasia yang disimpan di Azure Key Vault.	Ya
penyewa	Menentukan informasi penyewa, seperti nama domain atau ID penyewa, tempat aplikasi Anda berada. Ambil dengan mengarahkan mouse ke sudut kanan atas portal Azure.	Ya
azureCloudType	Untuk autentikasi perwakilan layanan, tentukan jenis lingkungan cloud Azure tempat aplikasi Microsoft Entra Anda terdaftar. Nilai yang diizinkan adalah AzurePublic, AzureChina, AzureUsGovernment, dan AzureGermany. Secara default, lingkungan cloud dari Data Factory atau pipeline Synapse digunakan.	Tidak

Anda juga perlu mengikuti langkah-langkah dalam Autentikasi principal layanan untuk memberikan izin yang sesuai.

Autentikasi identitas terkelola yang diberikan sistem untuk versi lawas

Untuk menggunakan autentikasi identitas terkelola yang ditetapkan sistem, ikuti langkah yang sama untuk versi yang direkomendasikan dalam autentikasi identitas terkelola yang ditetapkan sistem.

Autentikasi identitas terkelola yang ditetapkan pengguna untuk versi lawas

Untuk menggunakan autentikasi identitas terkelola yang ditetapkan pengguna, ikuti langkah yang sama untuk versi yang direkomendasikan dalam autentikasi identitas terkelola yang ditetapkan pengguna.

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel himpunan data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data SQL Managed Instance.

Untuk menyalin data ke dan dari SQL Managed Instance, properti berikut ini didukung:

Properti	Deskripsi	Wajib
jenis	Properti type himpunan data harus diatur ke AzureSqlMITable.	Ya
skema	Nama skema.	Tidak untuk sumber, Ya untuk penampung
tabel	Nama tabel/tampilan.	Tidak untuk sumber, Ya untuk penampung
tableName	Nama tabel/tampilan dengan skema. Properti ini didukung untuk kompatibilitas ke belakang. Untuk beban kerja baru, gunakan `schema` dan `table`.	Tidak untuk sumber, Ya untuk penampung

Contoh

{
    "name": "AzureSqlMIDataset",
    "properties":
    {
        "type": "AzureSqlMITable",
        "linkedServiceName": {
            "referenceName": "<SQL Managed Instance linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Properti Aktivitas Salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Pipelines. Bagian ini menyediakan daftar properti yang didukung oleh sumber dan sink SQL Managed Instance.

SQL Managed Instance sebagai sumber

Petunjuk

Untuk memuat data dari SQL MI secara efisien dengan menggunakan partisi data, pelajari selengkapnya dari Penyalinan paralel dari SQL MI.

Untuk menyalin data dari SQL Managed Instance, properti berikut ini didukung di bagian sumber aktivitas salin:

Properti	Deskripsi	Wajib
jenis	Properti type dari sumber aktivitas salin harus diatur ke SqlMISource.	Ya
sqlReaderQuery	Properti ini menggunakan kueri SQL kustom untuk membaca data. Contohnya `select * from MyTable`.	Tidak
sqlReaderStoredProcedureName	Properti ini adalah nama prosedur tersimpan yang membaca data dari tabel sumber. Pernyataan SQL terakhir harus merupakan pernyataan SELECT dalam prosedur tersimpan.	Tidak
parameterProsedurTersimpan	Parameter ini untuk prosedur tersimpan dalam basis data. Nilai yang diizinkan adalah pasangan nama atau nilai. Nama dan kapitalisasi parameter harus sesuai dengan nama dan kapitalisasi parameter prosedur tersimpan.	Tidak
tingkat isolasi	Menentukan perilaku penguncian transaksi untuk sumber SQL. Nilai yang diperbolehkan adalah: ReadCommitted, ReadUncommitted, RepeatableRead, Serializable, Rekam jepret. Jika tidak ditentukan, tingkat isolasi default database digunakan. Lihat ke dokumen ini untuk detail selengkapnya.	Tidak
partitionOptions	Menentukan opsi partisi data yang digunakan untuk memuat data dari SQL MI. Nilai yang diizinkan adalah: Tidak ada (default), PhysicalPartitionsOfTable, dan DynamicRange. Ketika opsi partisi diaktifkan (yaitu, bukan `None`), tingkat paralelisme untuk secara bersamaan memuat data dari SQL MI dikendalikan oleh pengaturan `parallelCopies` pada aktivitas salin.	Tidak
pengaturan partisi	Tentukan grup pengaturan untuk pemartisian data. Terapkan saat opsi partisi bukan `None`.	Tidak
Di bawah `partitionSettings`:
partitionColumnName	Tentukan nama kolom sumber dalam bilangan bulat atau jenis tanggal/waktu (`int`, `smallint`, `bigint`, `date`, `smalldatetime`, `datetime`, `datetime2`, atau `datetimeoffset`) yang akan digunakan oleh partisi rentang untuk salinan paralel. Jika tidak ditentukan, indeks atau kunci primer tabel terdeteksi secara otomatis dan digunakan sebagai kolom partisi. Terapkan saat opsi partisi adalah `DynamicRange`. Jika Anda menggunakan kueri untuk mengambil data sumber, kaitkan `?DfDynamicRangePartitionCondition` di klausul WHERE. Misalnya, lihat bagian Penyalinan paralel dari database SQL.	Tidak
partitionUpperBound	Nilai maksimum kolom partisi untuk pemisahan rentang partisi. Nilai ini digunakan untuk menentukan langkah partisi, bukan untuk memfilter baris dalam tabel. Semua baris dalam tabel atau hasil kueri akan dipartisi dan disalin. Jika tidak ditentukan, aktivitas salin secara otomatis mendeteksi nilai. Terapkan saat opsi partisi adalah `DynamicRange`. Misalnya, lihat bagian Penyalinan paralel dari database SQL.	Tidak
partitionLowerBound	Nilai minimum kolom partisi untuk membagi rentang partisi. Nilai ini digunakan untuk menentukan langkah partisi, bukan untuk memfilter baris dalam tabel. Semua baris dalam tabel atau hasil kueri akan dipartisi dan disalin. Jika tidak ditentukan, aktivitas salin secara otomatis mendeteksi nilai. Terapkan saat opsi partisi adalah `DynamicRange`. Misalnya, lihat bagian Penyalinan paralel dari database SQL.	Tidak

Perhatikan poin-poin berikut:

Jika sqlReaderQuery ditentukan untuk SqlMISource, aktivitas salin menjalankan kueri ini terhadap sumber SQL Managed Instance untuk mendapatkan data. Anda juga dapat menentukan prosedur tersimpan dengan menentukan sqlReaderStoredProcedureName dan storedProcedureParameters jika prosedur yang disimpan mengambil parameter.
Saat menggunakan prosedur tersimpan di sumber untuk mengambil data, perhatikan apakah prosedur tersimpan dirancang sebagai mengembalikan skema yang berbeda ketika nilai parameter yang berbeda diteruskan, Anda mungkin mengalami kegagalan atau melihat hasil yang tidak terduga saat mengimpor skema dari antarmuka pengguna atau saat menyalin data ke database SQL dengan pembuatan tabel otomatis.

Contoh: Menggunakan kueri SQL

"activities":[
    {
        "name": "CopyFromAzureSqlMI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SQL Managed Instance input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlMISource",
                "sqlReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Contoh: Gunakan prosedur tersimpan

"activities":[
    {
        "name": "CopyFromAzureSqlMI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SQL Managed Instance input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SqlMISource",
                "sqlReaderStoredProcedureName": "CopyTestSrcStoredProcedureWithParameters",
                "storedProcedureParameters": {
                    "stringData": { "value": "str3" },
                    "identifier": { "value": "$$Text.Format('{0:yyyy}', <datetime parameter>)", "type": "Int"}
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Definisi prosedur yang disimpan

CREATE PROCEDURE CopyTestSrcStoredProcedureWithParameters
(
    @stringData varchar(20),
    @identifier int
)
AS
SET NOCOUNT ON;
BEGIN
    select *
    from dbo.UnitTestSrcTable
    where dbo.UnitTestSrcTable.stringData != stringData
    and dbo.UnitTestSrcTable.identifier != identifier
END
GO

SQL Managed Instance sebagai sink

Petunjuk

Pelajari selengkapnya tentang perilaku tulis, konfigurasi, dan praktik terbaik yang didukung dari Praktik terbaik untuk memuat data ke SQL Managed Instance.

Untuk menyalin data ke SQL Managed Instance, properti-properti berikut dapat digunakan di bagian sink aktivitas penyalinan:

Properti	Deskripsi	Wajib
jenis	Properti jenis sink aktivitas salin harus diatur menjadi SqlMISink.	Ya
preCopyScript	Properti ini menentukan kueri SQL agar aktivitas salin berjalan sebelum menulis data ke SQL Managed Instance. Ini dipanggil hanya sekali per proses penyalinan. Anda dapat menggunakan properti ini untuk membersihkan data yang telah dimuat sebelumnya.	Tidak
opsiTabel	Menentukan apakah akan membuat tabel sink secara otomatis jika tidak ada berdasarkan skema sumber. Pembuatan tabel otomatis tidak didukung saat sink menentukan prosedur tersimpan. Nilai yang diizinkan adalah: `none` (default), `autoCreate`.	Tidak
sqlWriterStoredProcedureName	Nama prosedur tersimpan yang menentukan cara menerapkan data sumber ke dalam tabel target. Prosedur tersimpan ini digunakan per batch. Untuk operasi yang hanya berjalan sekali dan tidak ada hubungannya dengan data sumber, misalnya, menghapus atau memotong, gunakan `preCopyScript` properti. Lihat contoh dari Memanggil prosedur tersimpan dari sink SQL.	Tidak
ProsedurTersimpanJenisTabelNamaParameter	Nama parameter dari jenis tabel yang ditentukan dalam prosedur tersimpan.	Tidak
sqlWriterTableType	Tentukan nama jenis tabel yang akan digunakan dalam prosedur tersimpan. Aktivitas salin membuat data yang sedang dipindahkan tersedia dalam tabel sementara dengan jenis tabel ini. Kode prosedur tersimpan kemudian dapat menggabungkan data yang sedang disalin dengan data yang ada.	Tidak
parameterProsedurTersimpan	Parameter-parameter untuk prosedur tersimpan. Nilai yang diizinkan adalah pasangan nama dan nilai. Nama dan casing parameter harus sesuai dengan nama dan casing parameter prosedur yang disimpan.	Tidak
writeBatchSize	Jumlah baris yang akan disisipkan ke dalam tabel SQL per batch. Nilai yang diizinkan untuk jumlah baris adalah bilangan bulat. Secara default, layanan secara dinamis menentukan ukuran batch yang sesuai berdasarkan ukuran baris.	Tidak
writeBatchTimeout	Waktu tunggu untuk operasi sisipkan, upsert, dan prosedur tersimpan selesai sebelum waktu habis. Nilai yang diperbolehkan adalah untuk rentang waktu. Contohnya adalah "00:30:00" untuk 30 menit. Jika tidak ada nilai yang ditentukan, batas waktu default ke "00:30:00".	Tidak
maxConcurrentConnections (jumlah koneksi bersamaan maksimum)	Batas atas koneksi bersamaan yang ditetapkan ke penyimpanan data selama pelaksanaan aktivitas. Menentukan nilai hanya saat Anda ingin membatasi koneksi bersamaan.	Tidak
WriteBehavior	Tentukan perilaku tulis untuk aktivitas salin untuk memuat data ke Azure SQL MI. Nilai yang diizinkan adalah Insert dan Upsert. Secara default, layanan menggunakan insert untuk memuat data.	Tidak
upsertSettings	Tentukan grup pengaturan untuk perilaku penulisan. Terapkan saat opsi WriteBehavior adalah `Upsert`.	Tidak
Di bawah `upsertSettings`:
useTempDB	Tentukan apakah akan menggunakan tabel sementara global atau tabel fisik sebagai tabel sementara untuk upsert. Secara default, layanan menggunakan tabel sementara global sebagai tabel interim. nilai adalah `true`.	Tidak
interimSchemaName	Tentukan skema interim untuk membuat tabel interim jika tabel fisik digunakan. Catatan: pengguna harus memiliki izin untuk membuat dan menghapus tabel. Secara default, tabel interim akan berbagi skema yang sama dengan tabel sink. Terapkan saat opsi useTempDB adalah `False`.	Tidak
kunci	Tentukan nama kolom untuk identifikasi baris unik. Salah satu kunci atau serangkaian kunci dapat digunakan. Jika tidak ditentukan, kunci primer digunakan.	Tidak

Contoh 1: Menambahkan data

"activities":[
    {
        "name": "CopyToAzureSqlMI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<SQL Managed Instance output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SqlMISink",
                "tableOption": "autoCreate",
                "writeBatchSize": 100000
            }
        }
    }
]

Contoh 2: Gunakan prosedur tersimpan selama salinan

Pelajari detail selengkapnya dalam Memanggil prosedur tersimpan dari SQL MI sink.

"activities":[
    {
        "name": "CopyToAzureSqlMI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<SQL Managed Instance output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SqlMISink",
                "sqlWriterStoredProcedureName": "CopyTestStoredProcedureWithParameters",
                "storedProcedureTableTypeParameterName": "MyTable",
                "sqlWriterTableType": "MyTableType",
                "storedProcedureParameters": {
                    "identifier": { "value": "1", "type": "Int" },
                    "stringData": { "value": "str1" }
                }
            }
        }
    }
]

Contoh 3: Memperbarui dan memasukkan data

"activities":[
    {
        "name": "CopyToAzureSqlMI",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<SQL Managed Instance output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SqlMISink",
                "tableOption": "autoCreate",
                "writeBehavior": "upsert",
                "upsertSettings": {
                    "useTempDB": true,
                    "keys": [
                        "<column name>"
                    ]
                },            
            }
        }
    }
]

Penyalinan paralel dari SQL MI

Konektor Azure SQL Managed Instance dalam aktivitas salin menyediakan partisi data bawaan untuk menyalin data secara paralel. Anda dapat menemukan opsi pemartisian data pada tab Sumber aktivitas salin.

Cuplikan layar opsi partisi

Saat Anda mengaktifkan salinan terpartisi, aktivitas salin menjalankan kueri paralel terhadap sumber SQL MI Anda untuk memuat data menurut partisi. Derajat paralel dikendalikan oleh pengaturan parallelCopies pada aktivitas salin. Misalnya, jika Anda mengatur parallelCopies ke empat, layanan secara bersamaan menghasilkan dan menjalankan empat kueri berdasarkan opsi dan pengaturan partisi yang Anda tentukan, dan setiap kueri mengambil sebagian data dari SQL MI Anda.

Sebaiknya Anda mengaktifkan penyalinan paralel dengan pemartisian data terutama ketika Anda memuat sejumlah besar data dari SQL MI Anda. Berikut ini adalah konfigurasi yang disarankan untuk skenario yang berbeda. Saat menyalin data ke penyimpanan data berbasis file, disarankan untuk menulis ke folder sebagai beberapa file (hanya tentukan nama folder), dalam hal ini performanya lebih baik daripada menulis ke satu file.

Skenario	Pengaturan yang disarankan
Proses pemuatan penuh dari tabel besar, dengan partisi fisik.	Opsi partisi: Partisi fisik tabel. Selama eksekusi, layanan secara otomatis mendeteksi partisi fisik, dan menyalin data berdasarkan partisi. Untuk memeriksa apakah tabel Anda memiliki partisi fisik atau tidak, Anda dapat merujuk ke kueri ini.
Pemuatan penuh dari tabel besar, tanpa partisi fisik, tetapi dengan kolom bilangan bulat atau datetime untuk pemartisian data.	Opsi partisi: Pembagian rentang yang dinamis. Kolom partisi (opsional): Menentukan kolom yang digunakan untuk mempartisi data. Jika tidak ditentukan, indeks atau kolom kunci primer digunakan. Batas atas partisi dan batas bawah partisi (opsional): Menentukan apakah Anda ingin menentukan langkah partisi. Ini bukan untuk memfilter baris dalam tabel, semua baris dalam tabel akan dipartisi dan disalin. Jika tidak ditentukan, aktivitas salin secara otomatis mendeteksi nilai. Misalnya, jika kolom partisi "ID" Anda memiliki rentang nilai dari 1 hingga 100, dan Anda menetapkan batas bawah sebagai 20 dan batas atas sebagai 80, dengan salinan paralel sebagai 4, layanan mengambil data dengan 4 partisi - ID dalam rentang <=20, [21, 50], [51, 80], dan >=81, masing-masing.
Memuat sejumlah besar data dengan menggunakan kueri kustom, tanpa partisi fisik, sedangkan dengan kolom bilangan bulat atau tanggal/tanggalwaktu untuk pemartisian data.	Opsi partisi: Pembagian rentang yang dinamis. Kueri: `SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>`. Kolom partisi: Menentukan kolom yang digunakan untuk mempartisi data. Batas atas partisi dan batas bawah partisi (opsional): Menentukan apakah Anda ingin menentukan langkah partisi. Ini bukan untuk memfilter baris dalam tabel, semua baris dalam hasil kueri akan dipartisi dan disalin. Jika tidak ditentukan, aktivitas salin secara otomatis mendeteksi nilai. Misalnya, jika kolom partisi "ID" Anda memiliki rentang nilai dari 1 hingga 100, dan Anda menetapkan batas bawah sebagai 20 dan batas atas sebagai 80, dengan salinan paralel sebagai 4, layanan mengambil data dengan 4 partisi- ID dalam rentang <=20, [21, 50], [51, 80], dan >=81, secara berurutan. Berikut adalah sampel kueri lainnya untuk skenario yang berbeda: 1. Kueri seluruh tabel: `SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition` 2. Kueri dari tabel dengan pemilihan kolom dan menggunakan filter klausa where tambahan: `SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>` 3. Kueri dengan subkueri: `SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>` 4. Kueri dengan partisi dalam subkueri: `SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T`

Praktik terbaik untuk memuat data dengan opsi partisi:

Pilih kolom yang khas sebagai kolom partisi (seperti kunci primer atau kunci unik) untuk menghindari penyimpangan data.
Jika tabel memiliki partisi bawaan, gunakan opsi partisi "Partisi fisik tabel" untuk mendapatkan performa yang lebih baik.
Jika Anda menggunakan Azure Integration Runtime untuk menyalin data, Anda dapat mengatur "Data Integration Units (DIU) yang lebih besar " (>4) untuk menggunakan lebih banyak sumber daya komputasi. Periksa skenario yang berlaku di sana.
"Tingkat paralelisme penyalinan mengontrol jumlah partisi. Mengatur angka ini terlalu besar kadang dapat menurunkan kinerja. Dianjurkan mengatur angka ini sebagai (DIU atau jumlah node IR yang di-host sendiri) * (2 hingga 4)."

Contoh: pemuatan penuh dari tabel besar dengan partisi fisik

"source": {
    "type": "SqlMISource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Contoh: kueri dengan partisi rentang dinamis

"source": {
    "type": "SqlMISource",
    "query": "SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Sampel kueri untuk memeriksa partisi fisik

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Jika tabel memiliki partisi fisik, Anda akan melihat "HasPartition" sebagai "ya" seperti berikut ini.

Hasil kueri Sql

Praktik terbaik untuk memuat data ke dalam SQL Managed Instance

Saat menyalin data ke SQL Managed Instance, Anda mungkin memerlukan perilaku tulis yang berbeda:

Tambahkan: Data sumber saya hanya memiliki rekaman baru.
Upsert: Data sumber saya memiliki penyisipan dan pembaruan.
Timpa: Saya ingin memuat ulang seluruh tabel dimensi setiap saat.
Menulis dengan logika kustom: Saya perlu pemrosesan ekstra sebelum penyisipan akhir ke dalam tabel tujuan.

Lihat bagian masing-masing untuk cara mengonfigurasi dan praktik terbaik.

Menambahkan data

Menambahkan data adalah perilaku default konektor sink SQL Managed Instance. Layanan melakukan penyisipan massal untuk menulis ke tabel Anda secara efisien. Anda dapat mengonfigurasi sumber dan sink sesuai dengan aktivitas salin.

Memasukkan atau memperbarui data

Copy activity sekarang mendukung memuat data secara asli ke dalam tabel sementara database dan memperbarui data dalam tabel sink jika kunci tersebut ada, dan jika tidak, menyisipkan data baru. Untuk mempelajari lebih lanjut tentang pengaturan upsert dalam aktivitas penyalinan, lihat SQL Managed Instance sebagai sink.

Timpa tabel seluruhnya

Anda dapat mengonfigurasi properti preCopyScript di bagian output aktivitas penyalinan. Dalam hal ini, untuk setiap aktivitas penyalinan yang berjalan, layanan menjalankan skrip terlebih dahulu. Kemudian menyalakan proses penyalinan untuk memasukkan data. Misalnya, untuk menimpa seluruh tabel dengan data terbaru, tentukan skrip untuk terlebih dahulu menghapus semua catatan sebelum Anda memuat data baru secara besar-besaran dari sumbernya.

Menulis data dengan logika kustom

Langkah-langkah untuk menulis data dengan logika kustom mirip dengan yang dijelaskan di bagian Meng-upsert data. Ketika Anda perlu menerapkan pemrosesan ekstra sebelum penyisipan akhir data sumber ke dalam tabel tujuan, Anda dapat memuat ke tabel pentahapan lalu menggunakan aktivitas prosedur tersimpan, atau menggunakan prosedur tersimpan di sink aktivitas salin untuk menerapkan data.

Memanggil prosedur tersimpan dari SQL sink

Saat menyalin data ke SQL Managed Instance, Anda juga dapat mengonfigurasi dan memanggil prosedur tersimpan yang ditentukan pengguna dengan parameter tambahan pada setiap batch tabel sumber. Fitur prosedur tersimpan memanfaatkan parameter bernilai tabel.

Anda dapat menggunakan prosedur tersimpan saat mekanisme penyalinan bawaan tidak memenuhi tujuan yang diinginkan. Contohnya adalah ketika Anda ingin menerapkan pemrosesan ekstra sebelum penyisipan akhir data sumber ke dalam tabel tujuan. Beberapa contoh pemrosesan tambahan adalah saat Anda ingin menggabungkan kolom, mencari nilai tambahan, dan menyisipkan ke dalam lebih dari satu tabel.

Contoh berikut menunjukkan cara menggunakan prosedur tersimpan untuk melakukan upsert ke dalam tabel di database SQL Server. Asumsikan bahwa data input dan tabel Pemasaran sink masing-masing memiliki tiga kolom: IDProfil, Status, dan Kategori. Lakukan upsert berdasarkan kolom IDProfil, dan hanya menerapkannya untuk kategori tertentu yang disebut "ProductA".

Di database Anda, tentukan jenis tabel dengan nama yang sama dengan sqlWriterTableType. Skema jenis tabel sama dengan skema yang dikembalikan oleh data input Anda.

CREATE TYPE [dbo].[MarketingType] AS TABLE(
    [ProfileID] [varchar](256) NOT NULL,
    [State] [varchar](256) NOT NULL,
    [Category] [varchar](256) NOT NULL
)

Di database Anda, tentukan prosedur tersimpan dengan nama yang sama dengan sqlWriterStoredProcedureName. Ini menangani data input dari sumber yang Anda tentukan dan bergabung ke dalam tabel output. Nama parameter jenis tabel dalam prosedur tersimpan sama dengan tableName yang ditentukan dalam himpunan data.

CREATE PROCEDURE spOverwriteMarketing @Marketing [dbo].[MarketingType] READONLY, @category varchar(256)
AS
BEGIN
MERGE [dbo].[Marketing] AS target
USING @Marketing AS source
ON (target.ProfileID = source.ProfileID and target.Category = @category)
WHEN MATCHED THEN
    UPDATE SET State = source.State
WHEN NOT MATCHED THEN
    INSERT (ProfileID, State, Category)
    VALUES (source.ProfileID, source.State, source.Category);
END

Di saluran Anda, tentukan bagian sink SQL MI dalam aktivitas penyalinan sebagai berikut:

"sink": {
    "type": "SqlMISink",
    "sqlWriterStoredProcedureName": "spOverwriteMarketing",
    "storedProcedureTableTypeParameterName": "Marketing",
    "sqlWriterTableType": "MarketingType",
    "storedProcedureParameters": {
        "category": {
            "value": "ProductA"
        }
    }
}

Properti pemetaan aliran data

Saat mengubah data dalam pemetaan aliran data, Anda dapat membaca dan menulis ke tabel dari Azure SQL Managed Instance. Untuk informasi selengkapnya, lihat transformasi sumber dan transformasi sink dalam aliran data pemetaan.

Transformasi sumber

Tabel di bawah ini mencantumkan properti yang didukung oleh sumber Azure SQL Managed Instance. Anda bisa mengedit properti ini di tab opsi Sumber.

Nama	Deskripsi	Wajib	Nilai yang diizinkan	Properti skrip aliran data
Tabel	Jika Anda memilih Tabel sebagai input, aliran data mengambil semua data dari tabel yang ditentukan dalam himpunan data.	Tidak	-	-
Kueri	Jika Anda memilih Kueri sebagai input, tentukan kueri SQL untuk mengambil data dari sumber, yang menggantikan tabel apa pun yang Anda tentukan dalam himpunan data. Menggunakan kueri adalah cara yang bagus untuk mengurangi baris untuk pengujian atau pencarian. Klausa Urutkan Menurut tidak didukung, tetapi Anda dapat mengatur pernyataan SELECT FROM lengkap. Anda juga dapat menggunakan fungsi tabel yang ditentukan pengguna. *pilih dari udfGetData()** adalah UDF di SQL yang menghasilkan tabel yang dapat Anda gunakan dalam aliran data. Contoh kueri: `Select * from MyTable where customerId > 1000 and customerId < 2000`	Tidak	String	kueri
Ukuran batch	Tentukan ukuran batch untuk membagi data besar ke dalam proses pembacaan.	Tidak	Bilangan bulat	batchSize
Tingkat Isolasi	Pilih salah satu tingkat isolasi berikut: - Baca Berkomitmen - Baca Tidak Dikomit (default) - Bacaan yang Dapat Diulang - Dapat diserialisasikan - Tidak ada (abaikan tingkat isolasi)	Tidak	READ_COMMITTED READ_UNCOMMITTED "REPEATABLE_READ (Pembacaan Berulang)" SERIALIZABLE NONE	tingkat isolasi
Aktifkan ekstrak inkremental	Gunakan opsi ini untuk memberi tahu ADF untuk hanya memproses baris yang telah berubah sejak terakhir kali alur dijalankan.	Tidak	-	-
Kolom tambahan berurutan	Saat menggunakan fitur ekstrak inkremental, Anda harus memilih kolom tanggal dan waktu atau numerik yang ingin Anda gunakan sebagai penanda pada tabel sumber.	Tidak	-	-
Aktifkan pengambilan data perubahan asli (Pratinjau)	Gunakan opsi ini untuk memberi tahu ADF untuk hanya memproses data delta yang diambil oleh teknologi penangkapan data perubahan SQL sejak terakhir kali pipa dieksekusi. Dengan opsi ini, data delta termasuk penyisipan baris, pembaruan, dan penghapusan akan dimuat secara otomatis tanpa memerlukan kolom tambahan. Anda perlu mengaktifkan capture data perubahan pada Azure SQL MI sebelum menggunakan opsi ini di ADF. Untuk informasi selengkapnya tentang opsi ini di ADF, lihat pengambilan data perubahan asli.	Tidak	-	-
Mulai membaca dari awal	Mengatur opsi ini dengan ekstrak inkremental akan menginstruksikan ADF untuk membaca semua baris pada eksekusi pertama alur dengan ekstrak inkremental diaktifkan.	Tidak	-	-

Petunjuk

Ekspresi tabel umum (CTE) dalam SQL tidak didukung dalam mode Kueri aliran data pemetaan, karena prasyarat penggunaan mode ini adalah kueri dapat digunakan dalam klausul kueri SQL FROM tetapi CTE tidak dapat melakukannya. Untuk menggunakan CTE, Anda perlu membuat prosedur tersimpan menggunakan kueri berikut:

CREATE PROC CTESP @query nvarchar(max)
AS
BEGIN
EXECUTE sp_executesql @query;
END

Kemudian gunakan mode Prosedur tersimpan dalam transformasi sumber aliran data pemetaan dan atur @query seperti contoh with CTE as (select 'test' as a) select * from CTE. Kemudian Anda dapat menggunakan CTE seperti yang diharapkan.

contoh skrip sumber Azure SQL Managed Instance

Saat Anda menggunakan Azure SQL Managed Instance sebagai jenis sumber, skrip aliran data terkait adalah:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from MYTABLE',
    format: 'query') ~> SQLMISource

Transformasi sink

Tabel di bawah ini mencantumkan properti yang didukung oleh sink Azure SQL Managed Instance. Anda dapat mengedit properti ini di tab opsi Sink.

Nama	Deskripsi	Wajib	Nilai yang diizinkan	Properti skrip aliran data
Metode pembaruan	Menentukan operasi apa yang diizinkan di tujuan database Anda. Pengaturan default adalah hanya mengizinkan sisipan. Untuk memperbarui, meningkatkan, atau menghapus baris, transformasi baris Alterdiperlukan untuk menandai baris untuk tindakan tersebut.	Ya	`true` atau `false`	dapat dihapus dapat disisipkan dapat diperbarui dapat di-update atau di-insert
Kolom utama	Untuk pembaruan, upsert, dan penghapusan, kolom kunci harus diatur untuk menentukan baris mana yang akan diubah. Nama kolom yang Anda pilih sebagai kunci akan digunakan sebagai bagian dari pembaruan, penggabungan, atau penghapusan berikutnya. Oleh karena itu, Anda harus memilih kolom yang ada di pemetaan Sink.	Tidak	Array	kunci
Lewati penulisan kolom kunci	Jika Anda ingin tidak menulis nilai ke kolom kunci, pilih "Lompati penulisan kolom kunci".	Tidak	`true` atau `false`	skipKeyWrites
Tindakan pada tabel	Menentukan apakah akan membuat ulang atau menghapus semua baris dari tabel tujuan sebelum menulis. - None: Tidak ada tindakan yang dilakukan terhadap tabel. - Buat ulang: Tabel akan dihapus dan dibuat ulang. Diperlukan jika membuat tabel baru secara dinamis. - Kosongkan: Semua baris dari tabel target akan dihapus.	Tidak	`true` atau `false`	menciptakan ulang Pemangkasan
Ukuran batch	Menentukan berapa banyak baris yang sedang ditulis di setiap batch. Ukuran batch yang lebih besar meningkatkan kompresi dan pengoptimalan memori, tetapi berisiko mengalami pengecualian kehabisan memori saat menyimpan cache data.	Tidak	Bilangan bulat	batchSize
Skrip Pra dan Pasca SQL	Menentukan skrip SQL multibaris yang akan dijalankan sebelum (prapemrosesan) dan setelah (pascapemrosesan) data ditulis ke database Sink Anda.	Tidak	String	preSQL postSQLs

Petunjuk

Disarankan untuk membagi skrip batch tunggal yang memiliki beberapa perintah menjadi beberapa batch.
Hanya pernyataan Bahasa Definisi Data (DDL) dan Bahasa Manipulasi Data (DML) yang menampilkan jumlah pembaruan sederhana yang dapat dijalankan sebagai bagian dari batch. Pelajari lebih lanjut mengenai Melakukan operasi batch

contoh skrip sink Azure SQL Managed Instance

Saat Anda menggunakan Azure SQL Managed Instance sebagai jenis sink, skrip aliran data terkait adalah:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> SQLMISink

Properti aktivitas pencarian Lookup

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Properti aktivitas GetMetadata

Untuk mempelajari rincian tentang properti ini, periksa Aktivitas GetMetadata

Pemetaan jenis data untuk SQL Managed Instance

Saat data disalin ke dan dari SQL Managed Instance menggunakan aktivitas salin, digunakan pemetaan berikut dari tipe data SQL Managed Instance ke tipe data sementara yang digunakan secara internal dalam layanan. Untuk mempelajari bagaimana aktivitas salin memetakan skema sumber dan tipe data ke sink, lihat Pemetaan skema dan tipe data.

jenis data SQL Managed Instance	Jenis data layanan sementara
bigint	Int64
biner	Byte[]
bit	Boolean
char	String, Char[]
tanggal	TanggalWaktu
Tanggalwaktu	TanggalWaktu
tanggalwaktu2	TanggalWaktu
Datetimeoffset	DateTimeOffset
Desimal	Desimal
Atribut FILESTREAM (varbinary(max))	Byte[]
Float	Ganda
citra	Byte[]
int	Int32
uang	Desimal
nchar	String, Char[]
ntext	String, Char[]
numerik	Desimal
nvarchar	String, Char[]
asli	Tunggal
versi baris	Byte[]
smalldatetime	TanggalWaktu
smallint	Int16
smallmoney	Desimal
sql_variant	Objek
kirim pesan teks	String, Char[]
waktu	TimeSpan
stempel waktu	Byte[]
tinyint	Int16
uniqueidentifier	Guid
varbinary	Byte[]
varchar	String, Char[]
xml	String

Catatan

Untuk jenis data yang memetakan ke jenis sementara Desimal, saat ini Copy activity mendukung presisi hingga 28. Jika Anda memiliki data yang memerlukan presisi lebih besar dari 28, pertimbangkan untuk mengonversi ke string dalam kueri SQL.

Menggunakan Always Encrypted

Saat Anda menyalin data dari/ke SQL Managed Instance dengan Always Encrypted, ikuti langkah-langkah di bawah ini:

Simpan Column Master Key (CMK) dalam Azure Key Vault. Pelajari selengkapnya tentang cara mengonfigurasi Always Encrypted dengan menggunakan Azure Key Vault
Pastikan memiliki akses besar ke Key Vault tempat Kunci Master Kolom (CMK) disimpan. Lihat artikel ini untuk izin yang diperlukan.
Buat layanan tertaut untuk terhubung ke database SQL Anda dan aktifkan fungsi 'Always Encrypted' menggunakan identitas terkelola atau perwakilan layanan.

Catatan

SQL Managed Instance Always Encrypted mendukung skenario di bawah ini:

Baik penyimpanan data sumber atau sink menggunakan identitas terkelola atau perwakilan layanan sebagai jenis autentikasi penyedia kunci.
Penyimpanan data sumber dan sink menggunakan identitas terkelola sebagai jenis autentikasi penyedia kunci.
Penyimpanan data sumber dan sink menggunakan perwakilan layanan yang sama sebagai jenis autentikasi penyedia kunci.

Catatan

Saat ini, SQL Managed Instance Always Encrypted hanya didukung untuk transformasi sumber dalam pemetaan aliran data.

Penangkapan data perubahan bawaan

Azure Data Factory dapat mendukung kemampuan pengambilan data perubahan asli untuk SQL Server, Azure SQL DB, dan Azure SQL MI. Data yang diubah termasuk sisipan baris, pembaruan, dan penghapusan di penyimpanan SQL dapat secara otomatis dideteksi dan diekstrak oleh aliran data pemetaan ADF. Tanpa pengalaman kode dalam memetakan aliran data, pengguna dapat dengan mudah mencapai skenario replikasi data dari penyimpanan SQL dengan menambahkan database sebagai penyimpanan tujuan. Terlebih lagi, pengguna juga dapat menyusun logika transformasi data apa pun di antaranya untuk mencapai skenario ETL inkremental dari penyimpanan SQL.

Pastikan Anda menjaga agar nama alur dan aktivitas tidak berubah, sehingga titik pemeriksaan dapat direkam oleh ADF agar Anda mendapatkan data yang diubah dari yang terakhir dijalankan secara otomatis. Jika Anda mengubah nama alur atau nama aktivitas Anda, titik pemeriksaan akan diatur ulang, yang mengarahkan Anda untuk memulai dari awal atau mendapatkan perubahan mulai sekarang di eksekusi berikutnya. Jika Anda ingin mengubah nama jalur data atau nama aktivitas tetapi masih menyimpan titik pemeriksaan untuk mendapatkan data yang diubah dari eksekusi terakhir secara otomatis, gunakan kunci Titik Pemeriksaan Anda sendiri dalam aktivitas aliran data untuk mencapai tujuan ini.

Saat Anda men-debug alur, fitur ini berfungsi sama. Ketahuilah bahwa pos pemeriksaan akan dihapus saat Anda memuat ulang browser selama sesi debug. Setelah Anda puas dengan hasil alur dari eksekusi debug, Anda dapat melanjutkan untuk menerbitkan dan memicu alur. Pada saat Anda pertama kali memicu alur yang diterbitkan, maka secara otomatis akan dimulai ulang dari awal atau akan mendapatkan perubahan mulai saat ini.

Di bagian pemantauan, Anda selalu memiliki kesempatan untuk menjalankan ulang pipeline. Saat Anda melakukannya, data yang berubah selalu diambil dari pos pemeriksaan sebelumnya dari pelaksanaan pipeline yang Anda pilih.

Contoh 1:

Ketika Anda langsung menautkan transformasi sumber yang direferensikan ke himpunan data yang diaktifkan SQL CDC dengan transformasi sink yang direferensikan ke database dalam aliran data pemetaan, perubahan yang terjadi pada sumber SQL akan secara otomatis diterapkan ke database target, sehingga Anda akan dengan mudah mendapatkan skenario replikasi data antar database. Anda dapat menggunakan metode pembaruan dalam transformasi sink untuk memilih apakah Anda ingin mengizinkan penyisipan, mengizinkan pembaruan, atau mengizinkan penghapusan pada database target. Contoh skrip dalam pemetaan aliran data adalah seperti di bawah ini.

source(output(
		id as integer,
		name as string
	),
	allowSchemaDrift: true,
	validateSchema: false,
	enableNativeCdc: true,
	netChanges: true,
	skipInitialLoad: false,
	isolationLevel: 'READ_UNCOMMITTED',
	format: 'table') ~> source1
source1 sink(allowSchemaDrift: true,
	validateSchema: false,
	deletable:true,
	insertable:true,
	updateable:true,
	upsertable:true,
	keys:['id'],
	format: 'table',
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true,
	errorHandlingOption: 'stopOnFirstError') ~> sink1

Contoh 2:

Jika Anda ingin mengaktifkan skenario ETL alih-alih replikasi data antara database melalui SQL CDC, Anda dapat menggunakan ekspresi dalam memetakan aliran data termasuk isInsert(1), isUpdate(1) dan isDelete(1) untuk membedakan baris dengan jenis operasi yang berbeda. Berikut ini adalah salah satu contoh skrip untuk memetakan aliran data pada mendapatkan satu kolom dengan nilai: 1 untuk menunjukkan baris yang disisipkan, 2 untuk menunjukkan baris yang diperbarui dan 3 untuk menunjukkan baris yang dihapus untuk transformasi hilir untuk memproses data delta.

source(output(
		id as integer,
		name as string
	),
	allowSchemaDrift: true,
	validateSchema: false,
	enableNativeCdc: true,
	netChanges: true,
	skipInitialLoad: false,
	isolationLevel: 'READ_UNCOMMITTED',
	format: 'table') ~> source1
source1 derive(operationType = iif(isInsert(1), 1, iif(isUpdate(1), 2, 3))) ~> derivedColumn1
derivedColumn1 sink(allowSchemaDrift: true,
	validateSchema: false,
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> sink1

Batasan yang diketahui:

Hanya perubahan bersih final dari SQL CDC yang akan dimuat oleh ADF menggunakan cdc.fn_cdc_get_net_changes_.

Meningkatkan versi Azure SQL Managed Instance

Untuk meningkatkan versi Azure SQL Managed Instance, di halaman Edit layanan tertaut, pilih Recommended di bawah Version dan konfigurasikan layanan tertaut dengan merujuk ke properti layanan Linked untuk versi yang direkomendasikan.

Perbedaan antara versi yang direkomendasikan dan warisan

Tabel di bawah ini menunjukkan perbedaan antara Azure SQL Managed Instance menggunakan versi yang direkomendasikan dan warisan.

Versi yang direkomendasikan	Versi lama
Dukung TLS 1.3 melalui `encrypt` sebagai `strict`.	TLS 1.3 tidak didukung.

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat Penyimpanan data yang didukung.

Saran dan Komentar

Apakah halaman ini membantu?

Last updated on 2026-03-26

Bagikan melalui

Menyalin dan mengubah data di Azure SQL Managed Instance menggunakan Azure Data Factory atau Synapse Analytics

Kemampuan yang didukung

Prasyarat

Mulai sekarang

Membuat layanan tertaut ke instans terkelola Azure SQL menggunakan UI

Detail konfigurasi konektor

Properti layanan terhubung

Versi yang Direkomendasikan

Autentikasi SQL

Autentikasi principal layanan

Autentikasi identitas terkelola yang diatur oleh sistem

Autentikasi identitas terkelola yang ditetapkan pengguna

Versi lama

Autentikasi SQL untuk versi warisan

Autentikasi aplikasi layanan untuk versi lama

Autentikasi identitas terkelola yang diberikan sistem untuk versi lawas

Autentikasi identitas terkelola yang ditetapkan pengguna untuk versi lawas

Properti himpunan data

Properti Aktivitas Salin

SQL Managed Instance sebagai sumber

SQL Managed Instance sebagai sink

Penyalinan paralel dari SQL MI

Sampel kueri untuk memeriksa partisi fisik

Praktik terbaik untuk memuat data ke dalam SQL Managed Instance

Menambahkan data

Memasukkan atau memperbarui data

Timpa tabel seluruhnya

Menulis data dengan logika kustom

Memanggil prosedur tersimpan dari SQL sink

Properti pemetaan aliran data

Transformasi sumber

contoh skrip sumber Azure SQL Managed Instance

Transformasi sink

contoh skrip sink Azure SQL Managed Instance

Properti aktivitas pencarian Lookup

Properti aktivitas GetMetadata

Pemetaan jenis data untuk SQL Managed Instance

Menggunakan Always Encrypted

Penangkapan data perubahan bawaan

Contoh 1:

Contoh 2:

Batasan yang diketahui:

Meningkatkan versi Azure SQL Managed Instance

Perbedaan antara versi yang direkomendasikan dan warisan

Konten terkait

Saran dan Komentar

Sumber Daya Tambahan: