Menyalin data dari Daftar SharePoint Online dengan menggunakan Azure Data Factory atau Azure Synapse Analytics
BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics
Tip
Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Artikel ini menguraikan cara menggunakan aktivitas salin di Azure Data Factory dan alur Azure Synapse untuk menyalin data dari Daftar SharePoint Online. Artikel ini dibuat berdasarkan Aktivitas Salin, yang menyajikan ikhtisar umum tentang Aktivitas Salin.
Kemampuan yang didukung
Konektor Daftar Online SharePoint ini didukung untuk kemampuan berikut:
Kemampuan yang didukung | IR |
---|---|
Aktivitas penyalinan (sumber/-) | (1) (2) |
Aktivitas pencarian | (1) (2) |
① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri
Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink, lihat tabel penyimpanan data yang didukung.
Khususnya, konektor SharePoint List Online ini menggunakan autentikasi perwakilan layanan dan mengambil data melalui protokol OData.
Tip
Konektor ini mendukung penyalinan data dari Daftar SharePoint Online, namun bukan file. Pelajari cara menyalin file dari bagian Salin file dari SharePoint Online.
Memulai
Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:
- Alat Penyalinan Data
- Portal Microsoft Azure
- SDK .NET
- SDK Python
- Azure PowerShell
- REST API
- Templat Azure Resource Manager
Membuat layanan tertaut ke Daftar Online SharePoint menggunakan UI
Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Daftar Online SharePoint di UI portal Azure.
Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:
Cari SharePoint dan pilih konektor Daftar Online SharePoint.
Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.
Detail konfigurasi konektor
Bagian berikut menyediakan detail tentang properti yang dapat Anda gunakan untuk menentukan entitas yang khusus untuk konektor Daftar SharePoint Online.
Properti layanan tertaut
Properti berikut ini didukung untuk layanan tertaut Daftar SharePoint Online:
Properti | Keterangan | Diperlukan |
---|---|---|
jenis | Jenis properti harus diatur ke: SharePointOnlineList. | Ya |
siteUrl | Url situs SharePoint Online, misalnya, https://contoso.sharepoint.com/sites/siteName . |
Ya |
servicePrincipalId | ID Aplikasi (klien) aplikasi yang terdaftar di ID Microsoft Entra. | Ya |
servicePrincipalCredentialType | Jenis kredensial yang digunakan untuk autentikasi perwakilan layanan. Nilai yang diizinkan adalah ServicePrincipalCert dan ServicePrincipalKey . |
No |
Untuk ServicePrincipalCert | ||
servicePrincipalEmbeddedCert | Tentukan sertifikat yang dikodekan base64 dari aplikasi Anda yang terdaftar di ID Microsoft Entra, dan pastikan jenis konten sertifikat adalah PKCS #12. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau referensikan rahasia yang disimpan di Azure Key Vault. Anda perlu mengonfigurasi pengaturan izin yang merujuk artikel ini. | No |
servicePrincipalEmbeddedCertPassword | Tentukan kata sandi sertifikat Anda jika sertifikat Anda diamankan dengan kata sandi. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau referensikan rahasia yang disimpan di Azure Key Vault. | No |
Untuk ServicePrincipalKey | ||
servicePrincipalKey | Kunci aplikasi. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau referensikan rahasia yang disimpan di Azure Key Vault. Lihat bagian ini untuk detail selengkapnya termasuk pengaturan izin. | No |
tenantId | ID penyewa tempat aplikasi Anda berada. | Ya |
connectVia | Integration Runtime digunakan untuk menyambungkan ke penyimpanan data. Jika tidak ditentukan, Integration Runtime Azure default digunakan. | No |
Catatan
Jika Anda menggunakan autentikasi kunci perwakilan layanan, yang didasarkan pada Azure ACS (Access Control Services), sebaiknya beralih ke autentikasi sertifikat perwakilan layanan karena rencana penghentian ACS.
Contoh 1: Menggunakan autentikasi kunci perwakilan layanan
{
"name": "SharePointOnlineList",
"properties": {
"type": "SharePointOnlineList",
"typeProperties": {
"siteUrl": "<site URL>",
"servicePrincipalId": "<service principal id>",
"servicePrincipalCredentialType": "ServicePrincipalKey",
"servicePrincipalKey": {
"type": "SecureString",
"value": "<service principal key>"
},
"tenantId": "<tenant ID>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Contoh 2: Menggunakan autentikasi sertifikat perwakilan layanan
{
"name": "SharePointOnlineList",
"properties": {
"type": "SharePointOnlineList",
"typeProperties": {
"siteUrl": "<site URL>",
"servicePrincipalId": "<service principal id>",
"servicePrincipalCredentialType": "ServicePrincipalCert",
"servicePrincipalEmbeddedCert": {
"type": "SecureString",
"value": "<base64 encoded string of (.pfx) certificate data>"
},
"servicePrincipalEmbeddedCertPassword": {
"type": "SecureString",
"value": "<password of your certificate>"
},
"tenantId": "<tenant ID>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Memberikan izin untuk menggunakan kunci perwakilan layanan
Konektor SharePoint List Online menggunakan autentikasi perwakilan layanan untuk terhubung ke SharePoint. Ikuti langkah-langkah berikut untuk menyiapkannya:
Mendaftarkan aplikasi di platform identitas Microsoft. Untuk mempelajari caranya, lihat Mulai Cepat: Mendaftarkan aplikasi dengan platform identitas Microsoft. Catat nilai berikut, yang Anda gunakan untuk menentukan layanan tertaut:
- ID aplikasi
- Kunci Aplikasi
- ID Penyewa
Berikan izin situs SharePoint Online ke aplikasi terdaftar Anda dengan mengikuti langkah-langkah di bawah ini. Untuk melakukannya, Anda memerlukan peran admin situs.
Buka tautan situs SharePoint Online Anda. Misalnya, URL dalam format
https://<your-site-url>/_layouts/15/appinv.aspx
tempat penampung<your-site-url>
adalah situs Anda.Cari ID aplikasi yang Anda daftarkan, isi bidang yang kosong, lalu klik "Buat".
Domain Aplikasi:
contoso.com
URL Pengalihan:
https://www.contoso.com
XML Permintaan Izin:
<AppPermissionRequests AllowAppOnlyPolicy="true"> <AppPermissionRequest Scope="http://sharepoint/content/sitecollection/web" Right="Read"/> </AppPermissionRequests>
Catatan
Dalam konteks mengonfigurasi konektor SharePoint, "Domain Aplikasi" dan "URL Pengalihan" merujuk ke aplikasi SharePoint yang telah Anda daftarkan di ID Microsoft Entra untuk mengizinkan akses ke data SharePoint Anda. "Domain Aplikasi" adalah domain tempat situs SharePoint Anda dihosting. Misalnya, jika situs SharePoint Anda terletak di "https://contoso.sharepoint.com", maka "Domain Aplikasi" akan menjadi "contoso.sharepoint.com". "URL Pengalihan" adalah URL yang akan dialihkan aplikasi SharePoint setelah pengguna mengautentikasi dan memberikan izin ke aplikasi. URL ini harus menjadi halaman di situs SharePoint Anda yang izinnya diakses aplikasi. Misalnya, Anda dapat menggunakan URL halaman yang menampilkan daftar file di pustaka, atau halaman yang menampilkan konten dokumen.
Klik "Percayai" untuk aplikasi ini.
Properti himpunan data
Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat Himpunan data dan layanan tertaut. Bagian berikut berisi daftar properti yang didukung oleh himpunan data tabel SAP.
Properti | Deskripsi | Wajib |
---|---|---|
jenis | Properti jenis himpunan data harus diatur ke SharePointOnlineLResource. | Ya |
listName | Nama Daftar SharePoint Online. Perhatikan bahwa apostrof (') tidak diizinkan dalam nama file. | Ya |
Contoh
{
"name": "SharePointOnlineListDataset",
"properties":
{
"type": "SharePointOnlineListResource",
"linkedServiceName": {
"referenceName": "<SharePoint Online List linked service name>",
"type": "LinkedServiceReference"
},
"typeProperties":
{
"listName": "<name of the list>"
}
}
}
Properti Aktivitas Salin
Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat Alur. Bagian berikut berisi daftar properti yang didukung oleh sumber Daftar SharePoint Online.
Daftar SharePoint Online sebagai sumber
Untuk menyalin data dari Daftar SharePoint Online, properti berikut didukung di bagian sumber Aktivitas Penyalinan:
Properti | Deskripsi | Wajib |
---|---|---|
jenis | Properti jenis sumber Aktivitas Penyalinan harus diatur ke SharePointOnlineListSource. | Ya |
pertanyaan | Opsi kueri OData kustom untuk memfilter data. Contoh: "$top=10&$select=Title,Number" . |
No |
httpRequestTimeout | Batas waktu (dalam detik) untuk permintaan HTTP guna mendapatkan respons. Defaultnya adalah 300 (5 menit). | No |
Contoh
"activities":[
{
"name": "CopyFromSharePointOnlineList",
"type": "Copy",
"inputs": [
{
"referenceName": "<SharePoint Online List input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "SharePointOnlineListSource",
"query": "<OData query e.g. $top=10&$select=Title,Number>"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Catatan
Anda tidak dapat memilih lebih dari satu jenis data pilihan untuk sumber Daftar SharePoint Online.
Pemetaan jenis data untuk Daftar SharePoint Online
Saat Anda menyalin data dari Daftar SharePoint Online, pemetaan berikut digunakan antara jenis data Daftar SharePoint Online dan jenis data sementara yang digunakan oleh layanan secara internal.
Jenis data SharePoint Online | Jenis data OData | Jenis data sementara |
---|---|---|
Satu baris teks | Edm.String | String |
Beberapa baris teks | Edm.String | String |
Pilihan (menu untuk dipilih) | Edm.String | String |
Nomor (1, 1,0, 100) | Edm.Double | Laju |
Mata uang ($, , €) | Edm.Double | Laju |
Tanggal dan Waktu | Edm.DateTime | DateTime |
Pencarian (informasi yang sudah ada di situs ini) | Edm.Int32 | Int32 |
Ya/Tidak (kotak centang) | Edm.Boolean | Boolean |
Orang atau Grup | Edm.Int32 | Int32 |
Hyperlink atau Gambar | Edm.String | String |
Dihitung (penghitungan berdasarkan kolom lain) | Edm.String / Edm.Double / Edm.DateTime / Edm.Boolean | Untai/Ganda/TanggalWaktu/Boolean |
Lampiran | Tidak didukung | |
Hasil Tugas | Tidak didukung | |
Data Eksternal | Tidak didukung | |
Metadata Terkelola | Tidak didukung |
Menyalin file dari SharePoint Online
Anda dapat menyalin file dari SharePoint Online menggunakan Aktivitas web untuk mengautentikasi dan mengambil token akses dari SPO, lalu meneruskan ke Aktivitas penyalinan berikutnya untuk menyalin data dengan konektor HTTP sebagai sumber.
Ikuti bagian Berikan izin untuk menggunakan kunci perwakilan layanan untuk membuat aplikasi Microsoft Entra dan memberikan izin ke SharePoint Online.
Buat Aktivitas Web untuk mendapatkan token akses dari SharePoint Online:
- URL:
https://accounts.accesscontrol.windows.net/[Tenant-ID]/tokens/OAuth/2
. Ganti ID penyewa. - Metode: POST
- Header:
- Jenis-Konten: application/x-www-form-urlencoded
- Isi:
grant_type=client_credentials&client_id=[Client-ID]@[Tenant-ID]&client_secret=[Client-Secret]&resource=00000003-0000-0ff1-ce00-000000000000/[Tenant-Name].sharepoint.com@[Tenant-ID]
. Ganti ID klien (ID aplikasi), rahasia klien (kunci aplikasi), ID penyewa, dan nama penyewa (penyewa SharePoint).
Perhatian
Atur opsi Output Aman ke true dalam Aktivitas web untuk mencegah nilai token dicatat dalam teks biasa. Setiap aktivitas lebih lanjut yang menggunakan nilai ini harus mengatur opsi Secure Input ke true.
- URL:
Rangkai dengan Aktivitas penyalinan dengan konektor HTTP sebagai sumber untuk menyalin konten file SharePoint Online:
- Layanan tertaut HTTP:
- URL Dasar:
https://[site-url]/_api/web/GetFileByServerRelativeUrl('[relative-path-to-file]')/$value
. Ganti URL situs dan jalur relatif ke file. Pastikan untuk menyertakan URL situs SharePoint bersama nama Domain, sepertihttps://[sharepoint-domain-name].sharepoint.com/sites/[sharepoint-site]/_api/web/GetFileByServerRelativeUrl('/sites/[sharepoint-site]/[relative-path-to-file]')/$value
. - Jenis autentikasi: Anonim (untuk menggunakan Token pembawa yang dikonfigurasi di sumber aktivitas penyalinan di lain waktu)
- URL Dasar:
- Himpunan data: pilih format yang diinginkan. Untuk menyalin file apa adanya, pilih jenis "Biner".
- Salin sumber aktivitas:
- Metode Permintaan: GET
- Header tambahan: gunakan ekspresi
@{concat('Authorization: Bearer ', activity('<Web-activity-name>').output.access_token)}
berikut, yang menggunakan Token pembawa yang dihasilkan oleh aktivitas Web hulu sebagai header otorisasi. Ganti nama aktivitas Web.
- Konfigurasikan sink aktivitas salin untuk tujuan sink yang didukung.
- Layanan tertaut HTTP:
Catatan
Meskipun aplikasi Microsoft Entra memiliki FullControl
izin di SharePoint Online, Anda tidak dapat menyalin file dari pustaka dokumen dengan IRM diaktifkan.
Properti aktivitas pencarian
Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.
Konten terkait
Untuk daftar penyimpanan data yang didukung Aktivitas Salin sebagai sumber dan sink, lihat Penyimpanan dan format data yang didukung.