Menyalin data dari Daftar SharePoint Online dengan menggunakan Azure Data Factory atau Azure Synapse Analytics

Artikel
01/05/2024

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menguraikan cara menggunakan aktivitas salin di Azure Data Factory dan alur Azure Synapse untuk menyalin data dari Daftar SharePoint Online. Artikel ini dibuat berdasarkan Aktivitas Salin, yang menyajikan ikhtisar umum tentang Aktivitas Salin.

Kemampuan yang didukung

Konektor Daftar Online SharePoint ini didukung untuk kemampuan berikut:

Kemampuan yang didukung	IR
Aktivitas penyalinan (sumber/-)	① ②
Aktivitas pencarian	① ②

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink, lihat tabel penyimpanan data yang didukung.

Khususnya, konektor SharePoint List Online ini menggunakan autentikasi perwakilan layanan dan mengambil data melalui protokol OData.

Tip

Konektor ini mendukung penyalinan data dari Daftar SharePoint Online, namun bukan file. Pelajari cara menyalin file dari bagian Salin file dari SharePoint Online.

Prasyarat

Konektor SharePoint List Online menggunakan autentikasi perwakilan layanan untuk terhubung ke SharePoint. Ikuti langkah-langkah berikut untuk menyiapkannya:

Mendaftarkan aplikasi di platform identitas Microsoft. Untuk mempelajari caranya, lihat Mulai Cepat: Mendaftarkan aplikasi dengan platform identitas Microsoft. Catat nilai berikut, yang Anda gunakan untuk menentukan layanan tertaut:
- ID Aplikasi
- Kunci Aplikasi
- ID Penyewa
Berikan izin situs SharePoint Online ke aplikasi terdaftar Anda dengan mengikuti langkah-langkah di bawah ini. Untuk melakukannya, Anda memerlukan peran admin situs.
1. Buka tautan situs SharePoint Online misalnya, https://[your_site_url]/_layouts/15/appinv.aspx (ganti URL situs).
2. Cari ID aplikasi yang Anda daftarkan, isi bidang yang kosong, lalu klik "Buat".
  - Domain Aplikasi: contoso.com
  - URL Pengalihan: https://www.contoso.com
  - XML Permintaan Izin:
```
<AppPermissionRequests AllowAppOnlyPolicy="true">
    <AppPermissionRequest Scope="http://sharepoint/content/sitecollection/web" Right="Read"/>
</AppPermissionRequests>
```
  Catatan
  
  Dalam konteks mengonfigurasi konektor SharePoint, "Domain Aplikasi" dan "URL Pengalihan" merujuk ke aplikasi SharePoint yang telah Anda daftarkan di ID Microsoft Entra untuk mengizinkan akses ke data SharePoint Anda. "Domain Aplikasi" adalah domain tempat situs SharePoint Anda dihosting. Misalnya, jika situs SharePoint Anda terletak di "https://contoso.sharepoint.com", maka "Domain Aplikasi" akan menjadi "contoso.sharepoint.com". "URL Pengalihan" adalah URL yang akan dialihkan aplikasi SharePoint setelah pengguna mengautentikasi dan memberikan izin ke aplikasi. URL ini harus menjadi halaman di situs SharePoint Anda yang izinnya diakses aplikasi. Misalnya, Anda dapat menggunakan URL halaman yang menampilkan daftar file di pustaka, atau halaman yang menampilkan konten dokumen.
3. Klik "Percayai" untuk aplikasi ini.

Mulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

Membuat layanan tertaut ke Daftar Online SharePoint menggunakan UI

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Daftar Online SharePoint di UI portal Azure.

Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:
- Azure Data Factory
- Azure Synapse
Cari SharePoint dan pilih konektor Daftar Online SharePoint.
Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

Detail konfigurasi konektor

Bagian berikut menyediakan detail tentang properti yang dapat Anda gunakan untuk menentukan entitas yang khusus untuk konektor Daftar SharePoint Online.

Properti layanan tertaut

Properti berikut ini didukung untuk layanan tertaut Daftar SharePoint Online:

Properti	Keterangan	Diperlukan
jenis	Jenis properti harus diatur ke: SharePointOnlineList.	Ya
siteUrl	Url situs SharePoint Online, misalnya, `https://contoso.sharepoint.com/sites/siteName`.	Ya
servicePrincipalId	ID Aplikasi (klien) aplikasi yang terdaftar di ID Microsoft Entra. Lihat Prasyarat untuk detail selengkapnya termasuk pengaturan izin.	Ya
servicePrincipalKey	Kunci aplikasi. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman, atau referensikan rahasia yang disimpan di Azure Key Vault.	Ya
tenantId	ID penyewa tempat aplikasi Anda berada.	Ya
connectVia	Integration Runtime digunakan untuk menyambungkan ke penyimpanan data. Jika tidak ditentukan, Integration Runtime Azure default digunakan.	Tidak

Contoh:

{
    "name": "SharePointOnlineList",
    "properties": {
        "type": "SharePointOnlineList",
        "typeProperties": {
            "siteUrl": "<site URL>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenantId": "<tenant ID>"
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat Himpunan data dan layanan tertaut. Bagian berikut berisi daftar properti yang didukung oleh himpunan data tabel SAP.

Properti	Deskripsi	Wajib
jenis	Properti jenis himpunan data harus diatur ke SharePointOnlineLResource.	Ya
listName	Nama Daftar SharePoint Online. Perhatikan bahwa apostrof (') tidak diizinkan dalam nama file.	Ya

Contoh

{
    "name": "SharePointOnlineListDataset",
    "properties":
    {
        "type": "SharePointOnlineListResource",
        "linkedServiceName": {
            "referenceName": "<SharePoint Online List linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties":
        {
            "listName": "<name of the list>"
        }
    }
}

Properti Aktivitas Salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat Alur. Bagian berikut berisi daftar properti yang didukung oleh sumber Daftar SharePoint Online.

Daftar SharePoint Online sebagai sumber

Untuk menyalin data dari Daftar SharePoint Online, properti berikut didukung di bagian sumber Aktivitas Penyalinan:

Properti	Deskripsi	Wajib
jenis	Properti jenis sumber Aktivitas Penyalinan harus diatur ke SharePointOnlineListSource.	Ya
pertanyaan	Opsi kueri OData kustom untuk memfilter data. Contoh: `"$top=10&$select=Title,Number"`.	Tidak
httpRequestTimeout	Batas waktu (dalam detik) untuk permintaan HTTP guna mendapatkan respons. Defaultnya adalah 300 (5 menit).	Tidak

Contoh

"activities":[
    {
        "name": "CopyFromSharePointOnlineList",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SharePoint Online List input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SharePointOnlineListSource",
                "query": "<OData query e.g. $top=10&$select=Title,Number>"
            }, 
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Catatan

Anda tidak dapat memilih lebih dari satu jenis data pilihan untuk sumber Daftar SharePoint Online.

Pemetaan jenis data untuk Daftar SharePoint Online

Saat Anda menyalin data dari Daftar SharePoint Online, pemetaan berikut digunakan antara jenis data Daftar SharePoint Online dan jenis data sementara yang digunakan oleh layanan secara internal.

Jenis data SharePoint Online	Jenis data OData	Jenis data sementara
Satu baris teks	Edm.String	String
Beberapa baris teks	Edm.String	String
Pilihan (menu untuk dipilih)	Edm.String	String
Nomor (1, 1,0, 100)	Edm.Double	Laju
Mata uang ($, , €)	Edm.Double	Laju
Tanggal dan Waktu	Edm.DateTime	DateTime
Pencarian (informasi yang sudah ada di situs ini)	Edm.Int32	Int32
Ya/Tidak (kotak centang)	Edm.Boolean	Boolean
Orang atau Grup	Edm.Int32	Int32
Hyperlink atau Gambar	Edm.String	String
Dihitung (penghitungan berdasarkan kolom lain)	Edm.String / Edm.Double / Edm.DateTime / Edm.Boolean	Untai/Ganda/TanggalWaktu/Boolean
Lampiran	Tidak didukung
Hasil Tugas	Tidak didukung
Data Eksternal	Tidak didukung
Metadata Terkelola	Tidak didukung

Menyalin file dari SharePoint Online

Anda dapat menyalin file dari SharePoint Online menggunakan Aktivitas web untuk mengautentikasi dan mengambil token akses dari SPO, lalu meneruskan ke Aktivitas penyalinan berikutnya untuk menyalin data dengan konektor HTTP sebagai sumber.

sharepoint copy file flow

Ikuti bagian Prasyarat untuk membuat aplikasi Microsoft Entra dan berikan izin ke SharePoint Online.
Buat Aktivitas Web untuk mendapatkan token akses dari SharePoint Online:
- URL: https://accounts.accesscontrol.windows.net/[Tenant-ID]/tokens/OAuth/2. Ganti ID penyewa.
- Metode: POST
- Header:
  - Jenis-Konten: application/x-www-form-urlencoded
- Isi: grant_type=client_credentials&client_id=[Client-ID]@[Tenant-ID]&client_secret=[Client-Secret]&resource=00000003-0000-0ff1-ce00-000000000000/[Tenant-Name].sharepoint.com@[Tenant-ID]. Ganti ID klien (ID aplikasi), rahasia klien (kunci aplikasi), ID penyewa, dan nama penyewa (penyewa SharePoint).
Perhatian

Atur opsi Output Aman ke true dalam Aktivitas web untuk mencegah nilai token dicatat dalam teks biasa. Setiap aktivitas lebih lanjut yang menggunakan nilai ini harus mengatur opsi Secure Input ke true.
Rangkai dengan Aktivitas penyalinan dengan konektor HTTP sebagai sumber untuk menyalin konten file SharePoint Online:
- Layanan tertaut HTTP:
  - URL Dasar: https://[site-url]/_api/web/GetFileByServerRelativeUrl('[relative-path-to-file]')/$value. Ganti URL situs dan jalur relatif ke file. Pastikan untuk menyertakan URL situs SharePoint bersama nama Domain, seperti https://[sharepoint-domain-name].sharepoint.com/sites/[sharepoint-site]/_api/web/GetFileByServerRelativeUrl('/sites/[sharepoint-site]/[relative-path-to-file]')/$value.
  - Jenis autentikasi: Anonim (untuk menggunakan Token pembawa yang dikonfigurasi di sumber aktivitas penyalinan di lain waktu)
- Himpunan data: pilih format yang diinginkan. Untuk menyalin file apa adanya, pilih jenis "Biner".
- Salin sumber aktivitas:
  - Metode Permintaan: GET
  - Header tambahan: gunakan ekspresi@{concat('Authorization: Bearer ', activity('<Web-activity-name>').output.access_token)} berikut, yang menggunakan Token pembawa yang dihasilkan oleh aktivitas Web hulu sebagai header otorisasi. Ganti nama aktivitas Web.
- Konfigurasikan sink aktivitas penyalinan seperti biasa.