Menyalin dan mengubah data dari Microsoft 365 (Office 365) ke Azure menggunakan Azure Data Factory atau Synapse Analytics

BERLAKU UNTUK:Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Alur Azure Data Factory dan Synapse Analytics terintegrasi dengan Microsoft Graph data connect, yang memungkinkan Anda membawa data organisasi yang lengkap di penyewa Microsoft 365 (Office 365) Anda ke Azure dengan cara yang skalabel dan membuat aplikasi analitik serta memanfaatkan wawasan berdasarkan aset data yang berharga ini. Integrasi dengan Privileged Access Management menyediakan kontrol akses yang aman untuk data yang dikumpulkan dan berharga di Microsoft 365 (Office 365). Silakan merujuk ke tautan ini untuk gambaran umum koneksi data Microsoft Graph.

Artikel ini menguraikan cara menggunakan Aktivitas Salin untuk menyalin data dan Aliran Data untuk mengubah data dari Microsoft 365 (Office 365). Untuk pengenalan menyalin data, baca gambaran umum aktivitas salin. Untuk pengantar mengubah data, baca gambaran umum aliran data pemetaan.

Catatan

Konektor Aliran Data Microsoft 365 saat ini dalam pratinjau. Untuk berpartisipasi, gunakan formulir pendaftaran ini: Pratinjau M365 + Analytics.

Kemampuan yang didukung

Konektor Microsoft 365 (Office 365) ini didukung untuk kemampuan berikut:

Kemampuan yang didukung IR
Aktivitas penyalinan (sumber/-)
Alur data pemetaan (sumber/-)

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Konektor ADF Microsoft 365 (Office 365) dan Microsoft Graph Data Koneksi memungkinkan penyerapan skala berbagai jenis himpunan data dari kotak surat yang diaktifkan Exchange Email, termasuk kontak buku alamat, acara kalender, pesan email, informasi pengguna, pengaturan kotak surat, dan sebagainya. Lihat di sini untuk melihat daftar lengkap himpunan data yang tersedia.

Untuk saat ini, dalam satu aktivitas penyalinan dan aliran data, Anda hanya dapat menyerap data dari Microsoft 365 (Office 365) ke Azure Blob Storage, Azure Data Lake Storage Gen1, dan Azure Data Lake Storage Gen2 dalam format JSON (jenis setOfObjects). Saat menyalin ke Azure Blob Storage, outputnya adalah blob yang berisi teks JSON. Jika Anda ingin memuat Microsoft 365 (Office 365) ke dalam jenis penyimpanan data lain atau dalam format lain, Anda dapat menautkan aktivitas salin atau aliran data pertama dengan aktivitas berikutnya untuk memuat data lebih lanjut ke salah satu penyimpanan tujuan ADF yang didukung (lihat kolom "didukung sebagai sink" di tabel "Penyimpanan dan format data yang didukung").

Penting

  • Langganan Azure yang berisi pabrik data atau ruang kerja Synapse dan penyimpanan data sink harus berada di bawah penyewa Microsoft Entra yang sama dengan penyewa Microsoft 365 (Office 365).
  • Pastikan wilayah Azure Integration Runtime yang digunakan untuk aktivitas salin serta tujuannya berada di wilayah yang sama tempat kotak mail pengguna penyewa Microsoft 365 (Office 365) berada. Lihat di sini untuk memahami penentuan lokasi runtime integrasi Azure. Lihat tabel di sini untuk daftar wilayah Office yang didukung dan wilayah Azure terkait.
  • Autentikasi Perwakilan Layanan adalah satu-satunya mekanisme autentikasi yang didukung untuk Azure Blob Storage, Azure Data Lake Storage Gen1, dan Azure Data Lake Storage Gen2 sebagai penyimpanan tujuan.

Catatan

Harap gunakan runtime integrasi Azure di layanan tertaut sumber dan sink. Runtime integrasi yang dihost sendiri dan runtime integrasi jaringan virtual terkelola tidak didukung.

Prasyarat

Untuk menyalin dan mengubah data dari Microsoft 365 (Office 365) ke Azure, Anda perlu menyelesaikan langkah-langkah prasyarat berikut:

  • Admin penyewa Microsoft 365 (Office 365) Anda harus menyelesaikan tindakan on-boarding seperti yang dijelaskan di sini.
  • Membuat dan mengonfigurasi aplikasi web Microsoft Entra di MICROSOFT Entra ID. Untuk petunjuknya, lihat Membuat aplikasi Microsoft Entra.
  • Catat nilai berikut, yang akan Anda gunakan untuk menentukan layanan tertaut untuk Microsoft 365 (Office 365):
  • Tambahkan identitas pengguna yang akan membuat permintaan akses data sebagai pemilik aplikasi web Microsoft Entra (dari aplikasi > web Microsoft Entra Pengaturan > Pemilik > Tambahkan pemilik).
    • Identitas pengguna harus berada dalam organisasi Microsoft 365 (Office 365) tempat Anda mendapatkan data dan tidak boleh menjadi pengguna Tamu.

Menyetujui permintaan akses data baru

Jika ini adalah pertama kalinya Anda meminta data untuk konteks ini (kombinasi dari tabel data mana yang sedang diakses, akun tujuan mana tempat data dimuat, dan identitas pengguna mana yang membuat permintaan akses data), Anda akan melihat status aktivitas salin sebagai "Sedang Berlangsung", dan hanya ketika Anda mengklik tautan "Detail" di bawah Tindakan, Anda akan melihat status sebagai "MemintaIzin". Anggota pemberi izin akses data perlu menyetujui permintaan di Privileged Access Management sebelum ekstraksi data dapat dilanjutkan.

Lihat di sini tentang bagaimana pemberi persetujuan dapat menyetujui permintaan akses data, dan lihat di sini untuk penjelasan tentang integrasi keseluruhan dengan Privileged Access Management, termasuk cara menyiapkan grup pemberi izin akses data.

Memulai

Tip

Untuk panduan menggunakan konektor Microsoft 365 (Office 365), lihat artikel Memuat data dari Microsoft 365 (Office 365).

Anda dapat membuat alur dengan aktivitas salin dan aliran data dengan menggunakan salah satu alat atau SDK berikut. Pilih link untuk masuk ke tutorial dengan instruksi langkah demi langkah untuk membuat alur dengan aktivitas salin.

Membuat layanan tertaut ke Microsoft 365 (Office 365) menggunakan antarmuka pengguna

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Microsoft 365 (Office 365) di antarmuka pengguna portal Azure.

  1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

  2. Cari Microsoft 365 (Office 365) dan pilih konektor Microsoft 365 (Office 365).

    Screenshot of the Microsoft 365 (Office 365) connector.

  3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

    Screenshot of linked service configuration for Microsoft 365 (Office 365).

Detail konfigurasi konektor

Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas Data Factory khusus untuk konektor Microsoft 365 (Office 365).

Properti layanan tertaut

Properti berikut didukung untuk layanan tertaut Microsoft 365 (Office 365):

Properti Deskripsi Wajib
jenis Properti jenis harus diatur ke: Office365 Ya
office365TenantId ID penyewa Azure milik akun Microsoft 365 (Office 365). Ya
servicePrincipalTenantId Tentukan informasi penyewa tempat aplikasi web Microsoft Entra Anda berada. Ya
servicePrincipalId Menentukan ID klien aplikasi. Ya
servicePrincipalKey Tentukan kunci aplikasi. Tandai bidang ini sebagai SecureString untuk menyimpannya dengan aman. Ya
connectVia Runtime integrasi yang akan digunakan untuk menyambungkan ke penyimpanan data. Jika tidak ditentukan, Azure Integration Runtime default akan digunakan. Tidak

Catatan

Perbedaan antara office365TenantId dan servicePrincipalTenantId dan nilai terkait untuk diberikan:

  • Jika Anda adalah pengembang perusahaan yang mengembangkan aplikasi terhadap data Microsoft 365 (Office 365) untuk penggunaan organisasi Anda sendiri, maka Anda harus menyediakan ID penyewa yang sama untuk kedua properti, yang merupakan ID penyewa Microsoft Entra organisasi Anda.
  • Jika Anda adalah pengembang ISV yang mengembangkan aplikasi untuk pelanggan Anda, maka office365TenantId akan menjadi ID penyewa Microsoft Entra (penginstal aplikasi) pelanggan Anda dan servicePrincipalTenantId akan menjadi ID penyewa Microsoft Entra perusahaan Anda.

Contoh:

{
    "name": "Office365LinkedService",
    "properties": {
        "type": "Office365",
        "typeProperties": {
            "office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
            "servicePrincipalTenantId": "<AAD app service principal tenant id>",
            "servicePrincipalId": "<AAD app service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<AAD app service principal key>"
            }
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel himpunan data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data Microsoft 365 (Office 365).

Untuk menyalin data dari dan ke Microsoft 365 (Office 365), properti berikut didukung:

Properti Deskripsi Wajib
jenis Properti jenis himpunan data harus disetel ke: Office365Table Ya
tableName Nama himpunan data untuk diekstrak dari Microsoft 365 (Office 365). Lihat di sini untuk daftar himpunan data Microsoft 365 (Office 365) yang tersedia untuk ekstraksi. Ya

Jika Anda mengatur dateFilterColumn, startTime, endTime, dan userScopeFilterUri dalam himpunan data, itu masih didukung apa adanya, sementara Anda disarankan untuk menggunakan model baru di sumber aktivitas ke depannya.

Contoh

{
    "name": "DS_May2019_O365_Message",
    "properties": {
        "type": "Office365Table",
        "linkedServiceName": {
            "referenceName": "<Microsoft 365 (Office 365) linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "tableName": "BasicDataSet_v0.Event_v1"
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh sumber Microsoft 365 (Office 365).

Microsoft 365 (Office 365) sebagai sumber

Untuk menyalin data dari Microsoft 365 (Office 365), properti berikut didukung di bagian sumberaktivitas salin:

Properti Deskripsi Wajib
jenis Properti jenis sumber aktivitas salin harus diatur ke: SumberOffice365 Ya
allowedGroups Predikat pemilihan grup. Gunakan properti ini untuk memilih hingga 10 grup pengguna yang datanya akan diambil. Jika tidak ada grup yang ditentukan, maka data akan dikembalikan untuk seluruh organisasi. Tidak
userScopeFilterUri Saat properti allowedGroups tidak ditentukan, Anda dapat menggunakan ekspresi predikat yang diterapkan di seluruh penyewa untuk memfilter baris tertentu untuk diekstrak dari Microsoft 365 (Office 365). Format predikat harus cocok dengan format kueri API Microsoft Graph, misalnya https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'. Tidak
dateFilterColumn Nama kolom filter TanggalWaktu. Gunakan properti ini untuk membatasi rentang waktu data Microsoft 365 (Office 365) yang diekstrak. Ya jika himpunan data memiliki satu atau beberapa kolom TanggalWaktu. Lihat di sini untuk daftar himpunan data yang memerlukan filter TanggalWaktu ini.
startTime Nilai TanggalWaktu Mulai untuk difilter. Ya jika dateFilterColumn ditentukan
endTime Nilai TanggalWaktu Akhir untuk difilter. Ya jika dateFilterColumn ditentukan
outputColumns Larik kolom yang akan disalin ke sink. Tidak

Contoh:

"activities": [
    {
        "name": "CopyFromO365ToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft 365 (Office 365) input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "Office365Source",
                "dateFilterColumn": "CreatedDateTime",
                "startTime": "2019-04-28T16:00:00.000Z",
                "endTime": "2019-05-05T16:00:00.000Z",
                "userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
                "outputColumns": [
                    {
                        "name": "Id"
                    },
                    {
                        "name": "CreatedDateTime"
                    },
                    {
                        "name": "LastModifiedDateTime"
                    },
                    {
                        "name": "ChangeKey"
                    },
                    {
                        "name": "Categories"
                    },
                    {
                        "name": "OriginalStartTimeZone"
                    },
                    {
                        "name": "OriginalEndTimeZone"
                    },
                    {
                        "name": "ResponseStatus"
                    },
                    {
                        "name": "iCalUId"
                    },
                    {
                        "name": "ReminderMinutesBeforeStart"
                    },
                    {
                        "name": "IsReminderOn"
                    },
                    {
                        "name": "HasAttachments"
                    },
                    {
                        "name": "Subject"
                    },
                    {
                        "name": "Body"
                    },
                    {
                        "name": "Importance"
                    },
                    {
                        "name": "Sensitivity"
                    },
                    {
                        "name": "Start"
                    },
                    {
                        "name": "End"
                    },
                    {
                        "name": "Location"
                    },
                    {
                        "name": "IsAllDay"
                    },
                    {
                        "name": "IsCancelled"
                    },
                    {
                        "name": "IsOrganizer"
                    },
                    {
                        "name": "Recurrence"
                    },
                    {
                        "name": "ResponseRequested"
                    },
                    {
                        "name": "ShowAs"
                    },
                    {
                        "name": "Type"
                    },
                    {
                        "name": "Attendees"
                    },
                    {
                        "name": "Organizer"
                    },
                    {
                        "name": "WebLink"
                    },
                    {
                        "name": "Attachments"
                    },
                    {
                        "name": "BodyPreview"
                    },
                    {
                        "name": "Locations"
                    },
                    {
                        "name": "OnlineMeetingUrl"
                    },
                    {
                        "name": "OriginalStart"
                    },
                    {
                        "name": "SeriesMasterId"
                    }
                ]
            },
            "sink": {
                "type": "BlobSink"
            }
        }
    }
]

Mengubah data dengan konektor Microsoft 365

Himpunan data Microsoft 365 dapat digunakan sebagai sumber dengan aliran data pemetaan. Aliran data akan mengubah data dengan meratakan himpunan data secara otomatis. Ini memungkinkan pengguna untuk berkonsentrasi dalam memanfaatkan himpunan data yang diratakan untuk mempercepat skenario analitik mereka.

Properti pemetaan aliran data

Untuk membuat aliran data pemetaan menggunakan konektor Microsoft 365 sebagai sumber, selesaikan langkah-langkah berikut:

  1. Di Studio ADF, buka bagian Aliran data dari hub Penulis, pilih tombol ... untuk menurun menu tindakan Aliran data, dan pilih item Aliran data baru. Aktifkan mode debug dengan menggunakan tombol Debug Aliran data di bilah atas kanvas aliran data.

    Screenshot of the data flow debug button in mapping data flow.

  2. Di editor aliran data pemetaan, pilih Tambahkan Sumber.

    Screenshot of add source in mapping data flow.

  3. Pada tab Pengaturan sumber, pilih Sebaris di properti Tipe sumber, Microsoft 365 (Office 365) dalam tipe himpunan data sebaris, dan layanan tertaut Microsoft 365 yang telah Anda buat sebelumnya.

    Screenshot of the select dataset option in source settings of mapping data flow source.

  4. Pada tab Opsi sumber pilih Nama tabel Microsoft 365 yang ingin Anda ubah. Pilih juga opsi Meratakan otomatis untuk memutuskan apakah Anda ingin aliran data meratakan himpunan data sumber secara otomatis.

    Screenshot of the source options of mapping data flow source.

  5. Untuk tab Proyeksi, Optimalkan dan Periksa, silakan ikuti pemetaan aliran data.

  6. Pada tab Pratinjau data klik tombol Refresh untuk mengambil sampel himpunan data untuk validasi.

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat penyimpanan data yang didukung.