Kopiowanie i przekształcanie danych z platformy Microsoft 365 (Office 365) na platformę Azure przy użyciu usługi Azure Data Factory lub Synapse Analytics
DOTYCZY:
Azure Data Factory Azure Synapse Analytics
Napiwek
Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !
Potoki usługi Azure Data Factory i Synapse Analytics integrują się z połączeniem danych programu Microsoft Graph, co pozwala na korzystanie z zaawansowanych danych organizacji w dzierżawie usługi Microsoft 365 (Office 365) na platformie Azure w skalowalny sposób i tworzenie aplikacji analitycznych oraz wyodrębnianie szczegółowych informacji na podstawie tych cennych zasobów danych. Integracja z usługą Privileged Access Management zapewnia bezpieczną kontrolę dostępu dla cennych wyselekcjonowanych danych na platformie Microsoft 365 (Office 365). Zapoznaj się z tym linkiem, aby zapoznać się z omówieniem połączenia danych programu Microsoft Graph.
W tym artykule opisano sposób używania działania kopiowania do kopiowania danych i Przepływ danych do przekształcania danych z platformy Microsoft 365 (Office 365). Aby zapoznać się z wprowadzeniem do kopiowania danych, przeczytaj omówienie działania kopiowania. Aby zapoznać się z wprowadzeniem do przekształcania danych, przeczytaj omówienie przepływu mapowania danych.
Uwaga
Łącznik Przepływ danych platformy Microsoft 365 jest obecnie dostępny w wersji zapoznawczej. Aby wziąć udział, użyj tego formularza rejestracji: M365 + Analytics (wersja zapoznawcza).
Obsługiwane możliwości
Ten łącznik usługi Microsoft 365 (Office 365) jest obsługiwany dla następujących funkcji:
| Obsługiwane możliwości | IR |
|---|---|
| działanie Kopiuj (źródło/-) | ① |
| Przepływ danych mapowania (źródło/-) | ① |
(1) Środowisko Azure Integration Runtime (2) Self-hosted Integration Runtime
Łącznik usługi Microsoft 365 (Office 365) i usługa Microsoft Graph Data Połączenie umożliwia pozyskiwanie różnych typów zestawów danych z skrzynek pocztowych z obsługą poczty e-mail programu Exchange, w tym kontaktów z książkami adresowymi, zdarzeniami kalendarza, wiadomościami e-mail, informacjami o użytkownikach, ustawieniami skrzynki pocztowej itd. Zapoznaj się z pełną listą dostępnych zestawów danych.
Na razie w ramach jednego działania kopiowania i przepływu danych można pozyskiwać tylko dane z platformy Microsoft 365 (Office 365) do usługi Azure Blob Storage, Azure Data Lake Storage Gen1 i Azure Data Lake Storage Gen2 w formacie JSON (typ setOfObjects). Podczas kopiowania do usługi Azure Blob Storage dane wyjściowe są obiektem blob zawierającym tekst JSON. Jeśli chcesz załadować usługę Microsoft 365 (Office 365) do innych typów magazynów danych lub w innych formatach, możesz połączyć pierwsze działanie kopiowania lub przepływ danych z kolejnym działaniem, aby dodatkowo załadować dane do dowolnego z obsługiwanych magazynów docelowych usługi ADF (zobacz kolumnę "obsługiwane jako ujście" w tabeli "Obsługiwane magazyny danych i formaty").
Ważne
- Subskrypcja platformy Azure zawierająca obszar roboczy fabryki danych lub usługi Synapse i magazyn danych ujścia musi znajdować się w tej samej dzierżawie firmy Microsoft Entra co dzierżawa usługi Microsoft 365 (Office 365).
- Upewnij się, że region środowiska Azure Integration Runtime używany do działania kopiowania, a także miejsce docelowe znajduje się w tym samym regionie, w którym znajduje się skrzynka pocztowa użytkowników dzierżawy usługi Microsoft 365 (Office 365). Zapoznaj się z tym artykułem, aby dowiedzieć się, jak określana jest lokalizacja środowiska Azure IR. Zapoznaj się z tabelą tutaj, aby uzyskać listę obsługiwanych regionów pakietu Office i odpowiednich regionów świadczenia usługi Azure.
- Uwierzytelnianie jednostki usługi to jedyny mechanizm uwierzytelniania obsługiwany dla usług Azure Blob Storage, Azure Data Lake Storage Gen1 i Azure Data Lake Storage Gen2 jako magazynów docelowych.
Uwaga
Użyj środowiska Azure Integration Runtime zarówno w usługach źródłowych, jak i połączonych ujścia. Własne środowisko Integration Runtime i zarządzane środowisko Integration Runtime sieci wirtualnej nie są obsługiwane.
Wymagania wstępne
Aby skopiować i przekształcić dane z platformy Microsoft 365 (Office 365) na platformę Azure, należy wykonać następujące czynności wstępne:
- Administrator dzierżawy usługi Microsoft 365 (Office 365) musi wykonać akcje dołączania zgodnie z opisem tutaj.
- Utwórz i skonfiguruj aplikację internetową Firmy Microsoft Entra w identyfikatorze Entra firmy Microsoft. Aby uzyskać instrukcje, zobacz Tworzenie aplikacji firmy Microsoft Entra.
- Zanotuj następujące wartości, których użyjesz do zdefiniowania połączonej usługi platformy Microsoft 365 (Office 365):
- Identyfikator dzierżawy. Aby uzyskać instrukcje, zobacz Pobieranie identyfikatora dzierżawy.
- Identyfikator aplikacji i klucz aplikacji. Aby uzyskać instrukcje, zobacz Pobieranie identyfikatora aplikacji i klucza uwierzytelniania.
- Dodaj tożsamość użytkownika, która będzie wysyłać żądanie dostępu do danych jako właściciel aplikacji internetowej Microsoft Entra (z aplikacji > internetowej Microsoft Entra Ustawienia > Właściciele > Dodaj właściciela).
- Tożsamość użytkownika musi znajdować się w organizacji usługi Microsoft 365 (Office 365), z której uzyskujesz dane i nie może być użytkownikiem-gościem.
Zatwierdzanie nowych żądań dostępu do danych
Jeśli po raz pierwszy żądasz danych dla tego kontekstu (kombinacja, do której tabeli danych jest dostęp, do którego konta docelowego są ładowane dane i do którego tożsamości użytkownika jest żądanie dostępu do danych), zobaczysz stan działania kopiowania jako "W toku", a dopiero po kliknięciu linku "Szczegóły" w obszarze Akcje zobaczysz stan "RequestingConsent". Przed kontynuowaniem wyodrębniania danych członek grupy osoby zatwierdzającej dostęp do danych musi zatwierdzić żądanie w usłudze Privileged Access Management.
Zapoznaj się z tym , jak osoba zatwierdzająca może zatwierdzić żądanie dostępu do danych, i zapoznaj się tutaj z wyjaśnieniem ogólnej integracji z usługą Privileged Access Management, w tym sposobu konfigurowania grupy osoby zatwierdzającej dostęp do danych.
Wprowadzenie
Napiwek
Aby zapoznać się z przewodnikiem dotyczącym korzystania z łącznika usługi Microsoft 365 (Office 365), zobacz Artykuł Load data from Microsoft 365 (Office 365) (Ładowanie danych z usługi Microsoft 365 (Office 365).
Potok można utworzyć za pomocą działania kopiowania i przepływu danych przy użyciu jednego z następujących narzędzi lub zestawów SDK. Wybierz link, aby przejść do samouczka z instrukcjami krok po kroku dotyczącymi tworzenia potoku z działaniem kopiowania.
- Witryna Azure Portal
- Zestaw SDK platformy .NET
- Zestaw SDK dla języka Python
- Azure PowerShell
- Interfejs API REST
- Szablon usługi Azure Resource Manager.
Tworzenie połączonej usługi z usługą Microsoft 365 (Office 365) przy użyciu interfejsu użytkownika
Wykonaj poniższe kroki, aby utworzyć połączoną usługę platformy Microsoft 365 (Office 365) w interfejsie użytkownika witryny Azure Portal.
Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:
Wyszukaj usługę Microsoft 365 (Office 365) i wybierz łącznik usługi Microsoft 365 (Office 365).
Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.
szczegóły konfiguracji Połączenie or
Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek usługi Data Factory specyficznych dla łącznika usługi Microsoft 365 (Office 365).
Właściwości połączonej usługi
Następujące właściwości są obsługiwane w przypadku połączonej usługi Microsoft 365 (Office 365):
| Właściwości | Opis | Wymagania |
|---|---|---|
| type | Właściwość type musi być ustawiona na: Office365 | Tak |
| office365TenantId | Identyfikator dzierżawy platformy Azure, do którego należy konto platformy Microsoft 365 (Office 365). | Tak |
| servicePrincipalTenantId | Określ informacje o dzierżawie, w których znajduje się aplikacja internetowa Firmy Microsoft Entra. | Tak |
| servicePrincipalId | Określ identyfikator klienta aplikacji. | Tak |
| servicePrincipalKey | Określ klucz aplikacji. Oznacz to pole jako element SecureString, aby przechowywać je bezpiecznie. | Tak |
| connectVia | Środowisko Integration Runtime do nawiązania połączenia z magazynem danych. Jeśli nie zostanie określony, używa domyślnego środowiska Azure Integration Runtime. | Nie. |
Uwaga
Różnica między office365TenantId i servicePrincipalTenantId i odpowiadającą wartością, która ma dostarczyć:
- Jeśli jesteś deweloperem przedsiębiorstwa tworzącym aplikację na podstawie danych usługi Microsoft 365 (Office 365) dla użycia własnej organizacji, należy podać ten sam identyfikator dzierżawy dla obu właściwości, czyli identyfikator dzierżawy firmy Microsoft Entra organizacji.
- Jeśli jesteś deweloperem niezależnego dostawcy oprogramowania tworzącym aplikację dla swoich klientów, identyfikator dzierżawy microsoft Entra firmy Microsoft będzie identyfikatorem dzierżawy firmy Microsoft (instalatorem aplikacji) i identyfikatorem dzierżawy servicePrincipalTenantId firmy będzie identyfikator dzierżawy firmy Microsoft Entra.
Przykład:
{
"name": "Office365LinkedService",
"properties": {
"type": "Office365",
"typeProperties": {
"office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
"servicePrincipalTenantId": "<AAD app service principal tenant id>",
"servicePrincipalId": "<AAD app service principal id>",
"servicePrincipalKey": {
"type": "SecureString",
"value": "<AAD app service principal key>"
}
}
}
}
Właściwości zestawu danych
Pełna lista sekcji i właściwości dostępnych do definiowania zestawów danych znajduje się w artykule dotyczącym zestawów danych. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych usługi Microsoft 365 (Office 365).
Aby skopiować dane z usługi Microsoft 365 (Office 365), obsługiwane są następujące właściwości:
| Właściwości | Opis | Wymagania |
|---|---|---|
| type | Właściwość type zestawu danych musi być ustawiona na: Office365Table | Tak |
| tableName | Nazwa zestawu danych do wyodrębnienia z platformy Microsoft 365 (Office 365). Zapoznaj się z listą zestawów danych platformy Microsoft 365 (Office 365) dostępnych do wyodrębniania. | Tak |
Jeśli ustawiono ustawienie dateFilterColumn, , endTimestartTimei userScopeFilterUri w zestawie danych, nadal jest ono obsługiwane w miarę działania, podczas gdy sugerowane jest użycie nowego modelu w źródle działań.
Przykład
{
"name": "DS_May2019_O365_Message",
"properties": {
"type": "Office365Table",
"linkedServiceName": {
"referenceName": "<Microsoft 365 (Office 365) linked service name>",
"type": "LinkedServiceReference"
},
"schema": [],
"typeProperties": {
"tableName": "BasicDataSet_v0.Event_v1"
}
}
}
Właściwości działania kopiowania
Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez źródło usługi Microsoft 365 (Office 365).
Platforma Microsoft 365 (Office 365) jako źródło
Aby skopiować dane z usługi Microsoft 365 (Office 365), w sekcji źródła działania kopiowania są obsługiwane następujące właściwości:
| Właściwości | Opis | Wymagania |
|---|---|---|
| type | Właściwość type źródła działania kopiowania musi być ustawiona na: Office365Source | Tak |
| allowedGroups | Predykat zaznaczenia grupy. Użyj tej właściwości, aby wybrać maksymalnie 10 grup użytkowników, dla których zostaną pobrane dane. Jeśli nie określono żadnych grup, dane zostaną zwrócone dla całej organizacji. | Nie. |
| userScopeFilterUri | Jeśli allowedGroups właściwość nie zostanie określona, można użyć wyrażenia predykatu stosowanego w całej dzierżawie do filtrowania określonych wierszy w celu wyodrębnienia z platformy Microsoft 365 (Office 365). Format predykatu powinien być zgodny z formatem zapytania interfejsów API programu Microsoft Graph, np. https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'. |
Nie. |
| dateFilterColumn | Nazwa kolumny filtru DateTime. Użyj tej właściwości, aby ograniczyć zakres czasu, dla którego wyodrębnione są dane usługi Microsoft 365 (Office 365). | Tak, jeśli zestaw danych ma co najmniej jedną kolumnę DateTime. Zapoznaj się z listą zestawów danych, które wymagają tego filtru DateTime. |
| startTime | Rozpocznij wartość daty/godziny do filtrowania. | Tak, jeśli dateFilterColumn określono |
| endTime | Wartość daty/godziny zakończenia do filtrowania. | Tak, jeśli dateFilterColumn określono |
| outputColumns | Tablica kolumn do skopiowania do ujścia. | Nie. |
Przykład:
"activities": [
{
"name": "CopyFromO365ToBlob",
"type": "Copy",
"inputs": [
{
"referenceName": "<Microsoft 365 (Office 365) input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "Office365Source",
"dateFilterColumn": "CreatedDateTime",
"startTime": "2019-04-28T16:00:00.000Z",
"endTime": "2019-05-05T16:00:00.000Z",
"userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
"outputColumns": [
{
"name": "Id"
},
{
"name": "CreatedDateTime"
},
{
"name": "LastModifiedDateTime"
},
{
"name": "ChangeKey"
},
{
"name": "Categories"
},
{
"name": "OriginalStartTimeZone"
},
{
"name": "OriginalEndTimeZone"
},
{
"name": "ResponseStatus"
},
{
"name": "iCalUId"
},
{
"name": "ReminderMinutesBeforeStart"
},
{
"name": "IsReminderOn"
},
{
"name": "HasAttachments"
},
{
"name": "Subject"
},
{
"name": "Body"
},
{
"name": "Importance"
},
{
"name": "Sensitivity"
},
{
"name": "Start"
},
{
"name": "End"
},
{
"name": "Location"
},
{
"name": "IsAllDay"
},
{
"name": "IsCancelled"
},
{
"name": "IsOrganizer"
},
{
"name": "Recurrence"
},
{
"name": "ResponseRequested"
},
{
"name": "ShowAs"
},
{
"name": "Type"
},
{
"name": "Attendees"
},
{
"name": "Organizer"
},
{
"name": "WebLink"
},
{
"name": "Attachments"
},
{
"name": "BodyPreview"
},
{
"name": "Locations"
},
{
"name": "OnlineMeetingUrl"
},
{
"name": "OriginalStart"
},
{
"name": "SeriesMasterId"
}
]
},
"sink": {
"type": "BlobSink"
}
}
}
]
Przekształcanie danych za pomocą łącznika platformy Microsoft 365
Zestawy danych platformy Microsoft 365 mogą być używane jako źródło z przepływami danych mapowania. Przepływ danych przekształci dane przez automatyczne spłaszczenie zestawu danych. Dzięki temu użytkownicy mogą skoncentrować się na wykorzystaniu spłaszczonego zestawu danych w celu przyspieszenia scenariuszy analizy.
Właściwości przepływu mapowania danych
Aby utworzyć przepływ danych mapowania przy użyciu łącznika platformy Microsoft 365 jako źródła, wykonaj następujące kroki:
W programie ADF Studio przejdź do sekcji Przepływy danych w centrum Autor, wybierz przycisk ... w celu menu akcji przepływu danych i wybierz element Nowy przepływdanych. Włącz tryb debugowania przy użyciu przycisku Debugowanie przepływu danych na górnym pasku kanwy przepływu danych.
W edytorze przepływu mapowania danych wybierz pozycję Dodaj źródło.
Na karcie Ustawienia źródła wybierz pozycję Wbudowany we właściwości Typ źródła, Microsoft 365 (Office 365) w typie zestawu danych wbudowanych i połączoną usługę Microsoft 365, która została utworzona wcześniej.
Na karcie Opcje źródła wybierz nazwę tabeli platformy Microsoft 365, którą chcesz przekształcić. Wybierz również opcję Automatycznie spłaszczaj, aby zdecydować, czy chcesz, aby przepływ danych automatycznie spłaszczał źródłowy zestaw danych.
Na kartach Projekcja, Optymalizacja i inspekcja postępuj zgodnie z przepływem danych mapowania.
Na karcie Podgląd danych kliknij przycisk Odśwież , aby pobrać przykładowy zestaw danych do weryfikacji.
Powiązana zawartość
Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz obsługiwane magazyny danych.