Gegevens kopiëren en transformeren van Microsoft 365 (Office 365) naar Azure met behulp van Azure Data Factory of Synapse Analytics
VAN TOEPASSING OP:
Azure Data Factory Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
Azure Data Factory- en Synapse Analytics-pijplijnen kunnen worden geïntegreerd met Microsoft Graph Data Connect, zodat u de uitgebreide organisatiegegevens in uw Microsoft 365-tenant (Office 365) op een schaalbare manier in Azure kunt plaatsen en analysetoepassingen kunt bouwen en inzichten kunt extraheren op basis van deze waardevolle gegevensassets. Integratie met Privileged Access Management biedt beveiligd toegangsbeheer voor de waardevolle gecureerde gegevens in Microsoft 365 (Office 365). Raadpleeg deze koppeling voor een overzicht van Microsoft Graph Data Connect.
In dit artikel wordt beschreven hoe u de kopieeractiviteit gebruikt om gegevens te kopiëren en Gegevensstroom om gegevens van Microsoft 365 (Office 365) te transformeren. Lees het overzicht van de kopieeractiviteit voor een inleiding tot het kopiëren van gegevens. Lees het overzicht van toewijzingsgegevensstromen voor een inleiding tot het transformeren van gegevens.
Notitie
Microsoft 365 Gegevensstroom-connector is momenteel beschikbaar als preview-versie. Als u wilt deelnemen, gebruikt u dit aanmeldingsformulier: M365 + Analytics Preview.
Ondersteunde mogelijkheden
Deze Microsoft 365-connector (Office 365) wordt ondersteund voor de volgende mogelijkheden:
| Ondersteunde mogelijkheden | IR |
|---|---|
| Copy-activiteit (bron/-) | ① |
| Toewijzingsgegevensstroom (bron/-) | ① |
(1) Azure Integration Runtime (2) Zelf-hostende Integration Runtime
De ADF Microsoft 365-connector (Office 365) en Microsoft Graph Data Verbinding maken maakt het mogelijk om gegevenssets op schaal op te nemen van verschillende typen gegevenssets uit postvakken met Exchange-e-mail, waaronder adresboekcontactpersonen, agendagebeurtenissen, e-mailberichten, gebruikersgegevens, postvakinstellingen, enzovoort. Raadpleeg hier de volledige lijst met beschikbare gegevenssets.
Voorlopig kunt u binnen één kopieeractiviteit en gegevensstroom alleen gegevens van Microsoft 365 (Office 365) opnemen in Azure Blob Storage, Azure Data Lake Storage Gen1 en Azure Data Lake Storage Gen2 in JSON-indeling (type setOfObjects). Bij het kopiëren naar Azure Blob Storage is de uitvoer een blob met JSON-tekst. Als u Microsoft 365 (Office 365) wilt laden in andere typen gegevensarchieven of in andere indelingen, kunt u de eerste kopieeractiviteit of gegevensstroom koppelen aan een volgende activiteit om gegevens verder te laden in een van de ondersteunde ADF-doelarchieven (raadpleeg de kolom Ondersteund als een sink in de tabel Ondersteunde gegevensarchieven en -indelingen).
Belangrijk
- Het Azure-abonnement met de data factory of Synapse-werkruimte en het sinkgegevensarchief moeten zich onder dezelfde Microsoft Entra-tenant bevinden als de Microsoft 365-tenant (Office 365).
- Zorg ervoor dat de Azure Integration Runtime-regio die wordt gebruikt voor kopieeractiviteit en de bestemming zich in dezelfde regio bevindt als waar het postvak van gebruikers van de Microsoft 365-tenant (Office 365) zich bevindt. Raadpleeg hier om te begrijpen hoe de Azure IR-locatie wordt bepaald. Raadpleeg hier de tabel voor de lijst met ondersteunde Office-regio's en bijbehorende Azure-regio's.
- Service-principalverificatie is het enige verificatiemechanisme dat wordt ondersteund voor Azure Blob Storage, Azure Data Lake Storage Gen1 en Azure Data Lake Storage Gen2 als doelopslag.
Notitie
Gebruik Azure Integration Runtime in gekoppelde bron- en sinkservices. De zelf-hostende Integration Runtime en de beheerde integratieruntime voor virtuele netwerken worden niet ondersteund.
Vereisten
Als u gegevens van Microsoft 365 (Office 365) naar Azure wilt kopiëren en transformeren, moet u de volgende vereiste stappen uitvoeren:
- De tenantbeheerder van Microsoft 365 (Office 365) moet de instapacties voltooien, zoals hier wordt beschreven.
- Maak en configureer een Microsoft Entra-webtoepassing in Microsoft Entra-id. Zie Een Microsoft Entra-toepassing maken voor instructies.
- Noteer de volgende waarden, die u gaat gebruiken om de gekoppelde service voor Microsoft 365 (Office 365) te definiëren:
- Tenant-id. Zie Tenant-id ophalen voor instructies.
- Toepassings-id en toepassingssleutel. Zie Toepassings-id en verificatiesleutel ophalen voor instructies.
- Voeg de gebruikersidentiteit toe die de aanvraag voor gegevenstoegang indient als eigenaar van de Microsoft Entra-webtoepassing (vanuit de Microsoft Entra-webtoepassing > Instellingen > Eigenaren eigenaar > toevoegen).
- De gebruikersidentiteit moet zich in de Microsoft 365-organisatie (Office 365) bevinden waaruit u gegevens krijgt en mag geen gastgebruiker zijn.
Nieuwe aanvragen voor gegevenstoegang goedkeuren
Als dit de eerste keer is dat u gegevens aanvraagt voor deze context (een combinatie van welke gegevenstabel toegang heeft, in welk doelaccount de gegevens worden geladen en in welke gebruikersidentiteit de aanvraag voor gegevenstoegang wordt ingediend), ziet u de status van de kopieeractiviteit als 'Wordt uitgevoerd' en alleen wanneer u klikt op de koppeling Details onder Acties ziet u de status 'RequestingConsent'. Een lid van de groep fiatteurs voor gegevenstoegang moet de aanvraag goedkeuren in Privileged Access Management voordat de gegevensextractie kan worden voortgezet.
Raadpleeg hier hoe de fiatteur de aanvraag voor gegevenstoegang kan goedkeuren en raadpleeg hier voor een uitleg over de algehele integratie met Privileged Access Management, waaronder het instellen van de groep fiatteurs voor gegevenstoegang.
Aan de slag
Tip
Zie het artikel Gegevens laden uit Microsoft 365 (Office 365) voor een overzicht van het gebruik van de Microsoft 365-connector (Office 365).
U kunt een pijplijn maken met de kopieeractiviteit en gegevensstroom met behulp van een van de volgende hulpprogramma's of SDK's. Selecteer een koppeling om naar een zelfstudie te gaan met stapsgewijze instructies voor het maken van een pijplijn met een kopieeractiviteit.
Een gekoppelde service maken met Microsoft 365 (Office 365) met behulp van de gebruikersinterface
Gebruik de volgende stappen om een gekoppelde service te maken voor Microsoft 365 (Office 365) in de gebruikersinterface van Azure Portal.
Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en klik vervolgens op Nieuw:
Zoek naar Microsoft 365 (Office 365) en selecteer de Microsoft 365-connector (Office 365).
Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.
configuratiedetails Verbinding maken or
De volgende secties bevatten details over eigenschappen die worden gebruikt voor het definiëren van Data Factory-entiteiten die specifiek zijn voor De Microsoft 365-connector (Office 365).
Eigenschappen van gekoppelde service
De volgende eigenschappen worden ondersteund voor gekoppelde Microsoft 365-service (Office 365):
| Eigenschappen | Beschrijving | Vereist |
|---|---|---|
| type | De eigenschap type moet worden ingesteld op: Office365 | Ja |
| office365TenantId | Azure-tenant-id waartoe het Microsoft 365-account (Office 365) behoort. | Ja |
| servicePrincipalTenantId | Geef de tenantgegevens op waaronder uw Microsoft Entra-webtoepassing zich bevindt. | Ja |
| servicePrincipalId | Geef de client-id van de toepassing op. | Ja |
| servicePrincipalKey | Geef de sleutel van de toepassing op. Markeer dit veld als securestring om het veilig op te slaan. | Ja |
| connectVia | De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. Als dit niet is opgegeven, wordt de standaard Azure Integration Runtime gebruikt. | Nr. |
Notitie
Het verschil tussen office365TenantId en servicePrincipalTenantId en de bijbehorende waarde:
- Als u een bedrijfsontwikkelaar bent die een toepassing ontwikkelt op basis van Microsoft 365-gegevens (Office 365) voor het gebruik van uw eigen organisatie, moet u dezelfde tenant-id opgeven voor beide eigenschappen, wat de Microsoft Entra-tenant-id van uw organisatie is.
- Als u een ISV-ontwikkelaar bent die een toepassing ontwikkelt voor uw klanten, is office365TenantId de Microsoft Entra-tenant-id van uw klant (toepassingsinstallatieprogramma) en servicePrincipalTenantId van uw bedrijf de Microsoft Entra-tenant-id van uw bedrijf.
Voorbeeld:
{
"name": "Office365LinkedService",
"properties": {
"type": "Office365",
"typeProperties": {
"office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
"servicePrincipalTenantId": "<AAD app service principal tenant id>",
"servicePrincipalId": "<AAD app service principal id>",
"servicePrincipalKey": {
"type": "SecureString",
"value": "<AAD app service principal key>"
}
}
}
}
Eigenschappen van gegevensset
Zie het artikel gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de Gegevensset van Microsoft 365 (Office 365).
Als u gegevens wilt kopiëren van Microsoft 365 (Office 365), worden de volgende eigenschappen ondersteund:
| Eigenschappen | Beschrijving | Vereist |
|---|---|---|
| type | De typeeigenschap van de gegevensset moet worden ingesteld op: Office365Table | Ja |
| tableName | Naam van de gegevensset die moet worden geëxtraheerd uit Microsoft 365 (Office 365). Raadpleeg hier de lijst met Microsoft 365-gegevenssets (Office 365) die beschikbaar zijn voor extractie. | Ja |
Als u de gegevensset insteltdateFilterColumn, startTimeendTimeen userScopeFilterUri in de gegevensset, wordt deze nog steeds ondersteund, terwijl u wordt aangeraden het nieuwe model in de activiteitsbron in de toekomst te gebruiken.
Voorbeeld
{
"name": "DS_May2019_O365_Message",
"properties": {
"type": "Office365Table",
"linkedServiceName": {
"referenceName": "<Microsoft 365 (Office 365) linked service name>",
"type": "LinkedServiceReference"
},
"schema": [],
"typeProperties": {
"tableName": "BasicDataSet_v0.Event_v1"
}
}
}
Eigenschappen van de kopieeractiviteit
Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de Bron van Microsoft 365 (Office 365).
Microsoft 365 (Office 365) als bron
Als u gegevens wilt kopiëren van Microsoft 365 (Office 365), worden de volgende eigenschappen ondersteund in de sectie bron van kopieeractiviteit:
| Eigenschappen | Beschrijving | Vereist |
|---|---|---|
| type | De typeeigenschap van de bron van de kopieeractiviteit moet zijn ingesteld op: Office365Source | Ja |
| allowedGroups | Groepsselectiepredicaat. Gebruik deze eigenschap om maximaal 10 gebruikersgroepen te selecteren voor wie de gegevens worden opgehaald. Als er geen groepen zijn opgegeven, worden gegevens geretourneerd voor de hele organisatie. | Nee |
| userScopeFilterUri | Wanneer allowedGroups de eigenschap niet is opgegeven, kunt u een predicaatexpressie gebruiken die wordt toegepast op de hele tenant om de specifieke rijen te filteren die moeten worden geëxtraheerd uit Microsoft 365 (Office 365). De predicaatnotatie moet overeenkomen met de queryindeling van Microsoft Graph-API's, bijvoorbeeld https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'. |
Nee |
| dateFilterColumn | Naam van de kolom DateTime-filter. Gebruik deze eigenschap om het tijdsbereik te beperken waarvoor Microsoft 365-gegevens (Office 365) worden geëxtraheerd. | Ja als de gegevensset een of meer datum/tijd-kolommen heeft. Raadpleeg hier de lijst met gegevenssets waarvoor dit Datum/tijd-filter is vereist. |
| startTime | Begindatum/datum/tijd-waarde waarop u wilt filteren. | Ja als dateFilterColumn is opgegeven |
| endTime | Einddatum/tijd-waarde waarop u wilt filteren. | Ja als dateFilterColumn is opgegeven |
| outputColumns | Matrix van de kolommen die moeten worden gekopieerd naar sink. | Nee |
Voorbeeld:
"activities": [
{
"name": "CopyFromO365ToBlob",
"type": "Copy",
"inputs": [
{
"referenceName": "<Microsoft 365 (Office 365) input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "Office365Source",
"dateFilterColumn": "CreatedDateTime",
"startTime": "2019-04-28T16:00:00.000Z",
"endTime": "2019-05-05T16:00:00.000Z",
"userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
"outputColumns": [
{
"name": "Id"
},
{
"name": "CreatedDateTime"
},
{
"name": "LastModifiedDateTime"
},
{
"name": "ChangeKey"
},
{
"name": "Categories"
},
{
"name": "OriginalStartTimeZone"
},
{
"name": "OriginalEndTimeZone"
},
{
"name": "ResponseStatus"
},
{
"name": "iCalUId"
},
{
"name": "ReminderMinutesBeforeStart"
},
{
"name": "IsReminderOn"
},
{
"name": "HasAttachments"
},
{
"name": "Subject"
},
{
"name": "Body"
},
{
"name": "Importance"
},
{
"name": "Sensitivity"
},
{
"name": "Start"
},
{
"name": "End"
},
{
"name": "Location"
},
{
"name": "IsAllDay"
},
{
"name": "IsCancelled"
},
{
"name": "IsOrganizer"
},
{
"name": "Recurrence"
},
{
"name": "ResponseRequested"
},
{
"name": "ShowAs"
},
{
"name": "Type"
},
{
"name": "Attendees"
},
{
"name": "Organizer"
},
{
"name": "WebLink"
},
{
"name": "Attachments"
},
{
"name": "BodyPreview"
},
{
"name": "Locations"
},
{
"name": "OnlineMeetingUrl"
},
{
"name": "OriginalStart"
},
{
"name": "SeriesMasterId"
}
]
},
"sink": {
"type": "BlobSink"
}
}
}
]
Gegevens transformeren met de Microsoft 365-connector
Microsoft 365-gegevenssets kunnen worden gebruikt als bron met toewijzingsgegevensstromen. De gegevensstroom transformeert de gegevens door de gegevensset automatisch af te vlakken. Hierdoor kunnen gebruikers zich concentreren op het gebruik van de platgemaakte gegevensset om hun analysescenario's te versnellen.
Eigenschappen van toewijzingsgegevensstroom
Voer de volgende stappen uit om een toewijzingsgegevensstroom te maken met behulp van de Microsoft 365-connector als bron:
Ga in ADF Studio naar de sectie Gegevensstromen van de Author-hub , selecteer de knop ... om het menu Acties voor gegevensstromen te selecteren en selecteer het item Nieuwe gegevensstroom . Schakel de foutopsporingsmodus in met behulp van de knop Foutopsporing in de bovenste balk van het gegevensstroomcanvas.
Selecteer Bron toevoegen in de editor voor toewijzingsgegevensstromen.
Selecteer op het tabblad Broninstellingen Inline in de eigenschap Brontype, Microsoft 365 (Office 365) in het gegevenssettype Inline en de gekoppelde Microsoft 365-service die u eerder hebt gemaakt.
Selecteer op het tabblad Bronopties de tabelnaam van de Microsoft 365-tabel die u wilt transformeren. Selecteer ook de optie Automatisch plat maken om te bepalen of de gegevensstroom automatisch de brongegevensset plat moet maken.
Volg de toewijzingsgegevensstroom voor de tabbladen Projectie, Optimaliseren en Inspecteren.
Klik op het tabblad Gegevensvoorbeeld op de knop Vernieuwen om een voorbeeldgegevensset op te halen voor validatie.
Gerelateerde inhoud
Zie ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.