Копирование из Microsoft 365 (Office 365) в Azure с помощью Фабрика данных Azure или Synapse Analytics

Статья
10/30/2024

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Конвейеры Фабрики данных Azure и Azure Synapse Analytics объединяются с подключением к данным Microsoft Graph, что позволяет использовать расширенные организационные данные в вашем клиенте Microsoft 365 (Office 365) в Azure, создавать аналитические приложения и извлекать аналитические данные на основе этих полезных ресурсов данных. Интеграция с Privileged Access Management обеспечивает безопасный контроль доступа к ценным курированным данным в Microsoft 365 (Office 365). См. эту ссылку для обзора Подключение к данным Microsoft Graph.

В этой статье описывается использование действия копирования для копирования данных и Поток данных для преобразования данных из Microsoft 365 (Office 365). Общие сведения о копировании данных см. в обзоре действия копирования. Общие сведения о преобразовании данных см . в обзоре потока данных сопоставления.

Примечание.

Соединитель Microsoft 365 Поток данных в настоящее время находится в предварительной версии. Чтобы принять участие, используйте эту форму регистрации: M365 + Analytics Preview.

Поддерживаемые возможности

Этот соединитель Microsoft 365 (Office 365) поддерживается для следующих возможностей:

Поддерживаемые возможности	IR
Действие копирования (источник/-)	(1)
Поток данных для сопоставления (источник/-)	(1)

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Соединитель ADF Microsoft 365 (Office 365) и Подключение к данным Microsoft Graph позволяет масштабировать прием различных типов наборов данных из почтовых ящиков с поддержкой электронной почты Exchange, включая контакты адресной книги, события календаря, сообщения электронной почты, сведения о пользователях, параметры почтового ящика и т. д. Ознакомьтесь с полным списком доступных наборов данных.

Сейчас в рамках одного действия копирования и потока данных можно получать только данные из Microsoft 365 (Office 365) в Хранилище BLOB-объектов Azure, Azure Data Lake Storage 1-го поколения и Azure Data Lake Storage 2-го поколения в формате JSON (тип setOfObjects). При копировании в Хранилище BLOB-объектов Azure выходные данные — это большой двоичный объект, содержащий текст JSON. Если вы хотите загрузить Microsoft 365 (Office 365) в другие типы хранилищ данных или в других форматах, можно объединить первое действие копирования или поток данных с последующим действием для дальнейшей загрузки данных в любое из поддерживаемых целевых хранилищ ADF (см. столбец "поддерживаемый в качестве приемника" в таблице "Поддерживаемые хранилища данных и форматы").

Внимание

Подписка Azure, содержащая фабрику данных или рабочую область Synapse, и хранилище данных приемника должно находиться в том же клиенте Microsoft Entra, что и клиент Microsoft 365 (Office 365).
Среда выполнения Azure Integration Runtime, используемая для действия копирования, а также целевой объект должны размещаться в том же регионе, где расположен почтовый ящик пользователей клиента Microsoft 365 (Office 365). В этой статье описано, как определяется расположение Azure Integration Runtime. В этой таблице собран список поддерживаемых регионов Office и соответствующих им регионов Azure.
Проверка подлинности субъекта-службы является единственным механизмом проверки подлинности, поддерживаемым для Хранилища BLOB-объектов Azure, Azure Data Lake Storage 1-го поколения и Azure Data Lake Storage 2-го поколения в качестве целевых хранилищ.

Примечание.

Используйте среду выполнения интеграции Azure в связанных службах источника и приемника. Локальная среда выполнения интеграции и среда выполнения интеграции управляемой виртуальной сети не поддерживаются.

Необходимые компоненты

Чтобы скопировать и преобразовать данные из Microsoft 365 (Office 365) в Azure, необходимо выполнить следующие предварительные действия:

Администратор вашего арендатора Microsoft 365 (Office 365) должен выполнить действия по подключению, как описано здесь.
Создайте и настройте веб-приложение Microsoft Entra в идентификаторе Microsoft Entra. Инструкции см. в разделе "Создание приложения Microsoft Entra".
Запишите следующие значения, которые используются для определения связанной службы для Microsoft 365 (Office 365):
- Идентификатор клиента. Инструкции см. в статье о получении идентификатора клиента.
- Идентификатор приложения и ключ приложения. Инструкции см. в статье о получении идентификатора приложения и ключа проверки подлинности.
Добавьте удостоверение пользователя, которое делает запрос на доступ к данным в качестве владельца веб-приложения Microsoft Entra (от владельца > параметров > веб-приложения > Microsoft Entra).
- Удостоверение пользователя должно находиться в организации Microsoft 365 (Office 365), из которую вы получаете данные и не должны быть гостевым пользователем.

Утверждение новых запросов на доступ к данным

Если вы впервые запрашиваете данные для определенного контекста (который определяется комбинацией таблицы данных, к которой осуществляется доступ, целевой учетной записи, в которую загружаются данные, и идентификатора пользователя, используемого для запроса доступа к данным), для действия копирования будет отображаться состояние Выполняется и, только когда вы щелкнете ссылку "Подробности" в разделе "Действия", вы увидите состояние "RequesetingConsent". Участник группы лиц, утверждающих доступ к данным, должен утвердить запрос в Privileged Access Management, прежде чем можно будет продолжить извлечение данных.

Дополнительные сведения о том, как утверждающий может утвердить запрос доступа к данным.

Начало работы

Совет

Пошаговое руководство по использованию соединителя Microsoft 365 (Office 365) см. в статье Загрузка данных из Microsoft 365 (Office 365).

Конвейер можно создать с действием копирования и потоком данных с помощью одного из следующих средств или пакетов SDK. Щелкните ссылку, чтобы перейти к учебнику, содержащему пошаговые инструкции по созданию конвейера с использованием действия копирования.

Создайте связанную службу с Microsoft 365 (Office 365) с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу с Microsoft 365 (Office 365) в пользовательском интерфейсе портала Azure.

Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":
- Фабрика данных Azure
- Azure Synapse
Найдите Microsoft 365 (Office 365) и выберите соединитель Microsoft 365 (Office 365).
Настройте сведения о службе, проверьте подключение и создайте связанную службу.

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах JSON, которые используются для определения сущностей Фабрики данных, относящихся к соединителю Microsoft 365 (Office 365).

Свойства связанной службы

Для связанной службы Microsoft 365 (Office 365) поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Для свойства type необходимо задать значение Office365.	Да
office365TenantId	Идентификатор клиента Azure, которому принадлежит учетная запись Microsoft 365 (Office 365).	Да
servicePrincipalTenantId	Укажите сведения о клиенте, в котором находится веб-приложение Microsoft Entra.	Да
servicePrincipalId	Укажите идентификатора клиента приложения.	Да
servicePrincipalKey	Укажите ключ приложения. Пометьте это поле как SecureString для безопасного хранения.	Да
connectVia	Среда Integration Runtime, используемая для подключения к хранилищу данных. Если не указано другое, по умолчанию используется интегрированная среда выполнения Azure.	No

Примечание.

Значения office365TenantId и servicePrincipalTenantId имеют следующие различия и принимают следующие значения.

Если вы разработчик предприятия разрабатываете приложение для данных Microsoft 365 (Office 365) для использования вашей организации, то следует указать один и тот же идентификатор клиента для обоих свойств, который является идентификатором клиента Microsoft Entra вашей организации.
Если вы являетесь разработчиком программного обеспечения, разрабатывающего приложение для клиентов, office365TenantId будет идентификатором клиента (установщиком приложений) Microsoft Entra и servicePrincipalTenantId будет идентификатором клиента Microsoft Entra вашей компании.

Пример:

{
    "name": "Office365LinkedService",
    "properties": {
        "type": "Office365",
        "typeProperties": {
            "office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
            "servicePrincipalTenantId": "<AAD app service principal tenant id>",
            "servicePrincipalId": "<AAD app service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<AAD app service principal key>"
            }
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе представлен список свойств, поддерживаемых набором данных Microsoft 365 (Office 365).

Для копирования данных из Microsoft 365 (Office 365) поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Свойство type для набора данных должно иметь значение Office365Table.	Да
tableName	Имя набора данных для извлечения из Microsoft 365 (Office 365). Здесь приведен список наборов данных Microsoft 365 (Office 365), доступных для извлечения.	Да

Если вы ранее настраивали dateFilterColumn, startTime, endTime и userScopeFilterUri в наборе данных, он пока поддерживается "как есть", но мы рекомендуем использовать новую модель в качестве источника действия.

Пример

{
    "name": "DS_May2019_O365_Message",
    "properties": {
        "type": "Office365Table",
        "linkedServiceName": {
            "referenceName": "<Microsoft 365 (Office 365) linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "tableName": "BasicDataSet_v0.Event_v1"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. В этом разделе представлен список свойств, поддерживаемых источником Microsoft 365 (Office 365).

Microsoft 365 (Office 365) в качестве источника

Для копирования данных из Microsoft 365 (Office 365) в разделе source для действия копирования поддерживаются следующие свойства:

Свойство	Описание:	Обязательное поле
type	Свойство type источника действия копирования должно иметь значение Office365Source	Да
allowedGroups	Предикат выбора группы. Используйте это свойство, чтобы выбрать до 10 групп пользователей, для которых будут извлечены данные. Если группы не указаны, будут возвращены данные для всей организации.	No
userScopeFilterUri	Если свойство `allowedGroups` не задано, можно использовать выражение предиката, которое применяется ко всему клиенту для фильтрации конкретных строк, извлекаемых из Microsoft 365 (Office 365). Формат предиката должен соответствовать формату запроса интерфейса API Microsoft Graph, например `https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'`.	No
dateFilterColumn	Имя столбца фильтра даты и времени. Используйте это свойство, чтобы ограничить диапазон времени, за который извлекаются данные Microsoft 365 (Office 365).	Да, если набор данных имеет один или несколько столбцов DateTime. Список наборов данных, для которых требуется этот фильтр DateTime, см. здесь.
startTime	Начальное значение даты и времени для фильтрации.	Да, если указан `dateFilterColumn`
endTime	Конечное значение даты и времени для фильтрации.	Да, если указан `dateFilterColumn`
outputColumns	Массив столбцов для копирования в приемник.	No

Пример:

"activities": [
    {
        "name": "CopyFromO365ToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft 365 (Office 365) input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "Office365Source",
                "dateFilterColumn": "CreatedDateTime",
                "startTime": "2019-04-28T16:00:00.000Z",
                "endTime": "2019-05-05T16:00:00.000Z",
                "userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
                "outputColumns": [
                    {
                        "name": "Id"
                    },
                    {
                        "name": "CreatedDateTime"
                    },
                    {
                        "name": "LastModifiedDateTime"
                    },
                    {
                        "name": "ChangeKey"
                    },
                    {
                        "name": "Categories"
                    },
                    {
                        "name": "OriginalStartTimeZone"
                    },
                    {
                        "name": "OriginalEndTimeZone"
                    },
                    {
                        "name": "ResponseStatus"
                    },
                    {
                        "name": "iCalUId"
                    },
                    {
                        "name": "ReminderMinutesBeforeStart"
                    },
                    {
                        "name": "IsReminderOn"
                    },
                    {
                        "name": "HasAttachments"
                    },
                    {
                        "name": "Subject"
                    },
                    {
                        "name": "Body"
                    },
                    {
                        "name": "Importance"
                    },
                    {
                        "name": "Sensitivity"
                    },
                    {
                        "name": "Start"
                    },
                    {
                        "name": "End"
                    },
                    {
                        "name": "Location"
                    },
                    {
                        "name": "IsAllDay"
                    },
                    {
                        "name": "IsCancelled"
                    },
                    {
                        "name": "IsOrganizer"
                    },
                    {
                        "name": "Recurrence"
                    },
                    {
                        "name": "ResponseRequested"
                    },
                    {
                        "name": "ShowAs"
                    },
                    {
                        "name": "Type"
                    },
                    {
                        "name": "Attendees"
                    },
                    {
                        "name": "Organizer"
                    },
                    {
                        "name": "WebLink"
                    },
                    {
                        "name": "Attachments"
                    },
                    {
                        "name": "BodyPreview"
                    },
                    {
                        "name": "Locations"
                    },
                    {
                        "name": "OnlineMeetingUrl"
                    },
                    {
                        "name": "OriginalStart"
                    },
                    {
                        "name": "SeriesMasterId"
                    }
                ]
            },
            "sink": {
                "type": "BlobSink"
            }
        }
    }
]

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных и форматы.

Поделиться через

Копирование из Microsoft 365 (Office 365) в Azure с помощью Фабрика данных Azure или Synapse Analytics

Поддерживаемые возможности

Необходимые компоненты

Утверждение новых запросов на доступ к данным

Начало работы

Создайте связанную службу с Microsoft 365 (Office 365) с помощью пользовательского интерфейса

Сведения о конфигурации соединителя

Свойства связанной службы

Свойства набора данных

Свойства действия копирования

Microsoft 365 (Office 365) в качестве источника

Обратная связь

Дополнительные ресурсы

Поделиться через

Копирование из Microsoft 365 (Office 365) в Azure с помощью Фабрика данных Azure или Synapse Analytics

Поддерживаемые возможности

Необходимые компоненты

Утверждение новых запросов на доступ к данным

Начало работы

Создайте связанную службу с Microsoft 365 (Office 365) с помощью пользовательского интерфейса

Сведения о конфигурации соединителя

Свойства связанной службы

Свойства набора данных

Свойства действия копирования

Microsoft 365 (Office 365) в качестве источника

Связанный контент

Обратная связь

Дополнительные ресурсы