Копирование данных из списка SharePoint Online с помощью Фабрики данных Azure или Azure Synapse Analytics

Статья
01/05/2024

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается, как с помощью действия копирования в конвейерах Фабрики данных Azure и Azure Synapse копировать данные из списка SharePoint Online. Это продолжение статьи о действии копирования в Фабрике данных Azure, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Этот соединитель списка SharePoint Online поддерживается для следующих возможностей:

Поддерживаемые возможности	IR
Действие копирования (источник/-)	① ②
Действие поиска	① ②

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников или приемников, см. в таблице Поддерживаемые хранилища данных.

В частности, этот соединитель списка SharePoint Online использует проверку подлинности по субъекту-службе и получает данные по протоколу OData.

Совет

Этот соединитель поддерживает копирование данных из списка SharePoint Online, но не из файла. Процедура копирования файла из SharePoint Online описана здесь.

Необходимые компоненты

Этот соединитель списка SharePoint Online использует проверку подлинности по субъекту-службе для подключения к SharePoint. Чтобы настроить этот механизм, выполните следующие действия:

Регистрация приложения с помощью платформы удостоверений Майкрософт. Дополнительные сведения см. в кратком руководстве. Регистрация приложения с помощью платформа удостоверений Майкрософт. Запишите эти значения, которые используются для определения связанной службы:
- Application ID
- ключ приложения.
- Идентификатор клиента
Предоставьте сайту SharePoint Online разрешение на доступ к зарегистрированному приложению, выполнив приведенные ниже шаги. Для этого необходима роль администратора сайта.
1. Откройте ссылку на сайт SharePoint Online, например https://[your_site_url]/_layouts/15/appinv.aspx (заменив URL-адрес сайта).
2. Найдите зарегистрированный идентификатор приложения, заполните пустые поля и щелкните "Создать".
  - Домен приложения: contoso.com
  - URL-адрес перенаправления: https://www.contoso.com
  - XML-код запроса разрешения:
```
<AppPermissionRequests AllowAppOnlyPolicy="true">
    <AppPermissionRequest Scope="http://sharepoint/content/sitecollection/web" Right="Read"/>
</AppPermissionRequests>
```
  Примечание.
  
  В контексте настройки соединителя SharePoint домен приложения и URL-адрес перенаправления ссылаются на приложение SharePoint, зарегистрированное в идентификаторе Microsoft Entra, чтобы разрешить доступ к данным SharePoint. Домен приложения — это домен, в котором размещен сайт SharePoint. Например, если сайт SharePoint расположен по адресу "https://contoso.sharepoint.com", то домен приложения будет "contoso.sharepoint.com". URL-адрес перенаправления — это URL-адрес, на который будет перенаправлено приложение SharePoint после проверки подлинности и предоставления разрешений приложению. Этот URL-адрес должен быть страницей на сайте SharePoint, доступ к которому имеет приложение. Например, можно использовать URL-адрес страницы, отображающей список файлов в библиотеке, или страницу, отображающую содержимое документа.
3. Щелкните "Сделать доверенным" для этого приложения.

Начать

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

Создание связанной службы для списка SharePoint Online с помощью пользовательского интерфейса

Выполните приведенные ниже действия, чтобы создать связанную службу для списка SharePoint Online с помощью пользовательского интерфейса на портале Azure.

Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":
- Фабрика данных Azure
- Azure Synapse
Выполните поиск по запросу "SharePoint" и выберите соединитель списка SharePoint Online.
Настройте сведения о службе, проверьте подключение и создайте связанную службу.

Сведения о конфигурации соединителя

В следующих разделах приведены сведения о свойствах, которые можно использовать при определении сущностей, характерных для соединителя списка SharePoint Online.

Свойства связанной службы

Для связанной службы списка SharePoint Online поддерживаются следующие свойства.

Свойство	Description	Обязательный
type	Для свойства type необходимо задать значение SharePointOnlineList.	Да
siteUrl	URL-адрес сайта SharePoint Online, например `https://contoso.sharepoint.com/sites/siteName`.	Да
servicePrincipalId	Идентификатор приложения (клиента), зарегистрированного в идентификаторе Microsoft Entra. Дополнительные сведения см. в предварительных требованиях , включая параметры разрешений.	Да
servicePrincipalKey	Ключ приложения. Пометьте это поле как SecureString, чтобы безопасно хранить его, или добавьте ссылку на секрет, хранящийся в Azure Key Vault.	Да
tenantId	Идентификатор клиента, установленный для приложения.	Да
connectVia	Среда выполнения интеграции, используемая для подключения к хранилищу данных. Если не указано другое, по умолчанию используется интегрированная Azure Integration Runtime.	No

Пример:

{
    "name": "SharePointOnlineList",
    "properties": {
        "type": "SharePointOnlineList",
        "typeProperties": {
            "siteUrl": "<site URL>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenantId": "<tenant ID>"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, используемых для определения наборов данных, приведен в статье Наборы данных и связанные службы в фабрике данных Azure. Следующий раздел содержит список свойств, поддерживаемых для набора данных таблицы SAP.

Свойство	Описание:	Обязательное поле
type	Для свойства type набора данных необходимо задать значение SharePointOnlineLResource.	Да
listName	Имя списка SharePoint Online. Обратите внимание, что апостроф (') не допускается в именах файлов.	Да

Пример

{
    "name": "SharePointOnlineListDataset",
    "properties":
    {
        "type": "SharePointOnlineListResource",
        "linkedServiceName": {
            "referenceName": "<SharePoint Online List linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties":
        {
            "listName": "<name of the list>"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, доступных для определения действий, см. в статье, посвященной конвейерам и действиям в Фабрике данных Azure. Следующий раздел содержит список свойств, поддерживаемых для списка SharePoint Online в роли источника.

Список SharePoint Online в роли источника

Для копирования данных из списка SharePoint Online действие копирования поддерживает следующие свойства в разделе Источник.

Свойство	Описание:	Обязательное поле
type	Свойство type источника действия копирования должно иметь значение SharePointOnlineListSource.	Да
query	Настраиваемые параметры запроса OData для фильтрации данных. Пример: `"$top=10&$select=Title,Number"`.	No
httpRequestTimeout	Время ожидания ответа для HTTP-запроса (в секундах). По умолчанию используется значение 300 (5 минут).	No

Пример

"activities":[
    {
        "name": "CopyFromSharePointOnlineList",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SharePoint Online List input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SharePointOnlineListSource",
                "query": "<OData query e.g. $top=10&$select=Title,Number>"
            }, 
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Примечание.

Для источника списка SharePoint Online нельзя выбрать больше одного типа данных choice.

Сопоставление типов данных для списка SharePoint Online

При копировании данных из списка SharePoint Online используются следующие сопоставления типов данных списка SharePoint Online с промежуточными типами данных службы.

Тип данных SharePoint Online	Тип данных OData	Промежуточный тип данных
Однострочный текст	Edm.String	Строка
Несколько строк текста	Edm.String	Строка
Выбор (меню для выбора)	Edm.String	Строка
Число (1, 1,0, 100)	Edm.Double	Двойной
Валюта ($, ¥, €)	Edm.Double	Двойной
Дата и время	Edm.DateTime	Дата/время
Поиск (информация уже имеется на сайте)	Edm.Int32	Int32
Да/Нет (флажок)	Edm.Boolean	Логический
"Пользователь" или "Группа";	Edm.Int32	Int32
Гиперссылка или рисунок	Edm.String	Строка
Вычисляемый (вычисление на основе других столбцов)	Edm.String / Edm.Double / Edm.DateTime / Edm.Boolean	String / Double / DateTime / Boolean
Вложение	Не поддерживается
Результат задачи	Не поддерживается
Внешние данные	Не поддерживается
Управляемые метаданные	Не поддерживается

Копирование файлов из SharePoint Online

Чтобы скопировать файл из SharePoint Online, вы можете применить веб-действие для проверки подлинности и получения маркера доступа из SharePoint Online, а затем передать его в действие копирования, указав соединитель HTTP в качестве источника.

sharepoint copy file flow

Следуйте инструкциям в разделе "Предварительные требования" , чтобы создать приложение Microsoft Entra и предоставить разрешение SharePoint Online.
Создайте веб-действие, чтобы получить маркер доступа из SharePoint Online:
- URL-адрес: https://accounts.accesscontrol.windows.net/[Tenant-ID]/tokens/OAuth/2. Замените идентификатор клиента.
- Метод: POST
- Заголовки:
  - Content-Type: application/x-www-form-urlencoded
- Текст: grant_type=client_credentials&client_id=[Client-ID]@[Tenant-ID]&client_secret=[Client-Secret]&resource=00000003-0000-0ff1-ce00-000000000000/[Tenant-Name].sharepoint.com@[Tenant-ID]. Замените идентификатор клиента (идентификатор приложения), секрет клиента (ключ приложения), идентификатор арендатора и имя арендатора (арендатора SharePoint).
Внимание

В веб-действии установите для параметра "Защищенный вывод" значение true, чтобы значение маркера не сохранялось в формате обычного текста. Для всех дальнейших действий, которые используют это значение, параметр "Защищенный ввод" должен иметь значение true.
Создайте цепочку с действием копирования, где в качестве источника указан соединитель HTTP, для копирования содержимого файлов SharePoint Online:
- Связанная служба HTTP:
  - Базовый URL-адрес: https://[site-url]/_api/web/GetFileByServerRelativeUrl('[relative-path-to-file]')/$value. Замените URL-адрес сайта и относительный путь к файлу. Обязательно укажите URL-адрес сайта SharePoint вместе с доменным именем, например, https://[sharepoint-domain-name].sharepoint.com/sites/[sharepoint-site]/_api/web/GetFileByServerRelativeUrl('/sites/[sharepoint-site]/[relative-path-to-file]')/$value.
  - Тип проверки подлинности: анонимный (для использования маркера носителя, настроенного в источнике действия копирования позже)
- Набор данных: выберите необходимый формат. Чтобы скопировать файл "как есть", выберите тип "Двоичный".
- источник действие Copy:
  - Метод запроса: GET
  - Дополнительный заголовок: используйте выражение @{concat('Authorization: Bearer ', activity('<Web-activity-name>').output.access_token)}, в котором в качестве заголовка авторизации используется токен носителя, созданный вышестоящим веб-действием. Замените имя веб-действия.
- Настройте приемник действия копирования обычным образом.