Copiar dados da Lista do SharePoint Online usando o Azure Data Factory ou o Azure Synapse Analytics

Artigo
01/05/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como usar a Atividade de Cópia no Azure Data Factory e nos pipelines do Azure Synapse para copiar dados da Lista do SharePoint Online. O artigo baseia-se na Atividade de Cópia, que apresenta uma visão geral da Atividade de Cópia.

Capacidades suportadas

Este conector de Lista do SharePoint Online é suportado para os seguintes recursos:

Capacidades suportadas	IR
Atividade de cópia (fonte/-)	① ②
Atividade de Pesquisa	① ②

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes ou coletores, consulte a tabela Armazenamentos de dados suportados.

Especificamente, esse conector da Lista Online do SharePoint usa a autenticação da entidade de serviço e recupera dados por meio do protocolo OData.

Gorjeta

Este conector suporta a cópia de dados da Lista do SharePoint Online, mas não de ficheiros. Saiba como copiar arquivo da seção Copiar arquivo do SharePoint Online .

Pré-requisitos

O conector da Lista do SharePoint Online usa a autenticação da entidade de serviço para se conectar ao SharePoint. Siga estas etapas para configurá-lo:

Registre um aplicativo com a plataforma de identidade da Microsoft. Para saber como, consulte Guia de início rápido: registrar um aplicativo com a plataforma de identidade da Microsoft. Anote estes valores, que você usa para definir o serviço vinculado:
- ID da aplicação
- Chave de aplicação
- ID de Inquilino do
Conceda permissão de site do SharePoint Online para seu aplicativo registrado seguindo as etapas abaixo. Para fazer isso, você precisa de uma função de administrador do site.
1. Abra o link do site do SharePoint Online, https://[your_site_url]/_layouts/15/appinv.aspx por exemplo (substitua a URL do site).
2. Pesquise o ID do aplicativo que você registrou, preencha os campos vazios e clique em "Criar".
  - Domínio do aplicativo: contoso.com
  - URL de redirecionamento: https://www.contoso.com
  - XML de solicitação de permissão:
```
<AppPermissionRequests AllowAppOnlyPolicy="true">
    <AppPermissionRequest Scope="http://sharepoint/content/sitecollection/web" Right="Read"/>
</AppPermissionRequests>
```
  Nota
  
  No contexto da configuração do conector do SharePoint, o "Domínio do aplicativo" e a "URL de redirecionamento" referem-se ao aplicativo do SharePoint que você registrou no Microsoft Entra ID para permitir o acesso aos seus dados do SharePoint. O "Domínio do aplicativo" é o domínio onde seu site do SharePoint está hospedado. Por exemplo, se o seu site do SharePoint estiver localizado em ";, o "Domínio do aplicativo" será "https://contoso.sharepoint.com"contoso.sharepoint.com". A "URL de redirecionamento" é a URL para a qual o aplicativo do SharePoint redirecionará depois que o usuário tiver autenticado e concedido permissões ao aplicativo. Essa URL deve ser uma página em seu site do SharePoint que o aplicativo tenha permissão para acessar. Por exemplo, você pode usar a URL de uma página que exibe uma lista de arquivos em uma biblioteca ou uma página que exibe o conteúdo de um documento.
3. Clique em "Confiar" para este aplicativo.

Introdução

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Criar um serviço vinculado a uma Lista do SharePoint Online usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado a uma Lista do SharePoint Online na interface do usuário do portal do Azure.

Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:
- Fábrica de Dados do Azure
- Azure Synapse
Procure o SharePoint e selecione o conector de Lista do SharePoint Online.
Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que você pode usar para definir entidades que são específicas para o conector de Lista do SharePoint Online.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para um serviço vinculado de Lista do SharePoint Online:

Propriedade	Descrição	Necessário
tipo	A propriedade type deve ser definida como: SharePointOnlineList.	Sim
siteUrl	A URL do site do SharePoint Online, por exemplo. `https://contoso.sharepoint.com/sites/siteName`	Sim
servicePrincipalId	A ID do aplicativo (cliente) do aplicativo registrado no Microsoft Entra ID. Consulte Pré-requisitos para obter mais detalhes, incluindo as configurações de permissão.	Sim
servicePrincipalKey	A chave do aplicativo. Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado no Cofre de Chaves do Azure.	Sim
tenantId	O ID do locatário sob o qual seu aplicativo reside.	Sim
ConecteVia	O tempo de execução de integração a ser usado para se conectar ao armazenamento de dados. Se não for especificado, o Tempo de Execução de Integração do Azure padrão será usado.	Não

Exemplo:

{
    "name": "SharePointOnlineList",
    "properties": {
        "type": "SharePointOnlineList",
        "typeProperties": {
            "siteUrl": "<site URL>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenantId": "<tenant ID>"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte Conjuntos de dados e serviços vinculados. A seção a seguir fornece uma lista das propriedades suportadas pelo conjunto de dados da tabela SAP.

Propriedade	Descrição	Necessário
tipo	A propriedade type do conjunto de dados deve ser definida como SharePointOnlineLResource.	Sim
listName	O nome da Lista do SharePoint Online. Observe que o apóstrofo (') não é permitido em nomes de arquivo.	Sim

Exemplo

{
    "name": "SharePointOnlineListDataset",
    "properties":
    {
        "type": "SharePointOnlineListResource",
        "linkedServiceName": {
            "referenceName": "<SharePoint Online List linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties":
        {
            "listName": "<name of the list>"
        }
    }
}

Copiar propriedades da atividade

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte Pipelines. A seção a seguir fornece uma lista das propriedades suportadas pela fonte da Lista do SharePoint Online.

Lista do SharePoint Online como origem

Para copiar dados da Lista do SharePoint Online, as seguintes propriedades são suportadas na seção Copiar fonte de atividade:

Propriedade	Descrição	Necessário
tipo	A propriedade type da fonte Copy Activity deve ser definida como SharePointOnlineListSource.	Sim
query	Opções de consulta OData personalizadas para filtrar dados. Exemplo: `"$top=10&$select=Title,Number"`.	Não
httpRequestTimeout	O tempo limite (em segundo) para a solicitação HTTP obter uma resposta. O padrão é 300 (5 minutos).	Não

Exemplo

"activities":[
    {
        "name": "CopyFromSharePointOnlineList",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SharePoint Online List input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SharePointOnlineListSource",
                "query": "<OData query e.g. $top=10&$select=Title,Number>"
            }, 
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Nota

Não é possível selecionar mais de um tipo de dados de escolha para uma fonte de Lista do SharePoint Online.

Mapeamento de tipo de dados para Lista do SharePoint Online

Quando você copia dados da Lista do SharePoint Online, os mapeamentos a seguir são usados entre os tipos de dados da Lista do SharePoint Online e os tipos de dados provisórios usados pelo serviço internamente.

Tipo de dados do SharePoint Online	Tipo de dados OData	Tipo de dados provisórios
Uma linha de texto	Edm.String	String
Várias linhas de texto	Edm.String	String
Escolha (menu para escolher)	Edm.String	String
Número (1, 1.0, 100)	Edm.Double	Duplo
Moeda ($, ¥, €)	Edm.Double	Duplo
Data e Hora	Edm.DateTime	DateTime
Procura (informação que já se encontra neste site)	Edm.Int32	Int32
Sim/Não (caixa de verificação)	Edm.Boolean	Booleano
Pessoa ou Grupo	Edm.Int32	Int32
Hiperligação ou Imagem	Edm.String	String
Calculado (cálculo com base noutras colunas)	Edm.String / Edm.Double / Edm.DateTime / Edm.Boolean	Corda / Duplo / DateTime / Booleano
Anexo	Não suportado
Resultado da Tarefa	Não suportado
Dados Externos	Não suportado
Metadados Geridos	Não suportado

Copiar arquivo do SharePoint Online

Você pode copiar o arquivo do SharePoint Online usando a atividade da Web para autenticar e obter o token de acesso do SPO e, em seguida, passar para a atividade de cópia subsequente para copiar dados com o conector HTTP como origem.

sharepoint copy file flow

Siga a seção Pré-requisitos para criar o aplicativo Microsoft Entra e conceder permissão ao SharePoint Online.
Crie uma Atividade da Web para obter o token de acesso do SharePoint Online:
- https://accounts.accesscontrol.windows.net/[Tenant-ID]/tokens/OAuth/2URL: . Substitua o ID do locatário.
- Método: POST
- Cabeçalhos:
  - Tipo de conteúdo: application/x-www-form-urlencoded
- Corpo: grant_type=client_credentials&client_id=[Client-ID]@[Tenant-ID]&client_secret=[Client-Secret]&resource=00000003-0000-0ff1-ce00-000000000000/[Tenant-Name].sharepoint.com@[Tenant-ID]. Substitua a ID do cliente (ID do aplicativo), o segredo do cliente (chave do aplicativo), a ID do locatário e o nome do locatário (do locatário do SharePoint).
Atenção

Defina a opção Saída segura como true na atividade da Web para impedir que o valor do token seja registrado em texto sem formatação. Quaisquer outras atividades que consumam esse valor devem ter sua opção de entrada segura definida como true.
Encadear com uma atividade de cópia com conector HTTP como origem para copiar o conteúdo do arquivo do SharePoint Online:
- Serviço vinculado HTTP:
  - URL base: https://[site-url]/_api/web/GetFileByServerRelativeUrl('[relative-path-to-file]')/$value. Substitua a URL do site e o caminho relativo para o arquivo. Certifique-se de incluir a URL do site do SharePoint junto com o nome de domínio, como https://[sharepoint-domain-name].sharepoint.com/sites/[sharepoint-site]/_api/web/GetFileByServerRelativeUrl('/sites/[sharepoint-site]/[relative-path-to-file]')/$value.
  - Tipo de autenticação: Anônimo (para usar o token de portador configurado na fonte de atividade de cópia mais tarde)
- Conjunto de dados: escolha o formato desejado. Para copiar o arquivo no estado em que se encontra, selecione o tipo "Binário".
- Copiar fonte da atividade:
  - Método de solicitação: GET
  - Cabeçalho adicional: use a seguinte expressão@{concat('Authorization: Bearer ', activity('<Web-activity-name>').output.access_token)}, que usa o token Bearer gerado pela atividade da Web upstream como cabeçalho de autorização. Substitua o nome da atividade da Web.
- Configure o coletor de atividade de cópia como de costume.