Configurar o REST em uma atividade de cópia
Este artigo descreve como usar a atividade de cópia no pipeline de dados para copiar dados de e para HTTP.
Especificamente, esse conector REST genérico dá suporte para:
- Copiar dados de um ponto de extremidade REST usando os métodos GET ou POST e copiar dados para um ponto de extremidade REST usando os métodos POST, PUT ou PATCH.
- Paginação no APIs REST.
- Para REST como origem, copie a resposta REST JSON como está ou analise-a usando o mapeamento de esquema. Somente o conteúdo de resposta na JSON tem suporte.
Configuração com suporte
Para a configuração de cada guia em uma atividade de cópia, vá para as seções a seguir, respectivamente.
Geral
Para Configuração geral da guia, acesse Geral.
Origem
As propriedades a seguir são suportadas para HTTP na guia Origem de uma atividade de cópia.
As seguintes primeiras três propriedades são obrigatórias:
- Tipo de armazenamento de dados: selecione Externo.
- Conexão: Selecione uma conexão REST na lista de conexões. Se não existir nenhuma conexão, crie uma nova conexão REST selecionando Novo.
- Tipo de conexão: selecione REST.
- URL relativa: uma URL relativa para o recurso que contém os dados. Quando essa propriedade não é especificada, somente o URL especificado na definição de serviço vinculada é usado. O conector HTTP copia os dados da URL combinada:
[URL specified in connection]/[relative URL specified]
.
Em Avançado, você pode especificar os seguintes campos:
Método de solicitação: o método HTTP. Os valores permitidos são GET (padrão) e POST.
Tempo limite da solicitação: o tempo limite (o valor do intervalo de tempo) para que a solicitação HTTP obtenha uma resposta. Esse valor é o tempo limite para obter uma resposta, não o tempo limite para ler os dados da resposta. O valor padrão é 00:01:40.
Intervalo da solicitação (ms): o tempo de intervalo entre solicitações diferentes para várias páginas em milissegundos. O valor do intervalo de solicitação deve ser um número entre [10, 60000].
Cabeçalhos adicionais: cabeçalhos de solicitação HTTP adicionais.
Regras de paginação: as regras de paginação para compor as solicitações da próxima página. Consulte a seção suporte à paginação para obter mais detalhes.
Colunas adicionais: adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. Se você estiver usando um valor estático, poderá usar expressões personalizadas para gerá-lo.
Destino
As seguintes propriedades são compatíveis com REST na guia Destino de uma atividade de cópia.
As seguintes primeiras três propriedades são obrigatórias:
- Tipo de armazenamento de dados: selecione Externo.
- Conexão: Selecione uma conexão REST na lista de conexões. Se não existir nenhuma conexão, crie uma nova conexão REST selecionando Novo.
- Tipo de conexão: selecione REST.
- URL relativa: uma URL relativa para o recurso que contém os dados. Quando essa propriedade não é especificada, somente o URL especificado na definição de serviço vinculada é usado. O conector HTTP copia os dados da URL combinada:
[URL specified in connection]/[relative URL specified]
.
Em Avançado, você pode especificar os seguintes campos:
Método de solicitação: o método HTTP. Os valores permitidos são POST (padrão), PUTe PATCH.
Tempo limite da solicitação: o tempo limite (o valor do intervalo de tempo) para que a solicitação HTTP obtenha uma resposta. Esse valor é o tempo limite para obter uma resposta, não o tempo limite para gravar os dados. O valor padrão é 00:01:40.
Intervalo da solicitação (ms): o tempo de intervalo entre solicitações diferentes para várias páginas em milissegundos. O valor do intervalo de solicitação deve ser um número entre [10, 60000].
Tamanho do lote de gravação: número de registros a serem gravados no destino REST por lote. O valor padrão é 10000.
Tipo de compressão Http: tipo de compactação HTTP a ser usada ao enviar dados com o Nível de Compactação Ideal. Os valores permitidos são None e GZip.
Cabeçalhos adicionais: cabeçalhos de solicitação HTTP adicionais.
Mapeamento
Para a configuração da guia Mapeamento, acesse Configurar seus mapeamentos na guia mapeamento. O mapeamento não é compatível quando a origem e o destino são dados hierárquicos.
Configurações
Para configuração da guia Configurações, acesse Definir suas outras configurações na guia configurações.
Resumo da tabela
As tabelas a seguir contêm mais informações sobre a atividade de cópia no REST.
Informações de origem
Nome | Descrição | Valor | Obrigatório | Propriedade de script JSON |
---|---|---|---|---|
Tipo de armazenamento de dados | Seu tipo de armazenamento de dados. | • Workspace • Externo • Amostra do conjunto de dados |
Sim | tipo |
Conexão | Sua conexão com o armazenamento de dados de origem. | <sua conexão> | Sim | connection |
Tipo de conexão | Seu tipo de conexão. Selecione REST. | REST | Sim | type: RestResource |
URL relativa | Uma URL relativa para o recurso que contém os dados. Quando essa propriedade não é especificada, somente o URL especificado na definição de serviço vinculada é usado. O conector HTTP copia os dados da URL combinada: [URL specified in connection]/[relative URL specified] . |
<sua url relativa> | Não | relativeUrl |
Método de solicitação | O método HTTP. Os valores permitidos são GET (padrão) e POST. | • GET • POST |
Não | requestMethod |
Tempo limite da solicitação | O tempo limite (o valor timespan) para a solicitação HTTP para obter uma resposta. Esse valor é o tempo limite para obter uma resposta, não o tempo limite para ler os dados da resposta. O valor padrão é 00:01:40. | TimeSpan | Não | httpRequestTimeout |
Intervalo da solicitação (ms) | O intervalo de tempo entre solicitações diferentes para várias páginas em milissegundos. O valor do intervalo de solicitação deve ser um número entre [10, 60000]. | [10, 60000] | Não | requestInterval |
Cabeçalhos adicionais | Cabeçalhos de solicitação HTTP adicionais. | <seus cabeçalhos adicionais< | Não | additionalHeaders |
Regras de paginação | As regras de paginação para compor as próximas solicitações de página. Consulte a seção suporte à paginação para obter mais detalhes. | Ir para paginação | Não | paginationRules |
Colunas adicionais | Adicione mais colunas de dados ao caminho relativo ou valor estático dos arquivos de origem do repositório. A expressão tem suporte para o último. | • Nome • Valor |
Não | additionalColumns: • nome • valor |
Informações de destino
Nome | Descrição | Valor | Obrigatório | Propriedade de script JSON |
---|---|---|---|---|
Tipo de armazenamento de dados | Seu tipo de armazenamento de dados. | • Workspace • Externo |
Sim | tipo |
Conexão | Sua conexão com o armazenamento de dados de origem. | <sua conexão> | Sim | connection |
Tipo de conexão | Seu tipo de conexão. Selecione REST. | REST | Sim | type: RestResource |
URL relativa | Uma URL relativa para o recurso que contém os dados. Quando essa propriedade não é especificada, somente o URL especificado na definição de serviço vinculada é usado. O conector HTTP copia os dados da URL combinada: [URL specified in connection]/[relative URL specified] . |
<sua url relativa> | Não | relativeUrl |
Método de solicitação | O método HTTP. Os valores permitidos são POST (padrão), PUTe PATCH. | • POST • GET • PATCH |
Não | requestMethod |
Tempo limite da solicitação | O tempo limite (o valor timespan) para a solicitação HTTP para obter uma resposta. Esse valor é o tempo limite para obter uma resposta, não o tempo limite para ler os dados da resposta. O valor padrão é 00:01:40. | TimeSpan | Não | httpRequestTimeout |
Intervalo da solicitação (ms) | O intervalo de tempo entre solicitações diferentes para várias páginas em milissegundos. O valor do intervalo de solicitação deve ser um número entre [10, 60000]. | [10, 60000] | Não | requestInterval |
Tamanho do lote de gravação | Número de registros a serem gravados no destino REST por lote. O valor padrão é 10000. | <Número de linhas> (inteiro) |
Não | writeBatchSize |
Tipo de compactação de dados | Tipo de compactação HTTP a ser usada ao enviar dados com o Nível de Compactação Ideal. Os valores permitidos são None e GZip. | • None • GZip |
Não | httpCompressionType |
Cabeçalhos adicionais | Cabeçalhos de solicitação HTTP adicionais. | <seus cabeçalhos adicionais< | Não | additionalHeaders |