Copiar dados da Greenplum utilizando Azure Data Factory ou Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como utilizar a Atividade de Cópia num Azure Data Factory ou sinapse Analytics para copiar dados da Greenplum. Baseia-se no artigo de visão geral da atividade de cópia que apresenta uma visão geral da atividade da cópia.

Capacidades suportadas

Este conector Greenplum é suportado para as seguintes capacidades:

Capacidades suportadas IR
atividade Copy (fonte/-) ① ②
Atividade de procura ① ②

(1) Tempo de execução da integração azul (2) Tempo de integração auto-organizado

Para obter uma lista de lojas de dados suportadas como fontes/pias pela atividade de cópia, consulte a tabela de lojas de dados suportadas .

O serviço fornece um controlador incorporado para permitir a conectividade, pelo que não é necessário instalar manualmente qualquer controlador utilizando este conector.

Pré-requisitos

Se a sua loja de dados estiver localizada dentro de uma rede no local, de uma rede virtual Azure ou da Amazon Virtual Private Cloud, é necessário configurar um tempo de integração auto-hospedado para se ligar a ela.

Se a sua loja de dados for um serviço de dados em nuvem gerido, pode utilizar o Azure Integration Runtime. Se o acesso for restrito aos IPs aprovados nas regras de firewall, pode adicionar Azure Integration Runtime IPs à lista de permitir.

Também pode utilizar a funcionalidade de execução de integração de rede virtual gerida em Azure Data Factory aceder à rede no local sem instalar e configurar um tempo de integração auto-hospedado.

Para obter mais informações sobre os mecanismos e opções de segurança da rede suportados pela Data Factory, consulte as estratégias de acesso aos dados.

Introdução

Para realizar o atividade Copy com um oleoduto, pode utilizar uma das seguintes ferramentas ou SDKs:

Criar um serviço ligado ao Greenplum utilizando uI

Utilize os seguintes passos para criar um serviço ligado ao Greenplum na UI portal do Azure.

  1. Navegue no separador Gerir no seu espaço de trabalho Azure Data Factory ou sinapse e selecione Serviços Ligados e, em seguida, clique em Novo:

  2. Procure por Greenplum e selecione o conector Greenplum.

    Screenshot do conector Greenplum.

  3. Configure os detalhes do serviço, teste a ligação e crie o novo serviço ligado.

    Screenshot da configuração de serviço ligada para Greenplum.

Detalhes da configuração do conector

As seguintes secções fornecem detalhes sobre propriedades que são usadas para definir entidades da Data Factory específicas do conector Greenplum.

Propriedades de serviço ligadas

As seguintes propriedades são suportadas para o serviço ligado à Greenplum:

Propriedade Descrição Obrigatório
tipo A propriedade tipo deve ser definida para: Greenplum Yes
conexãoStragem Uma cadeia de ligação ODBC para ligar ao Greenplum.
Também pode colocar a palavra-passe no Azure Key Vault e retirar a pwd configuração da cadeia de ligação. Consulte as seguintes amostras e guarde as credenciais em Azure Key Vault artigo com mais detalhes.
Yes
connectVia O Integration Runtime ser utilizado para ligar à loja de dados. Saiba mais na secção Pré-Requisitos . Se não for especificado, utiliza o Integration Runtime Azure predefinido. No

Exemplo:

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "typeProperties": {
            "connectionString": "HOST=<server>;PORT=<port>;DB=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar senha em Azure Key Vault

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "typeProperties": {
            "connectionString": "HOST=<server>;PORT=<port>;DB=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Dataset properties (Propriedades do conjunto de dados)

Para obter uma lista completa de secções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo conjuntos de dados . Esta secção fornece uma lista de propriedades suportadas pelo conjunto de dados greenplum.

Para copiar dados da Greenplum, defina a propriedade tipo do conjunto de dados para a GreenplumTable. As seguintes propriedades são suportadas:

Propriedade Descrição Obrigatório
tipo A propriedade tipo do conjunto de dados deve ser definida para: GreenplumTable Yes
esquema O nome do esquema. Não (se for especificada "consulta" na fonte de atividade)
table O nome da mesa. Não (se for especificada "consulta" na fonte de atividade)
tableName O nome da mesa com esquema. Esta propriedade é suportada para retrocompatibilidade. Use schema e table para nova carga de trabalho. Não (se for especificada "consulta" na fonte de atividade)

Exemplo

{
    "name": "GreenplumDataset",
    "properties": {
        "type": "GreenplumTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Greenplum linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de secções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta secção fornece uma lista de propriedades suportadas por fonte greenplum.

GreenplumSource como fonte

Para copiar dados da Greenplum, deslote o tipo de origem na atividade da cópia para o GreenplumSource. As seguintes propriedades são suportadas na secção de origem da atividade de cópia:

Propriedade Descrição Obrigatório
tipo A propriedade tipo da fonte de atividade de cópia deve ser definida para: GreenplumSource Yes
consulta Utilize a consulta SQL personalizada para ler dados. Por exemplo: "SELECT * FROM MyTable". Não (se for especificado "tableName" no conjunto de dados)

Exemplo:

"activities":[
    {
        "name": "CopyFromGreenplum",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Greenplum input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GreenplumSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Propriedades de atividade de procura

Para obter detalhes sobre as propriedades, consulte a atividade da Lookup.

Passos seguintes

Para obter uma lista de lojas de dados suportadas como fontes e sumidouros pela atividade de cópia, consulte lojas de dados suportadas.