Compartilhar via

Copiar dados do Vertica utilizando o Azure Data Factory ou Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como usar a atividade de cópia nos pipelines do Azure Data Factory ou do Azure Synapse Analytics para copiar dados de uma tabela do Vertica. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Funcionalidades com suporte

O conector do Vertica é compatível com as seguintes funcionalidades:

Funcionalidades com suporte IR
Atividade de cópia (origem/-) ① (somente para a versão 1.0) ②
Atividade de pesquisa ① (somente para a versão 1.0) ②

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Para obter uma lista de armazenamentos de dados com suporte como origens/coletores da atividade de cópia, confira a tabela Armazenamentos de dados com suporte.

O serviço fornece um driver interno para habilitar a conectividade, portanto, não é necessário instalar manualmente qualquer driver usando esse conector.

Para a versão 2.0 (versão prévia), você precisa instalar um driver ODBC Vertica manualmente. Para a versão 1.0, o serviço fornece um driver interno para habilitar a conectividade; portanto, você não precisa instalar manualmente nenhum driver.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele. Se você usar a versão 2.0 (versão prévia), sua versão do runtime de integração auto-hospedada deverá ser 5.44.8984.1 ou superior.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

Para a versão 1.0

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permitidos.

Você também pode usar o recurso de runtime de integração da rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Instalar o driver ODBC do Vertica para a versão 2.0 (versão prévia)

Para usar o conector do Vertica com a versão 2.0 (versão prévia), instale o driver ODBC do Vertica no computador que executa o runtime de Integração auto-hospedada seguindo estas etapas:

  1. Baixe a configuração do cliente Vertica para o driver ODBC de Drivers Clientes | OpenText™ Vertica™. Confira a configuração do sistema Windows como exemplo:

    Captura de tela de um exemplo de configuração do sistema Windows.

  2. Abra o .exe baixado para iniciar o processo de instalação. 

    Captura de tela do processo de instalação.

  3. Selecione Driver ODBC na Lista de Componentes do Vertica e selecione Avançar para iniciar a instalação.

    Captura de tela da seleção do driver ODBC.

  4. Depois que o processo de instalação for concluído com sucesso, você poderá ir para Iniciar –> Administrador da Fonte de Dados ODBC para confirmar a instalação bem-sucedida.

    Captura de tela da confirmação da instalação bem-sucedida.

Introdução

Você pode criar um pipeline com atividade de cópia usando o SDK do .NET, o SDK do Python, o Azure PowerShell, a API REST ou o modelo do Azure Resource Manager. Confira o Tutorial de atividade de cópia para obter instruções passo a passo sobre a criação de um pipeline com uma atividade de cópia.

Criar um serviço vinculado para o Vertica usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado para o Vertica na interface do usuário do portal do Azure.

  1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse, selecione Serviços Vinculados e clique em Novo:

  2. Procure Vertica e selecione o conector do Vertica.

    Captura de tela do conector do Vertica.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Captura de tela da configuração do serviço vinculado para o Vertica.

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas ao conector do Vertica.

Propriedades do serviço vinculado

Se você usar a versão 2.0 (versão prévia), as seguintes propriedades serão compatíveis com o serviço vinculado do Vertica:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como: Vertica Sim
Servidor O nome ou o endereço IP do servidor ao qual você deseja se conectar. Sim
porta O número da porta do ouvinte do servidor. Não, o padrão é 5433
Banco de Dados Nome do banco de dados do Vertica. Sim
uid A ID do usuário usada para se conectar ao banco de dados. Sim
pwd A senha que o aplicativo usa para se conectar ao banco de dados. Sim
version A versão quando você seleciona a versão 2.0 (versão prévia). O valor é 2.0. Sim
connectVia O Integration Runtime a ser usado para se conectar ao armazenamento de dados. Saiba mais na seção Pré-requisitos. Você só pode usar o runtime de integração auto-hospedada e a sua versão deve ser 5.44.8984.1 ou superior. Não

Exemplo:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a senha no Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Se você usar a versão 1.0, as seguintes propriedades serão compatíveis:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como: Vertica Sim
connectionString Uma cadeia de conexão ODBC para conectar-se ao Vertica.
Você também pode colocar uma senha no Azure Key Vault e extrair a configuração pwd da cadeia de conexão. Confira os exemplos a seguir e o artigo Armazenar credenciais no Azure Key Vault com mais detalhes.		 Sim
connectVia O Integration Runtime a ser usado para se conectar ao armazenamento de dados. Saiba mais na seção Pré-requisitos. Se não for especificado, ele usa o Integration Runtime padrão do Azure. Não

Exemplo:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre conjuntos de dados. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados Vertica.

Para copiar dados do Vertica, defina a propriedade type do conjunto de dados como VerticaTable. Há suporte para as seguintes propriedades:

Propriedade Descrição Obrigatório
type A propriedade type do conjunto de dados precisa ser definida como: VerticaTable Sim
esquema Nome do esquema. Não (se "query" na fonte da atividade for especificada)
tabela Nome da tabela. Não (se "query" na fonte da atividade for especificada)

Exemplo

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela fonte Vertica.

Vertica como fonte

Para copiar dados do Vertica, defina o tipo de origem na atividade de cópia como VerticaSource. As propriedades a seguir têm suporte na seção source da atividade de cópia:

Propriedade Descrição Obrigatório
type A propriedade type da fonte da atividade de cópia deve ser definida como: VerticaSource Sim
Consulta Utiliza a consulta SQL personalizada para ler os dados. Por exemplo: "SELECT * FROM MyTable". Não (se "schema+table" no conjunto de dados for especificado)

Exemplo:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Atualizar a versão do Vertica

Veja a seguir as etapas que ajudam você a atualizar a sua versão do Vertica:

  1. Instale um driver ODBC do Vertica seguindo as etapas em Pré-requisitos.
  2. Na página Editar serviço vinculado, selecione 2.0 (Versão prévia) em Versão e configure o serviço vinculado referindo-se às Propriedades do serviço vinculado.
  3. Aplique um runtime de integração auto-hospedada com a versão 5.44.8984.1 ou superior. Não há suporte para o runtime de integração do Azure na versão 2.0 (versão prévia).

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.