Partekatu honen bidez:

Copia de datos de Vertica con Azure Data Factory o Synapse Analytics

  • Artikulua

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. Obtenga información sobre cómo iniciar una nueva evaluación gratuita.

En este artículo se describe el uso de la actividad de copia en una canalización de Azure Data Factory o Synapse Analytics para copiar datos de Vertica. El documento se basa en el artículo de introducción a la actividad de copia que describe información general de la actividad de copia.

Funcionalidades admitidas

El conector Vertica es compatible para las siguientes funcionalidades:

Funcionalidades admitidas IR
Actividad de copia (origen/-) ① (solo para la versión 1.0) ②
Actividad de búsqueda ① (solo para la versión 1.0) ②

① Azure Integration Runtime ② Entorno de ejecución de integración autohospedado

Consulte la tabla de almacenes de datos compatibles para ver una lista de almacenes de datos que la actividad de copia admite como orígenes o receptores.

El servicio proporciona un controlador integrado para habilitar la conectividad. Por lo tanto, no es necesario instalar manualmente ningún controlador mediante este conector.

Para la versión 2.0 (versión preliminar), debe instalar un controlador ODBC de Vertica manualmente. Para la versión 1.0, el servicio proporciona un controlador integrado para habilitar la conectividad. Por lo tanto, no es necesario instalar manualmente ningún controlador.

Requisitos previos

Si el almacén de datos se encuentra en una red local, una red virtual de Azure o una nube privada virtual de Amazon, debe configurar un entorno de ejecución de integración autohospedado para conectarse a él. Si usa la versión 2.0 (versión preliminar), la versión del entorno de ejecución de integración autohospedado debe ser 5.44.8984.1 o posterior.

Consulte Estrategias de acceso a datos para más información sobre los mecanismos de seguridad de red y las opciones que admite Data Factory.

Para la versión 1.0

Si el almacén de datos es un servicio de datos en la nube administrado, puede usar Azure Integration Runtime. Si el acceso está restringido a las direcciones IP que están aprobadas en las reglas de firewall, puede agregar direcciones IP de Azure Integration Runtime a la lista de permitidos.

También puede usar la característica del entorno de ejecución de integración de red virtual administrada de Azure Data Factory para acceder a la red local sin instalar ni configurar un entorno de ejecución de integración autohospedado.

Instalación del controlador ODBC de Vertica para la versión 2.0 (versión preliminar)

Para usar el conector de Vertica con la versión 2.0 (versión preliminar), instale el controlador ODBC de Vertica en la máquina que ejecuta el entorno de ejecución de integración autohospedado siguiendo estos pasos:

  1. Descargue la configuración del cliente de Vertica para el controlador ODBC desde Controladores cliente | OpenText™ Vertica™. Tome la configuración del sistema de Windows como ejemplo:

    Recorte de pantalla de un ejemplo de configuración del sistema de Windows.

  2. Abra el archivo .exe descargado para comenzar el proceso de instalación. 

    Recorte de pantalla del proceso de instalación.

  3. Seleccione Controlador ODBC en Lista de componentes de Vertica y, a continuación, seleccione Siguiente para iniciar la instalación.

    Recorte de pantalla de cómo seleccionar el controlador ODBC.

  4. Una vez completado correctamente el proceso de instalación, puede ir a Inicio -> Administrador de orígenes de datos ODBC para confirmar la instalación correcta.

    Recorte de pantalla de cómo confirmar la instalación correcta.

Introducción

Puede crear una canalización con la actividad de copia mediante el SDK de .NET, el SDK de Python, Azure PowerShell, la API de REST o la plantilla de Azure Resource Manager. Consulte el tutorial de actividad de copia para obtener instrucciones paso a paso para crear una canalización con una actividad de copia.

Creación de un servicio vinculado a Vertica mediante la interfaz de usuario

Siga estos pasos para crear un servicio vinculado a Vertica en la interfaz de usuario de Azure Portal.

  1. Vaya a la pestaña Administrar del área de trabajo de Azure Data Factory o Synapse y seleccione Servicios vinculados; luego haga clic en Nuevo:

  2. Busque Vertica y seleccione el conector de Vertica.

    Captura de pantalla del conector de Vertica.

  3. Configure los detalles del servicio, pruebe la conexión y cree el nuevo servicio vinculado.

    Captura de pantalla de la configuración del servicio vinculado en Spark.

Detalles de configuración del conector

En las secciones siguientes se proporcionan detalles sobre las propiedades que se usan para definir entidades de Data Factory específicas del conector de Vertica.

Propiedades del servicio vinculado

Si usa la versión 2.0 (versión preliminar), las siguientes propiedades son compatibles con el servicio vinculado de Vertica:

Propiedad Descripción Obligatorio
type La propiedad type debe establecerse en: Vertica Sí
server El nombre de la dirección IP del servidor al que se quiere conectar. Sí
port Número de puerto del cliente de escucha de servidor. No, el valor predeterminado es 5433
database Nombre de la base de datos de Vertica. Sí
uid Id. de usuario que se usa para conectarse a la base de datos. Sí
pwd Contraseña que usa la aplicación para conectarse a la base de datos. Sí
version Versión al seleccionar la versión 2.0 (versión preliminar). El valor es 2.0. Sí
connectVia El entorno Integration Runtime que se usará para conectarse al almacén de datos. Obtenga más información en la sección Requisitos previos. Solo puede usar el entorno de ejecución de integración autohospedado y su versión debe ser 5.44.8984.1 o posterior. No

Ejemplo:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Ejemplo: Almacenamiento de la contraseña en Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Si usa la versión 1.0, se admiten las siguientes propiedades:

Propiedad Descripción Obligatorio
type La propiedad type debe establecerse en: Vertica Sí
connectionString Cadena de conexión de ODBC para conectarse a Vertica.
También puede colocar la contraseña en Azure Key Vault y extraer la configuración de pwd de la cadena de conexión. Consulte los siguientes ejemplos y el artículo Almacenamiento de credenciales en Azure Key Vault con información detallada.		 Sí
connectVia El entorno Integration Runtime que se usará para conectarse al almacén de datos. Obtenga más información en la sección Requisitos previos. Si no se especifica, se usará Azure Integration Runtime. No

Ejemplo:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propiedades del conjunto de datos

Si desea ver una lista completa de las secciones y propiedades disponibles para definir conjuntos de datos, consulte el artículo sobre conjuntos de datos. En esta sección se proporciona una lista de las propiedades que admite el conjunto de datos de Vertica.

Para copiar datos desde Vertica, establezca la propiedad type del conjunto de datos en VerticaTable. Se admiten las siguientes propiedades:

Propiedad Descripción Obligatorio
type La propiedad type del conjunto de datos se debe establecer en VerticaTable. Sí
esquema Nombre del esquema. No (si se especifica "query" en el origen de la actividad)
table Nombre de la tabla. No (si se especifica "query" en el origen de la actividad)

Ejemplo

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propiedades de la actividad de copia

Si desea ver una lista completa de las secciones y propiedades disponibles para definir actividades, consulte el artículo sobre canalizaciones. En esta sección se proporciona una lista de las propiedades que admite el origen de Vertica.

Vertica como origen

Para copiar datos desde Vertica, establezca el tipo de origen de la actividad de copia como VerticaSource. Se admiten las siguientes propiedades en la sección source de la actividad de copia:

Propiedad Descripción Obligatorio
type La propiedad type del origen de la actividad de copia debe establecerse en: VerticaSource Sí
Query Use la consulta SQL personalizada para leer los datos. Por ejemplo: "SELECT * FROM MyTable". No (si se especifica "schema+table" en el conjunto de datos)

Ejemplo:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Propiedades de la actividad de búsqueda

Para obtener información detallada sobre las propiedades, consulte Actividad de búsqueda.

Actualización de la versión de Vertica

Estos son los pasos que le ayudarán a actualizar la versión de Vertica:

  1. Instale un controlador ODBC de Vertica siguiendo los pasos descritos en Requisitos previos.
  2. En la página Editar servicio vinculado, seleccione 2.0 (versión preliminar) en Versión y configure el servicio vinculado haciendo referencia a las propiedades del servicio vinculado.
  3. Aplique un entorno de ejecución de integración autohospedado con la versión 5.44.8984.1 o posterior. Azure Integration Runtime no es compatible con la versión 2.0 (versión preliminar).

Contenido relacionado

Para obtener una lista de almacenes de datos que la actividad de copia admite como orígenes y receptores, vea Almacenes de datos que se admiten.