Usar parámetros en Lakeflow Designer

Los parámetros son valores designados para la preparación de datos visuales en su conjunto. Puedes referenciar parámetros en código de operadores SQL y Python, en campos de configuración de operadores soportados y en expresiones que habilitan o deshabilitan operadores. Los parámetros permiten ejecutar la misma preparación visual de datos contra diferentes entornos, por ejemplo, un catálogo de pruebas durante el desarrollo y un catálogo de producción en producción.

Definir parámetros

Para gestionar los parámetros, selecciona Parámetros en el panel izquierdo. Cada parámetro tiene un valor que se establece al definirlo. Cuando la preparación visual de datos se ejecuta de forma programada o como una tarea, puedes reemplazar ese valor. Consulta Anular los valores de los parámetros en producción.

Hacer referencia a un parámetro desde un operador

La forma en que referencias un parámetro depende de dónde lo uses:

  • Operador SQL: use la sintaxis de marcador de parámetros con nombre, como :environment. Consulte Uso de marcadores de parámetros con nombre.
  • Operador de Python: Llamar a dbutils.widgets.get(), por ejemplo, dbutils.widgets.get("environment"). Consulte la herramienta Widgets (dbutils.widgets).
  • Campos de configuración de operador soportados: En el panel de configuración del operador, seleccione Parámetros en la esquina superior derecha. Selecciona un campo e introduce una expresión como :source_table. Los campos soportados incluyen:
    • Fuente: Tabla, ruta de archivo y formato de archivo.
    • Salida: Catálogo, Esquema, Tabla, Vista, Volumen,Nombre de archivo y modo Escritura.
    • Límite: Límite.
    • Combinar: Operación de conjuntos, Estrategia de combinación, Unir por nombre, y Permitir columnas ausentes.

Al abrir un operador SQL o Python para su edición, Lakeflow Designer muestra un ejemplo de cómo hacer referencia a los parámetros disponibles encima del editor de origen.

Combinar parámetros con texto fijo

En una expresión de parámetro para un operador Fuente o Salida, se usa :parameter_name para reemplazar un valor completo. Para combinar parámetros con texto fijo, encierra el texto entre comillas y utiliza ||. Por ejemplo, la siguiente expresión Source Table construye un nombre de tabla completo:

:catalog || '.' || :schema || '.' || :table

Habilitar o desactivar un operador con un parámetro

Puedes usar un parámetro para habilitar o desactivar cualquier operador configurado. En su panel de Parámetros , selecciona Desactivado e introduce una expresión booleana. Por ejemplo, :skip_operator desactiva el operador cuando el parámetro es true. Un operador deshabilitado no produce filas de salida.

Para habilitar o desactivar manualmente a un operador, consulte Renombrar, copiar, eliminar y desactivar operadores.

Anular los valores de los parámetros en producción

En tiempo de ejecución, una preparación visual de datos lee sus parámetros de la misma manera, ya sea que se ejecute de forma interactiva o como un trabajo, de modo que el mismo archivo funciona en todos tus entornos sin cambios. Proporciona valores diferentes para cada entorno de la siguiente manera:

  • Al programar un trabajo en la interfaz de usuario: invalide los valores de parámetro para cada programación. Por ejemplo, programa la misma preparación visual de datos para ejecutarse cada día al mediodía con el parámetro environment configurado en test, y de nuevo a las 14:00 con environment configurado en production. Consulte Programar como tarea.
  • Al implementar con un paquete: establezca los valores de los parámetros mediante el parameters del trabajo y use destinos del paquete para proporcionar valores distintos para cada entorno. Los objetivos de desarrollo y producción del paquete permiten desplegar el mismo trabajo en entornos separados con configuraciones específicas de cada entorno. Consulte Declarative Automation Bundles deployment modes y Declarative Automation Bundles configuration.

Recursos adicionales

  • Se actualizó por última vez el