Ingesta de datos en Lakeflow Designer

Puede incorporar cualquier dato al que se pueda acceder a través de Azure Databricks en un flujo visual de preparación de datos en Lakeflow Designer.

Toda la ingesta de datos en el Diseñador comienza con el operador Source . Al abrir el panel de configuración de un operador source, tiene las siguientes opciones.

Examinar tablas existentes

Haz clic en Explorar existentes para abrir el selector de activos y explorar las tablas y los volúmenes en Unity Catalog. Use esta opción cuando los datos ya estén en Azure Databricks.

También puede seleccionar una vista de métrica del catálogo de Unity como origen. Al seleccionar una vista de métricas, seleccione las dimensiones y medidas que se van a incluir y el Diseñador genera la consulta agregada.

Crear una conexión externa a la base de datos

En un operador Source sin configurar, seleccione Crear conexión externa a base de datos para conectarse a una base de datos externa. Designer crea una conexión a Unity Catalog y un catálogo externo; a continuación, abre el catálogo para que puedas seleccionar una tabla.

Crear una nueva conexión con Unity Catalog requiere los privilegios CREATE CONNECTION y CREATE CATALOG en la metastore de Unity Catalog.

Designer admite los siguientes tipos de conexión:

  • Amazon Redshift
  • Azure Synapse
  • Databricks
  • Google BigQuery
  • MySQL
  • Oracle
  • PostgreSQL
  • Salesforce Data Cloud
  • Uso compartido de archivos de Salesforce Data Cloud
  • Snowflake
  • SQL Server
  • Teradata

Si un origen de datos no está disponible directamente en el Diseñador, compruebe Lakeflow Connect para un conector administrado. Lakeflow Connect admite la ingesta de aplicaciones SaaS (Salesforce, Workday, HubSpot, etc.), bases de datos, almacenamiento en la nube y orígenes de streaming. Después de ingerir datos con Lakeflow Connect en una tabla de catálogo de Unity, puede usarlo como origen en el Diseñador.

Importar una carpeta o volumen

En lugar de un archivo individual, el operador Source puede dirigirse a un volumen completo de Unity Catalog o a una ruta de carpeta. El diseñador detecta el formato de los archivos de la carpeta y los carga en una sola tabla:

  • Para formatos de archivo estructurados como CSV, JSON, Excel y Parquet, Designer lee todos los archivos y combina sus filas en una tabla.
  • En archivos de documentos como los PDF, Designer lee cada archivo como una sola fila, de modo que se obtiene una fila por archivo.

Arrastrar y soltar un archivo

Arrastra un archivo al lienzo desde el navegador de archivos del espacio de trabajo o desde tu dispositivo local para crear automáticamente un operador Source. Para archivos locales, Designer sube una copia a un volumen del Catálogo de Unity para que el operador la lea.

Note

La función de arrastrar y colocar archivos Excel requiere que se habilite la compatibilidad con formato de archivo Excel. Consulte Leer y transmitir archivos Excel.

Creación de una tabla a partir de un archivo

Seleccione Crear tabla desde archivo en el panel de configuración de origen para cargar un archivo local de CSV o Excel y crear una tabla del Catálogo de Unity a partir de él. Use esta opción cuando desee que los datos se conserven como una tabla administrada en lugar de almacenarse en un volumen. Además, para grandes cantidades de datos, esto proporciona el mejor rendimiento. Los archivos cargados están sujetos al límite de tamaño de archivo de volumen del catálogo de Unity. Consulte cómo trabajar con archivos en volúmenes de Unity Catalog.

Importar desde Google Drive

Para importar un archivo desde Google Drive:

  1. En el panel Configuración de origen, seleccione Importar desde Google Drive.
  2. Selecciona una conexión existente con el Catálogo de Unity que tenga acceso a Google Drive, o selecciona Crear conexión para crear una.
  3. Proporcione la dirección URL del archivo.

Para los requisitos de conexión e instrucciones de configuración, consulta Ingesta de archivos de Google Drive.

Importar desde SharePoint

Para importar un archivo desde SharePoint:

  1. En el panel Configuración de origen, seleccione Importar en SharePoint.
  2. Selecciona una conexión existente con el Catálogo de Unity que tenga acceso a tu sitio de SharePoint, o selecciona Crear conexión para crear una.
  3. Proporcione el vínculo de archivo directo.

Warning

Para obtener la dirección URL correcta, haga clic con el botón derecho en el archivo en SharePoint, seleccione Preview y copie la dirección URL de la barra de direcciones del explorador. No use un vínculo para compartir.

Para los requisitos de conexión e instrucciones de configuración, consulta Ingesta de archivos desde SharePoint.

Recursos adicionales

  • Última actualización el