Aprenda a crear un trabajo de copia en Data Factory para Microsoft Fabric

La tarea de copia en Data Factory facilita el traslado de datos desde tu origen hasta tu destino sin crear un pipeline. Puede configurar transferencias de datos mediante patrones integrados para la copia por lotes e incrementales, y copiar una vez o según una programación. Siga los pasos de este artículo para empezar a copiar los datos desde una base de datos o desde el almacenamiento.

Sugerencia

Consulta una lista de todos los conectores soportados para el trabajo de copia.

Cree un trabajo de copia para ingerir datos de una base de datos

Siga estos pasos para configurar un trabajo de copia que mueva los datos de una base de datos:

  1. Crear una nueva área de trabajo o usar una existente.

  2. Seleccione + Nuevo elemento, elija el icono Copiar trabajo , asigne un nombre al trabajo de copia y seleccione Crear.

    Captura de pantalla que muestra dónde navegar para llegar a la página principal de Data Factory y crear un nuevo trabajo de copia.

  3. Elija la base de datos desde la que copiar los datos. En este ejemplo, estamos usando Azure SQL Database, pero hay varias opciones para elegir tu fuente de datos en la parte superior de la ventana de elegir fuente de datos.

    Captura de pantalla que muestra dónde elegir un origen de datos para el trabajo de copia.

  4. Para Azure SQL Database, introduce la ruta y las credenciales de tu servidor. Puede copiar datos de forma segura dentro de un entorno de red virtual mediante una puerta de enlace de red virtual o local. Para otras bases de datos, los detalles de la conexión varían.

    Captura de pantalla que muestra dónde escribir las credenciales.

  5. Seleccione las tablas y columnas que se van a copiar o use una consulta de base de datos para copiar subconjuntos de los datos. Use el cuadro de búsqueda para identificar las tablas y columnas completas que desea copiar o seleccione + Nueva consulta en Consultas para escribir una consulta personalizada.

    Captura de pantalla que muestra dónde seleccionar tablas y columnas para el trabajo de copia.

  6. Seleccione el almacén de destino. En este ejemplo, estamos usando otra Azure SQL Database.

    Captura de pantalla que muestra dónde seleccionar el almacén de destino para el trabajo de copia.

  7. (Opcional) Elija Método de actualización para decidir cómo se escriben los datos en su destino. Si elige Combinar, seleccione las columnas clave que identifican cada fila.

    Captura de pantalla que muestra dónde actualizar el método.

    Captura de pantalla que muestra cómo actualizar el método.

  8. (Opcional) Configure la asignación de tablas o columnas para cambiar el nombre de las tablas o columnas del destino o aplicar conversiones de tipos de datos. De forma predeterminada, los datos se copian con el mismo nombre de tabla, nombre de columna y tipo de datos que el origen. Al copiar datos que contienen valores de marca de tiempo sin información de zona horaria a un Fabric Lakehouse, puedes asignar dichas columnas al tipo de dato timestamp_ntz.

    Captura de pantalla que muestra dónde especificar asignaciones de tablas.

    Captura de pantalla que muestra dónde especificar asignaciones de columnas.

  9. Elija un modo de copia: Copia completa de datos o Copia incremental. En este ejemplo, se utiliza la copia incremental. Elija una columna incremental para cada tabla para realizar un seguimiento de las filas que han cambiado. Puede usar el botón de vista previa para buscar la columna derecha.

    Nota:

    Al elegir el modo de copia incremental, el trabajo de copia realiza inicialmente una carga completa y realiza copias incrementales en las siguientes ejecuciones.

    Captura de pantalla que muestra dónde seleccionar el modo de trabajo de copia.

  10. Revise el resumen del trabajo, seleccione la opción ejecutar para ejecutar una vez o según una programación y seleccione Guardar y ejecutar.

    Captura de pantalla que muestra dónde revisar y guardar el trabajo de copia recién creado.

  11. El trabajo de copia comenzará inmediatamente y puede seguir el estado del trabajo desde el panel de monitoreo integrado, que incluye información como los recuentos de filas y la duración de la copia de cada tabla. Aprende más en Cómo supervisar un trabajo de copia

    Captura de pantalla que muestra el panel de trabajo de copia, donde puede supervisar el historial de ejecución.

  12. Puede ejecutar el trabajo de copia siempre que desee, incluso si está establecido para ejecutarse según una programación. Solo tiene que seleccionar el botón Ejecutar en cualquier momento y la tarea de copia copia solo los datos que han cambiado desde la última ejecución.

  13. También puede editar el trabajo de copia en cualquier momento, incluida la adición o eliminación de tablas y columnas que se van a copiar, configurar la programación o ajustar la configuración avanzada. Algunos cambios, como actualizar la columna incremental, restablecerán la copia incremental para empezar desde una carga completa inicial en la siguiente ejecución.

    Captura de pantalla que muestra cómo editar el trabajo de copia.

Crear un trabajo de copia para ingresar archivos desde el almacenamiento

Siga estos pasos para configurar un trabajo de copia que mueva los datos del almacenamiento de archivos:

  1. Crear una nueva área de trabajo o usar una existente.

  2. Seleccione + Nuevo elemento, elija el icono Copiar trabajo , asigne un nombre al trabajo de copia y seleccione Crear.

    Captura de pantalla que muestra dónde navegar para llegar a la página principal de Data Factory y crear un nuevo trabajo de copia.

  3. Elija los almacenes de datos desde los que copiar los datos. En este ejemplo, usamos Azure Data Lake Storage Gen2.

    Captura de pantalla que muestra dónde elegir un origen de almacenamiento para el trabajo de copia.

  4. Para conectarse a Azure Data Lake Storage Gen2, escriba la dirección URL de Storage y las credenciales para conectarse a Azure Data Lake Storage Gen2. En el caso de otros almacenes de datos, los detalles de conexión variarán. Puede copiar datos de forma segura dentro de un entorno de red virtual mediante una puerta de enlace de red virtual o local.

    Captura de pantalla que muestra dónde escribir credenciales para el almacén de almacenamiento.

  5. Seleccione las carpetas o los archivos que se van a copiar. Puede usar el cuadro de búsqueda para buscar archivos o carpetas específicos.

    Sugerencia

    Esquema agnóstico (copia binaria) transfiere los archivos a otro almacén de datos sin analizar el esquema. Este enfoque puede mejorar significativamente el rendimiento de las copias.

  6. Seleccione el almacén de destino. En este ejemplo, elegimos Lakehouse.

    Captura de pantalla que muestra dónde seleccionar el destino de almacenamiento para el trabajo de copia.

  7. Seleccione la ruta de carpeta en su almacenamiento de destino. Elija Conservar jerarquía para mantener la misma estructura de carpetas que la fuente o Aplanar jerarquía para colocar todos los archivos en una sola carpeta.

    Captura de pantalla que muestra cómo seleccionar la carpeta de destino.

  8. Elija un modo de copia: Copia completa de datos o Copia incremental. En este ejemplo, usamos la copia incremental para que el trabajo copiará todos los archivos en la primera ejecución y, a continuación, copiará solo los archivos nuevos o actualizados en las siguientes ejecuciones.

    Captura de pantalla que muestra dónde seleccionar el modo copiar trabajo para el almacenamiento.

  9. Revise el resumen del trabajo, seleccione la opción ejecutar para ejecutar una vez o según una programación y seleccione Guardar y ejecutar.

    Captura de pantalla que muestra dónde revisar y guardar el trabajo de copia recién creado para el almacenamiento.

  10. Tu trabajo de Copia comienza inmediatamente y puedes seguir el estado del trabajo desde el panel de monitorización en línea que incluye información incluyendo el recuento de filas y la duración de la copia de cada archivo. Aprende más en Cómo supervisar un trabajo de copia.

    Captura de pantalla que muestra el panel Copiar trabajo, donde puede supervisar el historial de ejecución para mover datos entre el almacenamiento.

  11. Puede volver a ejecutar el trabajo de copia siempre que desee, incluso si está establecido para ejecutarse según una programación. Solo tiene que seleccionar el botón Ejecutar en cualquier momento y la tarea de copia copia solo los datos que han cambiado desde la última ejecución.

  12. También puede editar su trabajo de copia en cualquier momento, incluyendo la configuración del calendario o el ajuste de los ajustes avanzados.

    Captura de pantalla que muestra cómo editar el trabajo de copia para el almacén de almacenamiento.

Elegir fuente de datos para el trabajo de copia

Para obtener datos para un trabajo de copia, la experiencia ofrece varias opciones de selección de origen y destino. Dependiendo de lo que busques, selecciona la opción en la parte superior de la experiencia de Obtener datos:

  • Inicio:

    La página principal actúa como resumen de todos los módulos y le presenta diferentes opciones para acelerar el proceso y acercarse a los datos. Normalmente, este módulo contiene los orígenes de datos existentes y ofrece la opción de usar un nuevo origen de datos, tabla y carga de archivos. En la página principal, puede seleccionar Ver más en el lado derecho de las secciones Nuevos orígenes, Recientes (versión preliminar) y Catálogo de OneLake para visitar esos módulos.

    Captura de pantalla de la página Elegir origen de datos con el módulo Inicio en el lado derecho resaltado.

  • Nuevo:

    El nuevo módulo es el nuevo módulo de origen de datos, donde puede seleccionar en la lista completa de conectores. En esta página, puede buscar un conector en todas las categorías mediante la barra de búsqueda de la parte superior de la página. También puede navegar por las categorías para buscar un conector específico con el que se va a integrar. Al seleccionar un conector, se abre la ventana de configuración de conexión, que inicia el proceso de conexión.

    Captura de pantalla del módulo Nuevo.

  • Catálogo de OneLake:

    En Microsoft Fabric, el módulo de catálogo de OneLake facilita la búsqueda, exploración y uso de los elementos de datos Fabric de su organización a los que tiene acceso. Proporciona información sobre los elementos y los puntos de entrada para trabajar con ellos. Para obtener más información sobre el catálogo de OneLake, consulte Catálogo de OneLake.

    Captura de pantalla del módulo de catálogo de OneLake.

  • Azure:

    El módulo Azure permite conectarse a orígenes de datos hospedados Azure, como Azure SQL Database, Azure Blob Storage y Azure Data Lake Storage.

    Captura de pantalla del módulo Azure.

  • Datos de ejemplo:

    Los datos de muestra proporcionan conjuntos de datos preparados que puedes usar para explorar herramientas de Fabric o probar un escenario sin necesidad de conectarte a tu propia fuente de datos. Puedes elegir entre varios conjuntos de datos de muestra de diferentes tamaños y tipos.

    Captura de pantalla del módulo de datos de muestra en la experiencia de obtener datos, mostrando varios conjuntos de datos de muestra disponibles.

  • Nuevo elemento de Fabric:

    El módulo New Fabric item (Nuevo elemento de Fabric) permite crear un elemento de Microsoft Fabric que se usará como destino. Este módulo aparece cuando elige un destino en experiencias de Microsoft Fabric admitidas.

    Captura de pantalla del módulo del nuevo elemento de Fabric.

Restricciones conocidas

  • El modo de copia incremental actualmente solo funciona con algunas fuentes. Para más detalles, consulte los conectores compatibles para la actividad de copia.
  • La eliminación de filas no se puede capturar desde un almacén de origen.
  • Al copiar archivos en ubicaciones de almacenamiento, los archivos vacíos se crearán en el destino si no se carga ningún dato desde el origen.

Contenido relacionado

  • Se actualizó por última vez el