Configuración de FTP en una actividad de copia

En este artículo se resume cómo usar la actividad de copia en una canalización de datos para copiar datos desde FTP.

Formato admitido

FTP admite los siguientes formatos de archivo. Consulte los artículos para conocer la configuración basada en el formato.

• Formato Avro
• Formato binario
• Formato de texto delimitado
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

Configuración admitida

Para la configuración de cada pestaña en la actividad de copia, vaya a las secciones siguientes respectivamente.

• General
• Origen
• Asignación
• Configuración

General

Consulte las instruccionesgenerales para configurar la pestaña de parámetros General.

Origen

Vaya a la pestaña Origen para configurar el origen de la actividad de copia. Consulte el siguiente contenido para obtener la configuración detallada.

Se requieren las siguientes tres propiedades:

• Tipo de banco de datos : Seleccione Externo.

• Conexión: seleccione una conexión FTP en la lista de conexiones. Si no hay ninguna conexión, seleccione Nuevo para crear una conexión FTP.

• Tipo de ruta de acceso de archivo: seleccione de Ruta de acceso de archivo, Ruta de acceso de archivo comodín y Lista de archivos en función de la forma en que quiera leer los archivos.

  • Ruta de acceso de archivo: si elige este tipo, especifique la ruta de acceso del archivo de origen. Puede seleccionar Examinar para seleccionar los archivos de origen o escribir manualmente la ruta de acceso del archivo.

  • Ruta de acceso de archivo comodín: si elige este tipo, especifique las Rutas de acceso comodín para filtrar las carpetas o archivos de origen.

    Los caracteres comodín permitidos son: * (equivale a cero o a varios caracteres) y ? (equivale a cero o a un único carácter). Use ^ como escape si el nombre de la carpeta contiene un carácter comodín o este carácter de escape. Para obtener más ejemplos, vaya a Ejemplos de filtros de carpetas y archivos .

    

    Ruta de acceso de carpeta comodín: especifique la ruta de acceso de la carpeta con caracteres comodín para filtrar las carpetas de origen.

    Nombre de archivo comodín: especifique el nombre del archivo con caracteres comodín debajo de la ruta de acceso de carpeta o comodín dada para filtrar los archivos de origen.

  • Lista de archivos: si selecciona este tipo, especifique la ruta de acceso de la carpeta y la ruta de acceso del archivo para indicar que se copia un conjunto de archivos determinado. Señale un archivo de texto que incluya una lista de los archivos que quiere copiar, con un archivo por línea. Para obtener más ejemplos, vaya a Ejemplos de lista de archivos .

    Ruta de acceso de la carpeta: especifique la ruta de acceso a la carpeta de origen. Es obligatorio.
    Ruta de acceso a la lista de archivos: especifique la ruta de acceso del archivo de texto que incluye una lista de archivos que desea copiar.

    

• Formato de archivo: seleccione el formato de archivo en la lista desplegable. Seleccione Configuración para configurar el formato de archivo. Para ver la configuración de diferentes formatos de archivo, consulte artículos en Formato admitido para obtener información detallada.

En Avanzado, puede especificar los campos siguientes:

• Filtrar por última modificación: los archivos se filtran en función de las fechas de última modificación. Esta propiedad no se aplica cuando se configura el tipo de ruta de acceso de archivos como Lista de archivos.

  • Hora de inicio (UTC): los archivos se seleccionan si su última hora de modificación es mayor o igual que la hora configurada.
  • Hora de finalización (UTC): los archivos se seleccionan si su última hora de modificación es inferior a la hora configurada.

  Cuando Hora de inicio (UTC) tiene el valor de fecha y hora, pero Hora de finalización (UTC) es NULL, significa que se seleccionarán los archivos cuyo último atributo modificado sea mayor o igual que el valor de la fecha y hora. Cuando Hora de finalización (UTC) tiene el valor de fecha y hora, pero Hora de inicio (UTC) es NULL, significa que se seleccionarán los archivos cuyo último atributo modificado sea inferior al valor de la fecha y hora. Las propiedades pueden ser NULL, en cuyo caso no se aplica ningún filtro de atributo de archivo al conjunto de datos.

• Deshabilitar la fragmentación: la fragmentación está diseñada para optimizar el rendimiento y pasa desapercibida. Esta opción permite deshabilitar la fragmentación dentro de cada archivo. Al copiar datos desde un FTP, el servicio primero intenta obtener la longitud del archivo y, después, lo divide en varias partes y las lee en paralelo. Especifique si el servidor FTP admite la obtención de la longitud del archivo o la búsqueda de lectura desde un desplazamiento determinado. No está seleccionado de forma predeterminada.

• Habilitar la detección de particiones: especifique si quiere analizar las particiones de la ruta de acceso del archivo y agregarlas como columnas de origen adicionales. No se selecciona de forma predeterminada y no se admite cuando se usa el formato de archivo binario.

  • Ruta de acceso a la partición: cuando se habilita la detección de particiones, especifique la ruta de acceso raíz absoluta para leer las carpetas particionadas como columnas de datos.
    Si no se especifica, de forma predeterminada,

    • Cuando se usa la ruta de acceso de archivo o una lista de archivos del origen, la ruta de acceso raíz de la partición es la ruta de acceso que ha configurado.
    • Cuando se usa el filtro de carpeta con caracteres comodín, la ruta de acceso raíz de la partición es la subruta antes del primer carácter comodín.

    Por ejemplo, suponiendo que configura la ruta de acceso como root/folder/year=2020/month=08/day=27:

    • Si especifica la ruta de acceso raíz de la partición como root/folder/year=2020, la actividad de copia generará dos columnas más, mes y día, con el valor "08" y "27", respectivamente, además de las columnas de los archivos.
    • Si no se especifica la ruta de acceso raíz de la partición, no se generará ninguna columna adicional.

    

• Usar transferencia binaria: especifique si debe usarse el modo de transferencia binaria. Seleccione esta opción para usar el modo binario (predeterminado) o déjela sin seleccionar para usar ASCII.

• Máximo de conexiones simultáneas: esta propiedad indica el límite superior de conexiones simultáneas establecidas con el almacén de datos durante la ejecución de la actividad. Especifique un valor solo cuando quiera limitar las conexiones simultáneas.

• Columnas adicionales: añada columnas de datos adicionales para almacenar la ruta relativa o el valor estático de los archivos de origen. La expresión se admite para este último. Para más información, vaya a Agregar columnas adicionales durante la copia.

Asignación

Para la configuración de la pestaña Asignación, vea Configurar las asignaciones en la pestaña asignación . Si elige Binario como formato de archivo, no se admitirá la asignación.

Configuración

Para la configuración de la pestañaConfiguración, vaya a Configurar los otros parámetros en la ficha Configuración .

Resumen de tabla

La tabla siguiente contiene más información sobre la actividad de copia en FTP.

Origen

Nombre	Descripción	Value	Obligatorio	Propiedad de script JSON
Tipo de almacén de datos	El tipo de almacén de datos.	Externo	Sí	/
Connection	Conexión FTP al almacén de datos de origen.	<su conexión FTP>	Sí	conexión
Tipo de ruta de acceso de archivo	El tipo de ruta de acceso de archivo que se usa para obtener datos de origen.	• Ruta del archivo • Ruta de acceso del archivo con carácter comodín • Lista de archivos	Sí	/
Ruta de acceso del archivo	La ruta de acceso al archivo de origen.	< ruta del archivo>	Sí	fileName folderpath
Ruta de acceso con carácter comodín	La ruta de acceso comodín al archivo de origen.	< ruta de acceso del archivo con carácter comodín>	Sí para el nombre de archivo comodín	wildcardFolderPath wildcardFileName
Folder path (Ruta de acceso a la carpeta)	La ruta de acceso a la carpeta de origen.	<ruta de acceso a la carpeta principal común>	Sí	folderPath
Ruta de acceso a la lista de archivos	Indica que se copie un conjunto de archivos determinado. Señale un archivo de texto que incluya una lista de los archivos que quiere copiar, con un archivo por línea.	> ruta de acceso de la lista de archivos <	No	fileListPath
Formato de archivo	El formato de archivo para los datos de origen. Para ver la configuración de los diferentes formatos de archivo, consulte artículos en Formato admitido para obtener información detallada.	/	Sí	/
Filtrar por última modificación	Los archivos con la hora de la última modificación en el intervalo [Hora de inicio, Hora de finalización) se filtrarán para su posterior procesamiento. La hora se aplicará a la zona horaria UTC con el formato yyyy-mm-ddThh:mm:ss.fffZ. Esta propiedad se puede omitir, lo que significa que no se aplicará ningún filtro de atributo de archivo. Esta propiedad no se aplica cuando se configura el tipo de ruta de acceso de archivos como Lista de archivos.	datetime	No	modifiedDatetimeStart modifiedDatetimeEnd
Deshabilitar fragmentación	La fragmentación está diseñada para optimizar el rendimiento y se produce debajo. Esta opción permite deshabilitar la fragmentación dentro de cada archivo. Al copiar datos desde un FTP, el servicio primero intenta obtener la longitud del archivo y, después, lo divide en varias partes y las lee en paralelo. Especifique si el servidor FTP admite la obtención de la longitud del archivo o la búsqueda de lectura desde un desplazamiento determinado.	seleccionado o no seleccionado (valor predeterminado)	No	disableChunking: true o false (valor predeterminado)
Habilitar detección de particiones	Indica si se analizan las particiones de la ruta de acceso del archivo y se agregan como columnas de origen adicionales.	seleccionado o no seleccionado (valor predeterminado)	No	enablePartitionDiscovery: true o false (valor predeterminado)
Ruta de acceso raíz de la partición	La ruta de acceso raíz de partición absoluta para leer carpetas con particiones como columnas de datos. Especifíquelo cuando la detección de particiones esté habilitada.	< ruta de acceso raíz de la partición >	No	partitionRootPath
Usar transferencia binaria	Indica si debe usarse el modo de transferencia binaria. Los valores son True para el modo binario (valor predeterminado) y False para ASCII.	seleccionado (predeterminado) o no seleccionado	No	useBinaryTransfer: true (valor predeterminado) o false
Número máximo de conexiones simultáneas	Número máximo de conexiones simultáneas establecidas en el almacén de datos durante la ejecución de la actividad. Especifique un valor solo cuando quiera limitar las conexiones simultáneas.	< límite superior de conexiones simultáneas > (entero)	No	maxConcurrentConnections
Columnas adicionales	Agregue columnas de datos adicionales para almacenar la ruta de acceso relativa o el valor estático de los archivos de origen. La expresión se admite para este último. Para más información, vaya a Agregar columnas adicionales durante la copia	• Nombre • Valor	No	additionalColumns: • nombre • valor

Contenido relacionado

• Información general del conector FTP