Copiar e transformar dados no servidor do SFTP por meio do Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como usar a Atividade de Cópia para copiar dados de e para o servidor do FTP seguro (SFTP) e usar o Fluxo de Dados para transformar dados no servidor do SFTP. Para saber mais, leia o artigo introdutório do Azure Data Factory ou do Azure Synapse Analytics.

Funcionalidades com suporte

Há suporte para este conector do SFTP nas seguintes funcionalidades:

Funcionalidades com suporte	IR
Atividade de cópia (origem/coletor)	6/6
Fluxo de dados de mapeamento (origem/coletor)	2
Atividade de pesquisa	6/6
Atividade GetMetadata	6/6
Excluir atividade	6/6

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Especificamente, o conector de SFTP dá suporte a:

• Copiar arquivos de e para o servidor SFTP usando a autenticação Básico, chave pública SSH ou multifator.
• Copiar arquivos no estado em que se encontram ou analisar ou gerar arquivos com os formatos de arquivo e codecs de compactação com suporte.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito aos IPs que estão aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de runtime de integração da rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

• A ferramenta Copiar Dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• PowerShell do Azure
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado do SFTP usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado do SFTP na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse, selecione Serviços Vinculados e clique em Novo:

   Azure Data Factory

   

   Azure Synapse

   

2. Procure SFTP e selecione o conector SFTP.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que são usadas para definir entidades específicas do SFTP.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado SFTP:

Propriedade	Descrição	Obrigatório
type	A propriedade tipo deve ser definida como Sftp.	Sim
host	O nome ou endereço IP do servidor SFTP.	Sim
porta	A porta na qual o servidor SFTP está escutando. O valor permitido é um inteiro e o valor padrão é 22.	Não
skipHostKeyValidation	Especifique se deseja ignorar a validação da chave de host. Os valores permitidos são true e false (padrão).	Não
hostKeyFingerprint	Especifique a impressão digital da chave de host.	Sim se "skipHostKeyValidation" estiver definida como false.
authenticationType	Especifique o tipo de autenticação. Os valores permitidos são Básico, SshPublicKey e MultiFactor. Para obter mais propriedades, confira a seção Usar autenticação básica. Para obter exemplos de JSON, confira a seção Usar autenticação de chave pública SSH.	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Para saber mais, confira a seção Pré-requisitos. Se o runtime de integração não for especificado, o serviço usará o Azure Integration Runtime padrão.	No

Usar autenticação básica

Para usar a autenticação básica, defina a propriedade authenticationType como Básico e especifique as seguintes propriedades, além das propriedades genéricas do conector SFTP que foram introduzidas na seção anterior:

Propriedade	Descrição	Obrigatório
userName	O usuário que tem acesso ao servidor SFTP.	Sim
password	A senha do usuário (userName). Marque esse campo como SecureString para armazená-lo com segurança ou referencie um segredo armazenado em um cofre de chaves do Azure.	Sim

Exemplo:

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": false,
            "hostKeyFingerPrint": "ssh-rsa 2048 xx:00:00:00:xx:00:x0:0x:0x:0x:0x:00:00:x0:x0:00",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Use a autenticação de chave pública SSH

Para usar a chave pública SSH, defina a propriedade "authenticationType" como SshPublicKey e especifique as propriedades a seguir, além das que são genéricas do conector SFTP apresentadas na última seção:

Propriedade	Descrição	Obrigatório
userName	O usuário que tem acesso ao servidor SFTP.	Sim
privateKeyPath	Especifique o caminho absoluto para o arquivo de chave privada que pode ser acessado pelo runtime de integração. Isso se aplica apenas quando o tipo auto-hospedado do runtime de integração for especificado em "connectVia".	Especifique privateKeyPath ou privateKeyContent.
privateKeyContent	Conteúdo da chave privada SSH codificada em Base64. A chave privada SSH deve estar no formato OpenSSH. Marque esse campo como SecureString para armazená-lo com segurança ou referencie um segredo armazenado em um cofre de chaves do Azure.	Especifique privateKeyPath ou privateKeyContent.
Senha	Especifique a senha ou frase secreta para descriptografar a chave particular se o arquivo de chave ou o conteúdo de chave for protegido por uma frase secreta. Marque esse campo como SecureString para armazená-lo com segurança ou referencie um segredo armazenado em um cofre de chaves do Azure.	Sim, se o arquivo de chave privada ou o conteúdo de chave for protegido por uma frase secreta.

Observação

O conector SFTP dá suporte para uma chave OpenSSH RSA/DSA. Certifique-se de que o conteúdo do arquivo da chave inicia com "-----BEGIN [RSA/DSA] PRIVATE KEY-----". Se o arquivo da chave privada for um arquivo de formato PPK, utilize a ferramenta PuTTY para converter de PPK para o formato OpenSSH.

Exemplo 1: Autenticação SshPublicKey usando o filePath da chave privada

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": true,
            "authenticationType": "SshPublicKey",
            "userName": "xxx",
            "privateKeyPath": "D:\\privatekey_openssh",
            "passPhrase": {
                "type": "SecureString",
                "value": "<pass phrase>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo 2: Autenticação SshPublicKey usando o conteúdo da chave privada

{
    "name": "SftpLinkedService",
    "type": "Linkedservices",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": true,
            "authenticationType": "SshPublicKey",
            "userName": "<username>",
            "privateKeyContent": {
                "type": "SecureString",
                "value": "<base64 string of the private key content>"
            },
            "passPhrase": {
                "type": "SecureString",
                "value": "<pass phrase>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Usar autenticação multifator

Para usar a autenticação multifator, que é uma combinação de autenticações de chave pública SSH e básica, especifique o nome de usuário, a senha e as informações de chave privada descritas nas seções acima.

Exemplo: autenticação multifator

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<host>",
            "port": 22,
            "authenticationType": "MultiFactor",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "privateKeyContent": {
                "type": "SecureString",
                "value": "<base64 encoded private key content>"
            },
            "passPhrase": {
                "type": "SecureString",
                "value": "<passphrase for private key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo Conjuntos de dados.

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato do Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades têm suporte para SFTP em configurações de location no conjunto de dados baseado em formato:

Propriedade	Descrição	Obrigatório
type	A propriedade tipo em location no conjunto de dados deve ser definida como SftpLocation.	Sim
folderPath	O caminho para a pasta. Se quiser usar um caractere curinga para filtrar a pasta, ignore essa configuração e especifique o caminho nas configurações de origem da atividade.	Não
fileName	O nome do arquivo sob o folderPath especificado. Se quiser usar um caractere curinga para filtrar os arquivos, ignore essa configuração e especifique o nome do arquivo nas configurações de origem da atividade.	Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<SFTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "SftpLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir as atividades, confira o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela fonte SFTP.

SFTP como fonte

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato do Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades têm suporte para SFTP nas configurações de storeSettings na origem de cópia baseada em formato:

Propriedade	Descrição	Obrigatório
type	A propriedade tipo em storeSettings deve ser definida como SftpReadSettings.	Sim
Localize os arquivos a serem copiados
OPÇÃO 1: caminho estático	Copie do caminho de pasta/arquivo especificado no conjunto de dados. Se quiser copiar todos os arquivos de uma pasta, especifique também wildcardFileName como *.
OPÇÃO 2: curinga - wildcardFolderPath	O caminho da pasta com caracteres curinga para filtrar as pastas de origem. Os caracteres curinga permitidos são * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único); use ^ para escape se o nome de pasta atual tiver um curinga ou esse caractere interno de escape. Para mais exemplos, confira Exemplos de filtro de pastas e arquivos.	Não
OPÇÃO 2: curinga - wildcardFileName	O nome do arquivo com caracteres curinga sob o folderPath/wildcardFolderPath especificado para filtrar os arquivos de origem. Os caracteres curinga permitidos são * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único); use ^ para escape se o nome de arquivo real tiver curinga ou esse caractere interno de escape. Para mais exemplos, confira Exemplos de filtro de pastas e arquivos.	Sim
OPÇÃO 3: uma lista de arquivos - fileListPath	Indica a cópia de um conjunto de arquivos especificado. Aponte para um arquivo de texto que inclui a lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados). Ao usar essa opção, não especifique o nome do arquivo no conjunto de dados. Para mais exemplos, confira Exemplos de lista de arquivos.	Não
Configurações adicionais
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursiva é definida como true e o coletor é um armazenamento baseado em arquivo, uma pasta vazia ou subpasta não é copiada ou criada no coletor. Os valores permitidos são true (padrão) e false. Essa propriedade não se aplica quando você configura fileListPath.	Não
deleteFilesAfterCompletion	Indica se os arquivos binários serão excluídos do repositório de origem após a movimentação com êxito para o repositório de destino. A exclusão do arquivo é feita por arquivo, portanto, quando a atividade de cópia falhar, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no repositório de origem. Essa propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão é false.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo Última Modificação. Os arquivos são selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato 2018-12-01T05:00:00Z. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver o valor de datetime, mas modifiedDatetimeEnd for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tiver o valor de datetime, mas modifiedDatetimeStart for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for menor que o valor de datetime. Essa propriedade não se aplica quando você configura fileListPath.	Não
modifiedDatetimeEnd	Mesmo que acima.	Não
enablePartitionDiscovery	Para arquivos que são particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais. Os valores permitidos são false (padrão) e true.	No
partitionRootPath	Quando a descoberta de partição estiver habilitada, especifique o caminho raiz absoluto para ler as pastas particionadas como colunas de dados. Se ele não for especificado, por padrão ocorrerá o seguinte: – Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho raiz da partição é o caminho configurado no conjunto de dados. – Quando você usa o filtro de pasta curinga, o caminho raiz da partição é o subcaminho antes do primeiro curinga. Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27": – Se você especifica o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gera mais duas colunas month e day com o valor "08" e "27", respectivamente, além das colunas dentro dos arquivos. – Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não
disableChunking	Ao copiar dados do SFTP, o serviço tenta obter o comprimento do arquivo primeiro, depois divide o arquivo em várias partes e as lê em paralelo. Especifique se o servidor SFTP dá suporte à obtenção do comprimento do arquivo à tentativa de ler de um determinado deslocamento. Os valores permitidos são false (padrão) e true.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "SftpReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv",
                    "disableChunking": false
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

SFTP como coletor

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato JSON
• Formato ORC
• Formato Parquet

As seguintes propriedades têm suporte para SFTP em configurações de storeSettings no coletor de cópia baseado em formato:

Propriedade	Descrição	Obrigatório
type	A propriedade de tipo em storeSettings deve ser definida como SftpWriteSettings.	Sim
copyBehavior	Define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo. Valores permitidos são: – PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino. – FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm os nomes gerados automaticamente. – MergeFiles: Mescla todos os arquivos da pasta de origem em um arquivo. Se o nome do arquivo for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, ele será um nome de arquivo gerado automaticamente.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não
useTempFileRename	Indique se deseja carregar arquivos temporários e renomeá-los ou gravar diretamente no local de arquivo/pasta de destino. Por padrão, o serviço primeiro grava em arquivos temporários e os renomeia quando o upload é concluído. Essa sequência ajuda a (1) evitar conflitos que podem surgir em um arquivo corrompido se você tiver outros processos gravando no mesmo arquivo e (2) verificar se a versão original do arquivo existe durante a transferência. Se o servidor SFTP não oferecer suporte a uma operação de renomeação, desabilite essa opção e verifique se você não tem a gravação simultânea no arquivo de destino. Para obter mais informações, confira a dica de solução de problemas no final desta tabela.	Não. O valor padrão é true.
operationTimeout	O tempo de espera antes de expirar cada solicitação de gravação para o servidor SFTP. O valor padrão é 60 minutos (01:00:00).	Não

Dica

Se você receber o erro "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" ou "SftpOperationFail" quando estiver gravando dados em SFTP, e o usuário de SFTP usado tiver as permissões corretas, verifique se a operação de renomeação do arquivo de suporte do servidor SFTP está funcionando. Se não estiver, desabilite a opção Carregar com o arquivo temporário (useTempFileRename) e tente novamente. Para saber mais sobre essa propriedade, confira a tabela anterior. Se você usar um runtime de integração auto-hospedada para a atividade Copy, certifique-se de usar a versão 4.6 ou mais recente.

Exemplo:

"activities":[
    {
        "name": "CopyToSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BinarySink",
                "storeSettings":{
                    "type": "SftpWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Exemplos de filtro de pasta e arquivo

Esta seção descreve o comportamento que resulta do uso de filtros curinga com caminhos de pasta e nomes de arquivo.

folderPath	fileName	recursiva	Estrutura da pasta de origem e resultado do filtro (os arquivos em negrito são recuperados)
Folder*	(vazio, usar padrão)	false	FolderA     Arquivo1.csv     File2.json     Subpasta1         File3.csv         File4.json         File5.csv OutraPastaB     Arquivo6.csv
Folder*	(vazio, usar padrão)	true	FolderA     Arquivo1.csv     File2.json     Subpasta1         File3.csv         File4.json         File5.csv OutraPastaB     Arquivo6.csv
Folder*	*.csv	false	FolderA     Arquivo1.csv     Arquivo2.json     Subpasta1         File3.csv         File4.json         File5.csv OutraPastaB     Arquivo6.csv
Folder*	*.csv	true	FolderA     Arquivo1.csv     Arquivo2.json     Subpasta1         File3.csv         File4.json         File5.csv OutraPastaB     Arquivo6.csv

Exemplos de lista de arquivos

Esta tabela descreve o comportamento resultante do uso de um caminho de lista de arquivos na origem da atividade Copy. Ela assume que você tem a seguinte estrutura de pasta de origem e quer copiar os arquivos em negrito:

Exemplo de estrutura de origem	Conteúdo em FileListToCopy.txt	Configuração do Azure Data Factory
root     FolderA         Arquivo1.csv         Arquivo2.json         Subpasta1             File3.csv             File4.json             File5.csv     Metadados         FileListToCopy.txt	File1.csv Subfolder1/File3.csv Subfolder1/File5.csv	No conjunto de dados: - Caminho da pasta: root/FolderA Na origem da atividade Copy: - Caminho da lista de arquivos: root/Metadata/FileListToCopy.txt O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui a lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados).

Propriedades do fluxo de dados de mapeamento

Quando estiver transformando dados em fluxos de dados de mapeamento, você poderá ler e gravar arquivos do SFTP nos seguintes formatos:

• Avro
• Texto delimitado
• Excel
• JSON
• ORC
• Parquet
• XML

As configurações de formato específico estão localizadas na documentação para esse formato. Para obter mais informações, consulte Transformação de origem no fluxo de dados de mapeamento e Transformação de coletor no fluxo de dados de mapeamento.

Observação

A validação da chave de host SSH não tem suporte no fluxo de dados de mapeamento agora.

Observação

Para acessar o servidor SFTP local, você precisa usar a Rede Virtual Gerenciada do workspace do Azure Data Factory ou do Synapse usando um ponto de extremidade privado. Consulte este tutorial para ver as etapas detalhadas.

Transformação de origem

A tabela abaixo lista as propriedades com suporte de uma origem SFTP. Você pode editar essas propriedades na guia Opções de origem. Ao usar o conjunto de dados embutido, você verá configurações adicionais, que são iguais às propriedades descritas na seção Propriedades do conjunto de dados.

Nome	Descrição	Obrigatório	Valores permitidos	Propriedade do script do Fluxo de Dados
Caminho curinga	O uso de um padrão curinga instruirá o ADF a trabalhar em loop em cada pasta e arquivo correspondentes em uma só transformação de origem. Esse é um modo eficaz de processar vários arquivos dentro de um único fluxo.	Não	String[]	wildcardPaths
Caminho raiz da partição	Se você tiver pastas particionadas em sua origem de arquivo com um formato key=value (por exemplo, year=2019), poderá atribuir o nível superior da árvore de pastas dessa partição a um nome de coluna no fluxo de dados.	Não	String	partitionRootPath
Permitir nenhum arquivo encontrado	Se for true, um erro não será gerado caso nenhum arquivo seja encontrado.	No	true ou false	ignoreNoFilesFound
Lista de arquivos	é um conjunto de arquivos. Crie um arquivo de texto que inclui uma lista de arquivos do caminho relativo a serem processados. Aponte para este arquivo de texto.	No	true ou false	fileList
Coluna para armazenar o nome do arquivo	armazene o nome do arquivo de origem em uma coluna em seus dados. Insira um novo nome de coluna para armazenar a cadeia de caracteres de nome de arquivo.	Não	String	rowUrlColumn
Após a conclusão	Opte por não fazer nada com o arquivo de origem após a execução de fluxo de dados, excluir o arquivo de origem ou mover o arquivo de origem. Os caminhos para movimentação são relativos.	Não	Excluir: true ou false Mover['<from>', '<to>']	purgeFiles moveFiles
Filtrar pela última modificação	você pode filtrar quais arquivos são processados especificando um intervalo de datas de quando eles foram modificados pela última vez. Todos os datetimes estão em UTC.	Não	Timestamp	modifiedAfter modifiedBefore

Exemplo de script de origem SFTP

Quando você usa um conjunto de dados SFTP como tipo de origem, o script de fluxo de dados associado é:

source(allowSchemaDrift: true,
	validateSchema: false,
	ignoreNoFilesFound: true,
	purgeFiles: true,
	fileList: true,
	modifiedAfter: (toTimestamp(1647388800000L)),
	modifiedBefore: (toTimestamp(1647561600000L)),
	partitionRootPath: 'partdata',
	wildcardPaths:['partdata/**/*.csv']) ~> SFTPSource

Transformação de coletor

A tabela abaixo lista as propriedades com suporte do coletor SFTP. Você pode editar essas propriedades na guia Configurações. Ao usar o conjunto de dados embutido, será possível ver configurações de arquivo adicionais, que são as mesmas das propriedades descritas na seção Propriedades do conjunto de dados.

Nome	Descrição	Obrigatório	Valores permitidos	Propriedade do script do Fluxo de Dados
Limpe a pasta	determina se a pasta de destino é limpa ou não antes de os dados serem gravados.	No	true ou false	truncate
Opção do nome do arquivo	O formato de nomenclatura dos dados gravados. Por padrão, um arquivo por partição no formato part-#####-tid-<guid>.	Não	Padrão: cadeia de caracteres Por partição: cadeia de caracteres [] Nomear arquivo como dados da coluna: Cadeia de caracteres Nomear pasta como dados da coluna: Cadeia de caracteres Saída para arquivo único: ['<fileName>']	filePattern partitionFileNames rowUrlColumn rowFolderUrlColumn partitionFileNames
Citar tudo	Determina se todos os valores devem ser delimitados por aspas.	No	true ou false	quoteAll

Exemplo de script do coletor SFTP

Quando você usa um conjunto de dados SFTP como tipo de coletor, o script de fluxo de dados associado é:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	filePattern:'loans[n].csv',
	truncate: true,
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SFTPSink

Pesquisar propriedades de atividade

Para obter informações sobre as propriedades da atividade de pesquisa, confira Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para obter informações sobre as propriedades da atividade GetMetadata, confira Atividade GetMetadata.

Excluir propriedades da atividade

Para obter informações sobre as propriedades da atividade de exclusão, confira Atividade de exclusão.

Modelos herdados

Observação

Os modelos a seguir ainda têm suporte no estado em que se encontram, para compatibilidade com versões anteriores. É recomendável que você use o novo modelo abordado anteriormente, pois a interface do usuário de criação mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Propriedade	Descrição	Obrigatório
type	A propriedade tipo do conjunto de dados deve ser definida como FileShare.	Sim
folderPath	O caminho para a pasta. Há suporte para um filtro curinga. Os caracteres curinga permitidos são * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único); use ^ para escape se o nome de arquivo real tiver um curinga ou esse caractere interno de escape. Exemplos: rootfolder/subfolder/; veja mais exemplos em Exemplos de filtro de pasta e arquivo.	Sim
fileName	Filtro de nome ou curinga para os arquivos no "folderPath" especificado. Se você não especificar um valor para essa propriedade, o conjunto de dados apontará para todos os arquivos na pasta. Para filtro, os curingas permitidos são * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). – Exemplo 1: "fileName": "*.csv" – Exemplo 2: "fileName": "???20180427.txt" Use ^ como escape se o nome real da pasta tiver curingas ou esse caractere de escape.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo Última Modificação. Os arquivos são selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato 2018-12-01T05:00:00Z. O desempenho geral da movimentação de dados será afetado com a habilitação dessa configuração quando você desejar filtrar grandes quantidades de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver o valor de datetime, mas modifiedDatetimeEnd for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tiver o valor de datetime, mas modifiedDatetimeStart for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for menor que o valor de datetime.	Não
modifiedDatetimeEnd	Os arquivos são filtrados com base no atributo Última Modificação. Os arquivos são selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato 2018-12-01T05:00:00Z. O desempenho geral da movimentação de dados será afetado com a habilitação dessa configuração quando você desejar filtrar grandes quantidades de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver o valor de datetime, mas modifiedDatetimeEnd for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tiver o valor de datetime, mas modifiedDatetimeStart for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for menor que o valor de datetime.	Não
format	Se você quiser copiar arquivos no estado em que se encontram entre repositórios baseados em arquivo (cópia binária), ignore a seção de formato nas definições de conjunto de dados de entrada e de saída. Se você quiser analisar arquivos com um formato específico, há suporte para os seguintes tipos de formatos de arquivo: TextFormat, JsonFormat, AvroFormat, OrcFormat e ParquetFormat. Defina a propriedade type sob formato como um desses valores. Para saber mais, veja as seções Formato de texto, Formato Json, Formato Avro, Formato Orc e Formato Parquet.	Não (somente para o cenário de cópia binária)
compactação	Especifique o tipo e o nível de compactação para os dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação com suporte. Os tipos com suporte são: GZip, Deflate, BZip2 e ZipDeflate. Os níveis de suporte são Ideal e Mais rápido.	Não

Dica

Para copiar todos os arquivos em uma pasta, especifique folderPath somente.
Para copiar um único arquivo com um nome especificado, especifique folderPath com a parte da pasta e fileName com o nome de arquivo.
Para copiar um subconjunto de arquivos em uma pasta, especifique folderPath com a parte da pasta e fileName com o filtro curinga.

Observação

Se você estiver usando a propriedade fileFilter para o filtro de arquivo, ela ainda tem suporte no estado em que se encontra. No entanto, recomendamos usar a partir de agora o novo recurso de filtro adicionado ao fileName.

Exemplo:

{
    "name": "SFTPDataset",
    "type": "Datasets",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<SFTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem de atividade Copy herdado

Propriedade	Descrição	Obrigatório
type	A propriedade tipoda origem da atividade Copy deve ser definida como FileSystemSource	Sim
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursiva for definida como true e o coletor for um armazenamento baseado em arquivo, pastas vazias e subpastas não serão copiadas ou criadas no coletor. Os valores permitidos são true (padrão) e false	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SFTP input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como origens e coletores pela atividade Copy, confira a tabela Armazenamentos de dados com suporte.