Configurar o Azure Data Lake Storage Gen2 em uma atividade de cópia

Esse artigo descreve como usar a atividade de cópia no pipeline de dados para copiar dados de e para o Azure Data Lake Storage Gen2.

Formato compatível

Azure Data Lake Storage Gen2 dá suporte aos seguintes formatos de arquivo. Confira cada artigo para obter configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato do Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

Configuração com suporte

Para a configuração de cada guia em atividade de cópia, vá para as seções a seguir, respectivamente.

• Geral
• Origem
• Destino
• Mapeamento
• Configurações

Geral

Consulte as diretrizes de Configurações Geraispara definir a guia Configurações Gerais.

Origem

As propriedades a seguir têm suporte para o Azure Data Lake Storage Gen2 na guia Origem de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Tipo de armazenamento de dados: selecione Externo.

• Conexão: selecione uma conexão do Azure Data Lake Storage Gen2 na lista de conexões. Se não houver uma conexão, crie uma nova conexão do Azure Data Lake Storage Gen2 selecionando Novo.

• Tipo de conexão: selecione Azure Data Lake Storage Gen2.

• Tipo de caminho do arquivo: escolha Caminho do arquivo, Caminho do arquivo curinga ou Lista de arquivos como tipo de caminho do arquivo. A configuração de cada uma dessas configurações é:

  • Caminho do arquivo: se você escolher esse tipo, os dados poderão ser copiados do contêiner ou caminho de pasta/arquivo especificado anteriormente.

  • Caminho de arquivo curinga: se você escolher esse tipo, especifique os caminhos do Sistema de arquivo e do Curinga.

    • Sistema de arquivos: o nome do sistema de arquivos do Data Lake Storage Gen2.

    • Caminhos do arquivo curinga: especifique a pasta ou o caminho do arquivo com caracteres curinga no sistema de arquivos especificado para filtrar pastas ou arquivos de origem.

      Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome real da pasta tiver curingas ou esse caractere de escape. Para mais exemplos, consulte Exemplos de filtro de pastas e arquivos.

      

      • Caminho da pasta curinga: Especifique o caminho da pasta com caracteres curinga no sistema de arquivos especificado para filtrar as pastas de origem.

      • Nome do arquivo curinga: especifique o nome do arquivo com caracteres curinga no sistema de arquivos + caminho da pasta (ou caminho da pasta curinga) especificados para filtrar os arquivos de origem.

  • Lista de arquivos: indica que você deseja copiar um determinado conjunto de arquivos. Especifique o Caminho da pasta e o Caminho para lista de arquivos, para apontar a um arquivo de texto que inclui uma lista de arquivos a ser copiada, um arquivo por linha, que é o caminho relativo para o caminho. Para mais exemplos, vá para Exemplos de lista de arquivos.

    

    • Caminho da pasta: especifique o caminho para uma pasta no sistema de arquivos especificado. É obrigatório.

    • Caminho para a lista de arquivos: especifique o caminho do arquivo de texto que inclui uma lista de arquivos que você deseja copiar.

• Recursivamente: especifique se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Observe que quando Recursivamente está marcado e o destino é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não é copiada ou criada no destino. Essa propriedade é selecionada por padrão e não se aplica ao configurar o Caminho para a lista de arquivos.

• Formato do arquivo: selecione o formato do arquivo na lista suspensa. Selecione Configurações para configurar o formato de arquivo. Para configurações de diferentes formatos de arquivo, confira artigos em Formato com suporte para obter informações detalhadas.

Em Avançado, você pode especificar os seguintes campos:

• Filtrar pela última modificação: os arquivos são filtrados com base nas datas da última modificação. Essa propriedade não se aplica ao configurar o tipo de caminho de arquivo como Lista de arquivos.

  • Hora de início (UTC): Os arquivos serão selecionados se a hora da última modificação for maior ou igual à hora configurada.

  • Hora de término (UCT): Os arquivos serão selecionados se a hora da última modificação for menor que a hora configurada.

  Quando a Hora de início (UTC) tem valor de data e hora, mas a Hora de término (UTC) é NULA, isso significa que os arquivos cujo atributo de última modificação é maior ou igual ao valor de data e hora serão selecionados. Quando a Hora de término (UTC) tem valor de data e hora, mas a Hora de início (UTC) é NULA, isso significa que os arquivos cujo atributo de última modificação é menor que o valor de data e hora serão selecionados. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado aos dados.

• Ativar descoberta de partição: Especifique se você deve analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais. Ele não é selecionado por padrão e não tem suporte quando você usa o formato de arquivo binário.

  • Caminho da raiz da partição: quando a descoberta da partição estiver habilitada, especifique o caminho da raiz absoluta para ler as pastas particionadas como colunas de dados.

    Se ele não for especificado, por padrão ocorrerá o seguinte:

    • Quando você usa o caminho do arquivo ou a lista de arquivos na origem, o caminho da raiz da partição é o caminho que você configurou.
    • Quando você usa o filtro de pasta curinga, o caminho raiz da partição é o subcaminho antes do primeiro curinga.

    Por exemplo, supondo que você configure o caminho como root/folder/year=2020/month=08/day=27:

    • Se você especificar o caminho da raiz da partição como root/folder/year=2020, a atividade de cópia gerará mais duas colunas de mês e dia com os valores "08" e "27", respectivamente, além das colunas dentro dos arquivos.
    • Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.

  

• Máximo de conexões simultâneas: essa propriedade indica o limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.

• Colunas adicionais: adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último.

Destino

As propriedades a seguir têm suporte para o Azure Data Lake Storage Gen2 na guia Destino de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Tipo de armazenamento de dados: selecione Externo.
• Conexão: selecione uma conexão do Azure Data Lake Storage Gen2 na lista de conexões. Se não houver uma conexão, crie uma nova conexão do Azure Data Lake Storage Gen2 selecionando Novo.
• Tipo de conexão: selecione Azure Data Lake Storage Gen2.
• Caminho do arquivo: Selecione Procurar para escolher o arquivo que deseja copiar ou preencha o caminho manualmente.
• Formato do arquivo: selecione o formato do arquivo na lista suspensa. Selecione Configurações para configurar o formato de arquivo. Para configurações de diferentes formatos de arquivo, confira artigos em Formato com suporte para obter informações detalhadas.

Em Avançado, você pode especificar os seguintes campos:

• Comportamento da cópia: define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo. Escolha um comportamento na lista suspensa.

  

  • Flatten hierarchy: todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm nomes gerados automaticamente.
  • MergeFiles: Mescla todos os arquivos da pasta de origem em um único arquivo. Se o nome do arquivo for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, é um nome de arquivo gerado automaticamente.
  • Preservar hierarquia: preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino.

• Máximo de conexões simultâneas: o limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.

• Tamanho do bloco (MB): especifique o tamanho do bloco em MB usado para gravar dados no Azure Data Lake Storage Gen2. Para obter mais informações, consulte Blobs de Bloco. O valor permitido é entre 4 MB e 100 MB.

  Por padrão, o tamanho do bloco é determinado automaticamente com base no tipo de armazenamento de origem e nos dados. Para cópia não binária no Azure Data Lake Storage Gen2, o tamanho de bloco padrão é 100 MB para que caiba, no máximo, aproximadamente 4,75 TB de dados. Isso pode não ser ideal quando seus dados não são grandes. Você pode especificar explicitamente um tamanho de bloco, mas verifique se o Tamanho do bloco (MB)*50000 é grande o suficiente para armazenar os dados; caso contrário, haverá falha na execução da atividade de cópia.

• Metadados: defina metadados personalizados ao copiar para um destino. Cada objeto sob a matriz metadata representa uma coluna extra. O name define o nome chave dos metadados e value indica o valor de dados dessa chave. Se o recurso de preservação de atributos for usado, os metadados especificados serão unidos/sobrescritos com os metadados do arquivo de origem.

  Os valores de dados permitidos são:

  • $$LASTMODIFIED: uma variável reservada indica para armazenar a hora da última modificação dos arquivos de origem. Aplicar a uma origem baseada em arquivo apenas com um formato binário.
  • Expressão
  • Valor estático

  

Mapeamento

Para Configuração da guia Mapeamento, acesseConfigurar seus mapeamentos na guia mapeamento. Se você escolher Binário como o formato de arquivo, não há suporte para o mapeamento.

Configurações

Para configuração da guia Configurações, acesse Definir suas outras configurações na guia configurações.

Resumo da tabela

As tabelas a seguir contêm mais informações sobre a atividade de cópia no Azure Data Lake Storage Gen2.

Informações de origem

Nome	Descrição	Valor	Obrigatório	Propriedade de script JSON
Tipo de armazenamento de dados	Seu tipo de armazenamento de dados.	Externo	Yes	/
Conexão	Sua conexão com o armazenamento de dados de origem.	<sua conexão do Azure Data Lake Storage Gen2>	Sim	connection
Tipo de conexão	Seu tipo de conexão. Escolha Azure Data Lake Storage Gen2.	Azure Data Lake Storage Gen2	Sim	/
Tipo de caminho de arquivo	O tipo de caminho de arquivo que você deseja usar.	• Caminho do arquivo • Caminho da pasta curinga, nome do arquivo curinga •Lista de arquivos	Sim	• folderPath, fileName, fileSystem • wildcardFolderPath, wildcardFileName, fileSystem • folderPath, fileName, fileListPath
Recursivamente	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Observe que quando Recursivamente está marcado e o destino é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não é copiada ou criada no destino. Essa propriedade não se aplica ao configurar o Caminho para a lista de arquivos.	selecionado (padrão) ou não selecionado	Não	recursiva
Filtrar pela última modificação	Os arquivos com a última hora de modificação no intervalo [Hora de início, Hora de término] serão filtrados para processamento posterior. A hora será aplicada ao fuso horário UTC no formato de yyyy-mm-ddThh:mm:ss.fffZ. Essas propriedades podem ser ignoradas, o que significa que nenhum filtro de atributo de arquivo será aplicado. Essa propriedade não se aplica ao configurar o tipo de caminho de arquivo como Lista de arquivos.	datetime	Não	modifiedDatetimeStart modifiedDatetimeEnd
Habilitar descoberta de partição	Indica se você deve analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais.	selecionado ou não selecionado (padrão)	Não	enablePartitionDiscovery: true ou false (padrão)
Caminho raiz da partição	Quando a descoberta de partição estiver habilitada, especifique o caminho raiz absoluto para ler as pastas particionadas como colunas de dados.	< seu caminho raiz da partição >	Não	partitionRootPath
Máximo de conexões simultâneas	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	<Máximo de conexões simultâneas>	Não	maxConcurrentConnections
Colunas adicionais	Adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último.	• Nome • Valor	Não	additionalColumns: • nome • valor

Informações de destino

Nome	Descrição	Valor	Obrigatório	Propriedade de script JSON
Tipo de armazenamento de dados	Seu tipo de armazenamento de dados.	Externo	Yes	/
Conexão	Sua conexão com o armazenamento de dados de destino.	<sua conexão do Azure Data Lake Storage Gen2>	Sim	connection
Tipo de conexão	Seu tipo de conexão. Escolha Azure Data Lake Storage Gen2.	Azure Data Lake Storage Gen2	Sim	/
Caminho do arquivo	O caminho do arquivo dos dados de destino.	< seu caminho de arquivo >	Sim	folderPath, fileName, fileSystem
Comportamento da cópia	Define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo.	• Nivelar hierarquia • Mesclar arquivos • Preservar hierarquia	Não	copyBehavior: • FlattenHierarchy • MergeFiles • PreserveHierarchy
Máximo de conexões simultâneas	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	<Máximo de conexões simultâneas>	Não	maxConcurrentConnections
Tamanho do bloco (MB)	Especifique o tamanho do bloco em MB ao gravar dados no Azure Data Lake Storage Gen2. O valor permitido é entre 4 MB e 100 MB.	<tamanho do bloco>	Não	blockSizeInMB
Metadados	Defina os metadados personalizados ao copiar para o destino.	• $$LASTMODIFIED • Expressão • Valor estático	Não	metadata

Conteúdo relacionado

• Configurar sua conexão do Azure Data Lake Storage Gen2