Copiar dados do servidor HDFS usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como copiar dados do servidor Hadoop Distributed File System (HDFS). Para saber mais, leia os artigos introdutórios do Azure Data Factory e do Synapse Analytics.

Capacidades suportadas

Este conector HDFS é suportado para as seguintes capacidades:

Capacidades suportadas	IR
Atividade de cópia (fonte/-)	① ②
Atividade de Pesquisa	① ②
Excluir atividade	① ②

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Especificamente, o conector HDFS suporta:

• Copiar ficheiros utilizando o Windows (Kerberos) ou autenticação anónima.
• Copiar ficheiros utilizando o protocolo webhdfs ou suporte DistCp incorporado.
• Copiando arquivos como estão ou analisando ou gerando arquivos com os formatos de arquivo suportados e codecs de compressão.

Pré-requisitos

Se seu armazenamento de dados estiver localizado dentro de uma rede local, uma rede virtual do Azure ou a Amazon Virtual Private Cloud, você precisará configurar um tempo de execução de integração auto-hospedado para se conectar a ele.

Se o seu armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Tempo de Execução de Integração do Azure. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de tempo de execução de integração de rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um tempo de execução de integração auto-hospedado.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

Nota

Certifique-se de que o tempo de execução de integração possa acessar todos os [name node server]:[name node port] e [data node servers]:[data node port] do cluster Hadoop. O padrão [porta do nó do nome] é 50070 e o padrão [porta do nó de dados] é 50075.

Começar

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• A ferramenta Copiar dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• Azure PowerShell
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado ao HDFS usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao HDFS na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

   Fábrica de Dados do Azure

   

   Azure Synapse

   

2. Procure HDFS e selecione o conector HDFS.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas do HDFS.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado HDFS:

Property	Descrição	Obrigatório
tipo	A propriedade type deve ser definida como Hdfs.	Sim
url	O URL para o HDFS	Sim
authenticationType	Os valores permitidos são Anonymous ou Windows. Para configurar seu ambiente local, consulte a seção Usar autenticação Kerberos para o conector HDFS.	Sim
nome de utilizador	O nome de usuário para autenticação do Windows. Para autenticação Kerberos, especifique username>@domain>.com<.<	Sim (para autenticação do Windows)
password	A senha para autenticação do Windows. Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado em um cofre de chaves do Azure.	Sim (para Autenticação do Windows)
ConecteVia	O tempo de execução de integração a ser usado para se conectar ao armazenamento de dados. Para saber mais, consulte a seção Pré-requisitos . Se o tempo de execução de integração não for especificado, o serviço usará o Tempo de Execução de Integração do Azure padrão.	Não

Exemplo: usando a autenticação anônima

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Anonymous",
            "userName": "hadoop"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: usando a autenticação do Windows

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Windows",
            "userName": "<username>@<domain>.com (for Kerberos auth)",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte Conjuntos de dados.

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades são suportadas para HDFS em location configurações no conjunto de dados baseado em formato:

Property	Descrição	Obrigatório
tipo	A propriedade type em location no conjunto de dados deve ser definida como HdfsLocation.	Sim
folderPath	O caminho para a pasta. Se você quiser usar um curinga para filtrar a pasta, ignore essa configuração e especifique o caminho nas configurações da fonte de atividade.	Não
fileName	O nome do arquivo sob o folderPath especificado. Se você quiser usar um curinga para filtrar arquivos, ignore essa configuração e especifique o nome do arquivo nas configurações da fonte de atividade.	Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "HdfsLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte Pipelines e atividades. Esta seção fornece uma lista de propriedades suportadas pela fonte HDFS.

HDFS como fonte

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações baseadas em formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades são suportadas para HDFS em configurações na fonte de cópia baseada em storeSettings formato:

Property	Descrição	Obrigatório
tipo	A propriedade type under storeSettings deve ser definida como HdfsReadSettings.	Sim
Localize os arquivos a serem copiados
OPÇÃO 1: caminho estático	Copie da pasta ou do caminho do arquivo especificado no conjunto de dados. Se você quiser copiar todos os arquivos de uma pasta, especifique wildcardFileName adicionalmente como *.
OPÇÃO 2: curinga - wildcardFolderPath	O caminho da pasta com caracteres curinga para filtrar pastas de origem. Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ para escapar se o nome real da pasta tiver um curinga ou esse caractere de escape dentro. Para obter mais exemplos, consulte Exemplos de filtro de pastas e arquivos.	Não
OPÇÃO 2: curinga - wildcardFileName	O nome do arquivo com caracteres curinga sob o folderPath/wildcardFolderPath especificado para filtrar arquivos de origem. Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único); use ^ para escapar se o nome do arquivo real tiver um curinga ou esse caractere de escape dentro. Para obter mais exemplos, consulte Exemplos de filtro de pastas e arquivos.	Sim
OPÇÃO 3: uma lista de ficheiros - fileListPath	Indica copiar um conjunto de arquivos especificado. Aponte para um arquivo de texto que inclua uma lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados). Ao usar essa opção, não especifique o nome do arquivo no conjunto de dados. Para obter mais exemplos, consulte Exemplos de lista de arquivos.	Não
Definições adicionais
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursive é definido como true e o coletor é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não é copiada ou criada no coletor. Os valores permitidos são true (padrão) e false. Esta propriedade não se aplica quando você configura fileListPatho .	Não
deleteFilesAfterCompletion	Indica se os arquivos binários serão excluídos do armazenamento de origem depois de serem movidos com êxito para o repositório de destino. A exclusão do arquivo é por arquivo, portanto, quando a atividade de cópia falhar, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no armazenamento de origem. Esta propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão: false.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo Última modificação. Os arquivos são selecionados se o tempo da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário UTC no formato 2018-12-01T05 :00:00Z. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tem um valor datetime, mas modifiedDatetimeEnd é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados. Esta propriedade não se aplica quando você configura fileListPatho .	Não
modifiedDatetimeEnd	Mesmo que acima.
enablePartitionDiscovery	Para arquivos particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais. Os valores permitidos são false (padrão) e true.	Não
partitionRootPath	Quando a descoberta de partições estiver habilitada, especifique o caminho raiz absoluto para ler pastas particionadas como colunas de dados. Se não for especificado, por padrão, - Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho da raiz da partição é o caminho configurado no conjunto de dados. - Quando você usa o filtro de pasta curinga, o caminho da raiz da partição é o subcaminho antes do primeiro curinga. Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27": - Se você especificar o caminho da raiz da partição como "root/folder/year=2020", a atividade de cópia gerará mais duas colunas e com o valor "08" e day "27", respectivamente, além das colunas month dentro dos arquivos. - Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.	Não
Configurações do DistCp
distcpSettings	O grupo de propriedades a ser usado quando você usa o HDFS DistCp.	Não
resourceManagerEndpoint	O ponto de extremidade YARN (Yet Another Resource Negotiator)	Sim, se estiver usando o DistCp
tempScriptPath	Um caminho de pasta usado para armazenar o script de comando temp DistCp. O arquivo de script é gerado e será removido após a conclusão do trabalho de cópia.	Sim, se estiver usando o DistCp
distcpOptions	Opções adicionais fornecidas ao comando DistCp.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromHDFS",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "HdfsReadSettings",
                    "recursive": true,
                    "distcpSettings": {
                        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
                        "tempScriptPath": "/usr/hadoop/tempscript",
                        "distcpOptions": "-m 100"
                    }
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exemplos de filtros de pastas e ficheiros

Esta seção descreve o comportamento resultante se você usar um filtro curinga com o caminho da pasta e o nome do arquivo.

folderPath	fileName	recursiva	Estrutura da pasta de origem e resultado do filtro (arquivos em negrito são recuperados)
Folder*	(vazio, use padrão)	false	PastaA     Ficheiro1.csv     Arquivo2.json     Subpasta1         Ficheiro3.csv         Arquivo4.json         Ficheiro5.csv OutraPastaB     Ficheiro6.csv
Folder*	(vazio, use padrão)	verdadeiro	PastaA     Ficheiro1.csv     Arquivo2.json     Subpasta1         Ficheiro3.csv         Arquivo4.json         Ficheiro5.csv OutraPastaB     Ficheiro6.csv
Folder*	*.csv	false	PastaA     Ficheiro1.csv     Arquivo2.json     Subpasta1         Ficheiro3.csv         Arquivo4.json         Ficheiro5.csv OutraPastaB     Ficheiro6.csv
Folder*	*.csv	verdadeiro	PastaA     Ficheiro1.csv     Arquivo2.json     Subpasta1         Ficheiro3.csv         Arquivo4.json         Ficheiro5.csv OutraPastaB     Ficheiro6.csv

Exemplos de lista de ficheiros

Esta seção descreve o comportamento resultante do uso de um caminho de lista de arquivos na fonte de atividade Copiar. Ele pressupõe que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos que estão em negrito:

Estrutura de origem da amostra	Conteúdo em FileListToCopy.txt	Configuração
raiz     PastaA         Ficheiro1.csv         Arquivo2.json         Subpasta1             Ficheiro3.csv             Arquivo4.json             Ficheiro5.csv     Metadados         FileListToCopy.txt	Ficheiro1.csv Subpasta1/Ficheiro3.csv Subpasta1/Ficheiro5.csv	No conjunto de dados: - Caminho da pasta: root/FolderA Na fonte da atividade Copiar: - Caminho da lista de arquivos: root/Metadata/FileListToCopy.txt O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui uma lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados).

Use o DistCp para copiar dados do HDFS

O DistCp é uma ferramenta de linha de comando nativa do Hadoop para fazer uma cópia distribuída em um cluster Hadoop. Quando você executa um comando no DistCp, ele primeiro lista todos os arquivos a serem copiados e, em seguida, cria vários trabalhos de mapa no cluster Hadoop. Cada trabalho de mapa faz uma cópia binária da origem para o coletor.

A atividade Copiar dá suporte ao uso do DistCp para copiar arquivos como está no armazenamento de Blob do Azure (incluindo cópia em estágios) ou em um repositório de data lake do Azure. Nesse caso, o DistCp pode aproveitar o poder do cluster em vez de ser executado no tempo de execução de integração auto-hospedado. O uso do DistCp fornece uma melhor taxa de transferência de cópia, especialmente se o cluster for muito poderoso. Com base na configuração, a atividade Copiar constrói automaticamente um comando DistCp, envia-o para o cluster Hadoop e monitora o status da cópia.

Pré-requisitos

Para usar o DistCp para copiar arquivos como está do HDFS para o armazenamento de Blob do Azure (incluindo cópia em estágios) ou para o repositório do data lake do Azure, verifique se o cluster Hadoop atende aos seguintes requisitos:

• Os serviços MapReduce e YARN estão habilitados.

• A versão YARN é 2.5 ou posterior.

• O servidor HDFS está integrado com o armazenamento de dados de destino: armazenamento de Blob do Azure ou Repositório Azure Data Lake (ADLS Gen1):

  • O Azure Blob FileSystem tem suporte nativo desde o Hadoop 2.7. Você só precisa especificar o caminho JAR na configuração do ambiente Hadoop.
  • O Sistema de Arquivos do Repositório Azure Data Lake é empacotado a partir do Hadoop 3.0.0-alpha1. Se sua versão do cluster Hadoop for anterior a essa versão, você precisará importar manualmente pacotes JAR relacionados ao Azure Data Lake Store (azure-datalake-store.jar) para o cluster a partir daqui e especificar o caminho do arquivo JAR na configuração do ambiente Hadoop.

• Prepare uma pasta temporária no HDFS. Essa pasta temporária é usada para armazenar um shell script DistCp, portanto, ocupará espaço no nível KB.

• Verifique se a conta de usuário fornecida no serviço vinculado do HDFS tem permissão para:

  • Submeter uma candidatura em YARN.
  • Crie uma subpasta e arquivos de leitura/gravação na pasta temp.

Configurações

Para obter exemplos e configurações relacionadas ao DistCp, vá para a seção HDFS como origem .

Usar autenticação Kerberos para o conector HDFS

Há duas opções para configurar o ambiente local para usar a autenticação Kerberos para o conector HDFS. Você pode escolher o que melhor se adapta à sua situação.

• Opção 1: Ingressar em uma máquina de tempo de execução de integração auto-hospedada no realm Kerberos
• Opção 2: Habilitar a confiança mútua entre o domínio do Windows e o realm Kerberos

Para qualquer uma das opções, certifique-se de ativar o webhdfs para cluster Hadoop:

1. Crie a entidade HTTP e o keytab para webhdfs.

   Importante

   A entidade de Kerberos HTTP deve começar com "HTTP/" de acordo com a especificação Kerberos HTTP SPNEGO. Saiba mais aqui.

   Kadmin> addprinc -randkey HTTP/<namenode hostname>@<REALM.COM>
   Kadmin> ktadd -k /etc/security/keytab/spnego.service.keytab HTTP/<namenode hostname>@<REALM.COM>
   

2. Opções de configuração do HDFS: adicione as três propriedades a seguir no hdfs-site.xml.

   <property>
       <name>dfs.webhdfs.enabled</name>
       <value>true</value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.principal</name>
       <value>HTTP/_HOST@<REALM.COM></value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.keytab</name>
       <value>/etc/security/keytab/spnego.service.keytab</value>
   </property>
   

Opção 1: Ingressar em uma máquina de tempo de execução de integração auto-hospedada no realm Kerberos

Requisitos

• A máquina de tempo de execução de integração auto-hospedada precisa ingressar no realm Kerberos e não pode ingressar em nenhum domínio do Windows.

Como configurar

No servidor KDC:

Crie uma entidade de segurança e especifique a senha.

Importante

O nome de usuário não deve conter o nome do host.

Kadmin> addprinc <username>@<REALM.COM>

Na máquina de tempo de execução de integração auto-hospedada:

1. Execute o utilitário Ksetup para configurar o servidor e o território do Centro de Distribuição de Chaves Kerberos (KDC).

   A máquina deve ser configurada como membro de um grupo de trabalho, porque um realm Kerberos é diferente de um domínio do Windows. Você pode obter essa configuração definindo o realm Kerberos e adicionando um servidor KDC executando os seguintes comandos. Substitua REALM.COM pelo seu próprio nome de reino.

   C:> Ksetup /setdomain REALM.COM
   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   

   Depois de executar esses comandos, reinicie o computador.

2. Verifique a configuração com o Ksetup comando. A saída deve ser como:

   C:> Ksetup
   default realm = REALM.COM (external)
   REALM.com:
       kdc = <your_kdc_server_address>
   

No seu data factory ou espaço de trabalho Synapse:

• Configure o conector HDFS usando a autenticação do Windows juntamente com o nome principal e a senha do Kerberos para se conectar à fonte de dados HDFS. Para obter detalhes de configuração, verifique a seção de propriedades do serviço vinculado HDFS.

Opção 2: Habilitar a confiança mútua entre o domínio do Windows e o realm Kerberos

Requisitos

• A máquina de tempo de execução de integração auto-hospedada deve ingressar em um domínio do Windows.
• Você precisa de permissão para atualizar as configurações do controlador de domínio.

Como configurar

Nota

Substitua REALM.COM e AD.COM no tutorial a seguir por seu próprio nome de território e controlador de domínio.

No servidor KDC:

1. Edite a configuração do KDC no arquivo krb5.conf para permitir que o KDC confie no domínio do Windows consultando o seguinte modelo de configuração. Por padrão, a configuração está localizada em /etc/krb5.conf.

   [logging]
    default = FILE:/var/log/krb5libs.log
    kdc = FILE:/var/log/krb5kdc.log
    admin_server = FILE:/var/log/kadmind.log
   
   [libdefaults]
    default_realm = REALM.COM
    dns_lookup_realm = false
    dns_lookup_kdc = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true
   
   [realms]
    REALM.COM = {
     kdc = node.REALM.COM
     admin_server = node.REALM.COM
    }
   AD.COM = {
    kdc = windc.ad.com
    admin_server = windc.ad.com
   }
   
   [domain_realm]
    .REALM.COM = REALM.COM
    REALM.COM = REALM.COM
    .ad.com = AD.COM
    ad.com = AD.COM
   
   [capaths]
    AD.COM = {
     REALM.COM = .
    }
   

   Depois de configurar o arquivo, reinicie o serviço KDC.

2. Prepare uma entidade chamada krbtgt/REALM.COM@AD.COM no servidor KDC com o seguinte comando:

   Kadmin> addprinc krbtgt/REALM.COM@AD.COM
   

3. No hadoop.security.auth_to_local arquivo de configuração do serviço HDFS, adicione RULE:[1:$1@$0](.*\@AD.COM)s/\@.*//.

No controlador de domínio:

1. Execute os seguintes Ksetup comandos para adicionar uma entrada de realm:

   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
   

2. Estabeleça confiança do domínio do Windows para o domínio Kerberos. [password] é a palavra-passe do krbtgt /REALM.COM@AD.COM.

   C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]
   

3. Selecione o algoritmo de criptografia usado no Kerberos.

   a. Selecione Domínio de Gerenciamento de Política de Grupo do Gerenciador>do Servidor, Objetos>de Política de Grupo>Padrão ou Diretiva de>Domínio Ativo e selecione Editar.

   b. No painel Editor de Gerenciamento de Diretiva de Grupo, selecione Diretivas de Configuração do Computador, Configurações>do>Windows, Configurações>de Segurança, Opções de Segurança de Políticas>Locais e configure Segurança de rede: Configurar tipos de criptografia permitidos>para Kerberos.

   c. Selecione o algoritmo de criptografia que deseja usar quando se conectar ao servidor KDC. Você pode selecionar todas as opções.

   

   d. Use o comando para especificar o Ksetup algoritmo de criptografia a ser usado no território especificado.

   C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96
   

4. Crie o mapeamento entre a conta de domínio e a entidade de segurança Kerberos, para que você possa usar a entidade Kerberos no domínio do Windows.

   a. Selecione Ferramentas administrativas>Usuários e Computadores do Ative Directory.

   b. Configure recursos avançados selecionando Exibir>recursos avançados.

   c. No painel Recursos Avançados, clique com o botão direito do mouse na conta para a qual deseja criar mapeamentos e, no painel Mapeamentos de Nome, selecione a guia Nomes Kerberos.

   d. Adicione uma entidade do reino.

   

Na máquina de tempo de execução de integração auto-hospedada:

• Execute os seguintes Ksetup comandos para adicionar uma entrada de realm.

  C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
  C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
  

No seu data factory ou espaço de trabalho Synapse:

• Configure o conector HDFS usando a autenticação do Windows juntamente com sua conta de domínio ou entidade Kerberos para se conectar à fonte de dados HDFS. Para obter detalhes de configuração, consulte a seção Propriedades do serviço vinculado HDFS.

Propriedades da atividade de pesquisa

Para obter informações sobre as propriedades da atividade de pesquisa, consulte Atividade de pesquisa.

Excluir propriedades de atividade

Para obter informações sobre Excluir propriedades de atividade, consulte Excluir atividade.

Modelos antigos

Nota

Os seguintes modelos ainda são suportados, assim como para compatibilidade com versões anteriores. Recomendamos que você use o novo modelo discutido anteriormente, porque a interface do usuário de criação mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Property	Descrição	Obrigatório
tipo	A propriedade type do conjunto de dados deve ser definida como FileShare	Sim
folderPath	O caminho para a pasta. Há suporte para um filtro curinga. Os curingas permitidos são * (corresponde a zero ou mais caracteres) e (corresponde a zero ou a um único caractere); use ^ para escapar se o nome do arquivo real tiver um curinga ou esse caractere ? de escape dentro. Exemplos: rootfolder/subfolder/, veja mais exemplos em Exemplos de filtros de pastas e ficheiros.	Sim
fileName	O nome ou filtro curinga para os arquivos sob o especificado "folderPath". Se você não especificar um valor para essa propriedade, o conjunto de dados apontará para todos os arquivos na pasta. Para filtro, os curingas permitidos são * (corresponde a zero ou mais caracteres) e (corresponde a zero ou a um único caractere ? ). - Exemplo 1: "fileName": "*.csv" - Exemplo 2: "fileName": "???20180427.txt" Use ^ para escapar se o nome real da pasta tiver um curinga ou esse caractere de escape dentro.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo Última modificação. Os arquivos são selecionados se o tempo da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário UTC no formato 2018-12-01T05:00:00Z. Lembre-se de que o desempenho geral da movimentação de dados será afetado ao habilitar essa configuração quando você quiser aplicar um filtro de arquivo a um grande número de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tem um valor datetime, mas modifiedDatetimeEnd é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados.	Não
modifiedDatetimeEnd	Os arquivos são filtrados com base no atributo Última modificação. Os arquivos são selecionados se o tempo da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário UTC no formato 2018-12-01T05:00:00Z. Lembre-se de que o desempenho geral da movimentação de dados será afetado ao habilitar essa configuração quando você quiser aplicar um filtro de arquivo a um grande número de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando modifiedDatetimeStart tem um valor datetime, mas modifiedDatetimeEnd é NULL, isso significa que os arquivos cujo último atributo modificado é maior ou igual ao valor datetime são selecionados. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, isso significa que os arquivos cujo último atributo modificado é menor que o valor datetime são selecionados.	Não
format	Se você quiser copiar arquivos como está entre armazenamentos baseados em arquivo (cópia binária), ignore a seção de formato nas definições de conjunto de dados de entrada e saída. Se você quiser analisar arquivos com um formato específico, os seguintes tipos de formato de arquivo são suportados: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Defina a propriedade type em format como um desses valores. Para obter mais informações, consulte as seções Formato de texto, Formato JSON, Formato Avro, Formato ORC e Formato Parquet.	Não (apenas para o cenário de cópia binária)
compressão	Especifique o tipo e o nível de compactação dos dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação suportados. Os tipos suportados são: Gzip, Deflate, Bzip2 e ZipDeflate. Os níveis suportados são: Ótimo e Mais Rápido.	Não

Gorjeta

Para copiar todos os arquivos em uma pasta, especifique somente folderPath .
Para copiar um único arquivo com um nome especificado, especifique folderPath com parte da pasta e fileName com nome de arquivo.
Para copiar um subconjunto de arquivos em uma pasta, especifique folderPath com parte da pasta e fileName com filtro curinga.

Exemplo:

{
    "name": "HDFSDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem da atividade de cópia herdada

Property	Descrição	Obrigatório
tipo	A propriedade type da fonte de atividade Copy deve ser definida como HdfsSource.	Sim
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursivo é definido como true e o coletor é um armazenamento baseado em arquivo, uma pasta ou subpasta vazia não será copiada ou criada no coletor. Os valores permitidos são true (padrão) e false.	Não
distcpSettings	O grupo de propriedades quando você estiver usando o HDFS DistCp.	Não
resourceManagerEndpoint	O ponto de extremidade do YARN Resource Manager	Sim, se estiver usando o DistCp
tempScriptPath	Um caminho de pasta usado para armazenar o script de comando temp DistCp. O arquivo de script é gerado e será removido após a conclusão do trabalho de cópia.	Sim, se estiver usando o DistCp
distcpOptions	Opções adicionais são fornecidas para o comando DistCp.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.	Não

Exemplo: Origem do HDFS na atividade de cópia usando o DistCp

"source": {
    "type": "HdfsSource",
    "distcpSettings": {
        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
        "tempScriptPath": "/usr/hadoop/tempscript",
        "distcpOptions": "-m 100"
    }
}

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade Copiar, consulte Armazenamentos de dados suportados.