Copiar dados do servidor HDFS utilizando o Azure Data Factory ou Synapse Analytics

Artigo
10/20/2023

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como copiar dados do servidor do HDFS (Sistema de Arquivos Distribuído Hadoop). Para saber mais, leia o artigo introdutório do Azure Data Factory e do Synapse Analytics.

Funcionalidades com suporte

Há suporte para este conector do HDFS para as seguintes funcionalidades:

Funcionalidades com suporte	IR
Atividade de cópia (origem/-)	① ②
Atividade de pesquisa	① ②
Excluir atividade	① ②

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Especificamente, o conector HDFS dá suporte a:

Cópia de arquivos usando autenticação Windows (Kerberos) ou Anônima.
Cópia de arquivos usando o protocolo webhdfs ou suporte à DistCp interna.
Cópia de arquivos no estado em que se encontram ou análise ou geração de arquivos com os formatos de arquivo e codecs de compactação com suporte.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito aos IPs que estão aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de runtime de integração da rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

Observação

Verifique se o runtime de integração pode acessar todos os [servidor de nó de nome]: [porta do nó de nome] e [servidores de nó de dados]:[porta do nó de dados] do cluster Hadoop. A [porta do nó de nome] padrão é 50070 e a [porta do nó de dados] padrão é 50075.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

Criar um serviço vinculado ao HDFS usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao HDFS na interface do usuário do portal do Microsoft Azure.

Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou do Synapse e selecione Serviços Vinculados, em seguida, clique em Novo:
- Azure Data Factory
- Azure Synapse
Pesquise HDFS e selecione o conector HDFS.
Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

Detalhes da configuração do conector

As seções que se seguem fornecem detalhes sobre as propriedades que são usadas para definir entidades do Data Factory específicas ao HDFS.

Propriedades do serviço vinculado

As propriedades a seguir têm suporte para o serviço vinculado do HDFS:

Propriedade	Descrição	Obrigatório
type	A propriedade type deve ser definida como Hdfs.	Sim
url	A URL para o HDFS	Sim
authenticationType	Os valores permitidos são Anônima ou Windows. Para configurar o ambiente local, confira a seção Usar autenticação Kerberos para o conector HDFS.	Sim
userName	O nome de usuário para a autenticação do Windows. Para a autenticação Kerberos, especifique <username>@<domain>.com.	Sim (para a autenticação do Windows)
password	A senha para a autenticação do Windows. Marque esse campo como SecureString para armazená-lo com segurança ou referencie um segredo armazenado em um cofre de chaves do Azure.	Sim (para a Autenticação do Windows)
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Para saber mais, confira a seção Pré-requisitos. Se o runtime de integração não for especificado, o serviço usará o Azure Integration Runtime padrão.	Não

Exemplo: usando a autenticação anônima

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Anonymous",
            "userName": "hadoop"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: usando a autenticação do Windows

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Windows",
            "userName": "<username>@<domain>.com (for Kerberos auth)",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades que estão disponíveis para definir conjuntos de dados, consulte Conjuntos de Dados.

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As seguintes propriedades são suportadas para o HDFS nas configurações de location no conjunto de dados baseado no formato:

Propriedade	Descrição	Obrigatório
type	A propriedade type sob `location` no conjunto de dados deve ser definida como HdfsLocation.	Sim
folderPath	O caminho para a pasta. Se quiser usar um caractere curinga para filtrar a pasta, ignore essa configuração e especifique o caminho nas configurações de origem da atividade.	Não
fileName	O nome do arquivo sob o folderPath especificado. Se quiser usar um caractere curinga para filtrar os arquivos, ignore essa configuração e especifique o nome do arquivo nas configurações de origem da atividade.	Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "HdfsLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir as atividades, confira Pipelines e atividades. Esta seção fornece uma lista das propriedades com suporte pela fonte HDFS.

HDFS como fonte

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As seguintes propriedades têm suporte para HDFS nas configurações de storeSettings na origem de cópia baseada em formato:

Propriedade	Descrição	Obrigatório
type	A propriedade type em `storeSettings` deve ser definida como HdfsReadSettings.	Sim
Localize os arquivos a serem copiados
OPÇÃO 1: caminho estático	Copie do caminho de pasta ou arquivo especificado no conjunto de dados. Se quiser copiar todos os arquivos de uma pasta, especifique também `wildcardFileName` como `*`.
OPÇÃO 2: curinga - wildcardFolderPath	O caminho da pasta com caracteres curinga para filtrar as pastas de origem. Os curingas permitidos são: `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou caractere único). Use `^` como escape se o nome real da pasta tiver um caractere curinga ou esse caractere interno de escape. Para mais exemplos, confira Exemplos de filtro de pastas e arquivos.	Não
OPÇÃO 2: curinga - wildcardFileName	O nome do arquivo com caracteres curinga sob o folderPath/wildcardFolderPath especificado para filtrar os arquivos de origem. Os curingas permitidos são: `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou caractere único); use `^` para escape se o nome de arquivo real tiver um caractere curinga ou esse caractere interno de escape. Para mais exemplos, confira Exemplos de filtro de pastas e arquivos.	Sim
OPÇÃO 3: uma lista de arquivos - fileListPath	Indica a cópia de um conjunto de arquivos especificado. Aponte para um arquivo de texto que inclui a lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados). Ao usar essa opção, não especifique um nome de arquivo no conjunto de dados. Para mais exemplos, confira Exemplos de lista de arquivos.	Não
Configurações adicionais
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando `recursive` é definido como true e o coletor é um repositório baseado em arquivo, uma pasta vazia ou subpasta não é copiada ou criada no coletor. Os valores permitidos são true (padrão) e false. Essa propriedade não se aplica quando você configura `fileListPath`.	Não
deleteFilesAfterCompletion	Indica se os arquivos binários serão excluídos do repositório de origem após a movimentação com êxito para o repositório de destino. A exclusão do arquivo é feita por arquivo, portanto, quando a atividade de cópia falhar, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no repositório de origem. Essa propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão é false.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo Última Modificação. Os arquivos são selecionados se a hora da última modificação for maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário de UTC no formato 2018-12-01T05:00:00Z. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tiver o valor de datetime, mas `modifiedDatetimeEnd` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando `modifiedDatetimeEnd` tiver o valor de datetime, mas `modifiedDatetimeStart` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for menor que o valor de datetime. Essa propriedade não se aplica quando você configura `fileListPath`.	Não
modifiedDatetimeEnd	Mesmo que acima.
enablePartitionDiscovery	Para arquivos que são particionados, especifique se deseja analisar as partições do caminho do arquivo e adicioná-las como colunas de origem adicionais. Os valores permitidos são false (padrão) e true.	No
partitionRootPath	Quando a descoberta de partição estiver habilitada, especifique o caminho raiz absoluto para ler as pastas particionadas como colunas de dados. Se ele não for especificado, por padrão ocorrerá o seguinte: – Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho raiz da partição é o caminho configurado no conjunto de dados. – Quando você usa o filtro de pasta curinga, o caminho raiz da partição é o subcaminho antes do primeiro curinga. Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27": – Se você especifica o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gera mais duas colunas `month` e `day` com o valor "08" e "27", respectivamente, além das colunas dentro dos arquivos. – Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	Não
Configurações do DistCp
distcpSettings	O grupo de propriedades a ser usado ao usar o DistCp do HDFS.	Não
resourceManagerEndpoint	O ponto de extremidade YARN (outro negociador de recursos)	Sim, se usar DistCp
tempScriptPath	Um caminho de pasta usado para armazenar o script de comando temporário DistCp. O arquivo de script é gerado e será removido após a conclusão do trabalho de cópia.	Sim, se usar DistCp
distcpOptions	Opções adicionais fornecidas ao comando DistCp.	Não

Exemplo:

"activities":[
    {
        "name": "CopyFromHDFS",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "HdfsReadSettings",
                    "recursive": true,
                    "distcpSettings": {
                        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
                        "tempScriptPath": "/usr/hadoop/tempscript",
                        "distcpOptions": "-m 100"
                    }
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exemplos de filtro de pasta e arquivo

Esta seção descreve o comportamento resultante se você usar um filtro curinga com o caminho da pasta e o nome de arquivo.

folderPath	fileName	recursiva	Estrutura da pasta de origem e resultado do filtro (os arquivos em negrito são recuperados)
`Folder*`	(vazio, usar padrão)	false	FolderA Arquivo1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB Arquivo6.csv
`Folder*`	(vazio, usar padrão)	true	FolderA Arquivo1.csv File2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB Arquivo6.csv
`Folder*`	`*.csv`	false	FolderA Arquivo1.csv Arquivo2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB Arquivo6.csv
`Folder*`	`*.csv`	true	FolderA Arquivo1.csv Arquivo2.json Subpasta1 File3.csv File4.json File5.csv OutraPastaB Arquivo6.csv

Exemplos de lista de arquivos

Esta seção descreve o comportamento resultante do uso de um caminho de lista de arquivos na origem da atividade Copy. Ela assume que você tem a seguinte estrutura de pasta de origem e quer copiar os arquivos em negrito:

Exemplo de estrutura de origem	Conteúdo em FileListToCopy.txt	Configuração
root FolderA Arquivo1.csv Arquivo2.json Subpasta1 File3.csv File4.json File5.csv Metadados FileListToCopy.txt	File1.csv Subfolder1/File3.csv Subfolder1/File5.csv	No conjunto de dados: - Caminho da pasta: `root/FolderA` Na origem da atividade Copy: - Caminho da lista de arquivos: `root/Metadata/FileListToCopy.txt` O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui a lista de arquivos que você deseja copiar (um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados).

Usar DistCp para copiar dados do HDFS

O DistCp é uma ferramenta de linha de comando nativa do Hadoop para fazer uma cópia distribuída em um cluster Hadoop. Quando você executa um comando no DistCp, ele lista primeiro todos os arquivos a serem copiados e depois cria vários trabalhos de mapa no cluster Hadoop. Cada trabalho de mapa faz uma cópia binária da origem para o coletor.

A atividade Copy dá suporte ao uso de DistCp para copiar arquivos no estado em que se encontram para o armazenamento de Blob do Azure (incluindo cópia em etapas) ou em um Data Lake Store do Azure. Nesse caso, o DistCp pode aproveitar a potência do cluster em vez de ser executado no runtime de integração auto-hospedada. Com o DistCp, você terá uma melhor taxa de transferência de cópia, especialmente se o cluster for muito avançado. Com base na configuração, a atividade Copy constrói automaticamente um comando DistCp, envia os dados para o cluster Hadoop e monitora o status da cópia.

Pré-requisitos

Para usar o DistCp para copiar arquivos no estado em que se encontram do HDFS para o armazenamento Blob do Azure (incluindo cópia em etapas) ou para o Data Lake Store do Azure, verifique se o cluster Hadoop atende aos seguintes requisitos:

Os serviços MapReduce e YARN estão habilitados.
A versão do YARN é 2.5 ou mais recente.
O servidor do HDFS está integrado com o armazenamento de dados de destino: armazenamento Blob do Azure ou Azure Data Lake Storage (ADLS Gen1) :
- O FileSystem do Blob do Azure tem suporte nativo desde o Hadoop 2.7. Você só precisa especificar o caminho JAR na configuração de ambiente do Hadoop.
- O FileSystem do Azure Data Lake Store está empacotado desde o Hadoop 3.0.0-alpha1. Se a versão do cluster do Hadoop for anterior à versão, você precisará importar manualmente os pacotes JAR relacionados ao Azure Data Lake Store (azure-datalake-store.jar) para o cluster aquie especificar o caminho do arquivo JAR na configuração do ambiente do Hadoop.
Prepare uma pasta temporária no HDFS. Essa pasta temporária é usada para armazenar um script de shell do DistCp, portanto, ela ocupa espaço em nível de banco de dados.
Verifique se a conta de usuário fornecida no serviço vinculado do HDFS tem permissão para:
- Enviar um aplicativo no YARN.
- Criar uma subpasta e ler/gravar arquivos na pasta temporária.

Configurações

Para as configurações e exemplos relacionados ao DistCp, vá para a seção HDFS como origem.

Usar a autenticação Kerberos para o conector HDFS

Há duas opções de configuração do ambiente local para usar a autenticação Kerberos para o conector HDFS. Você pode escolher a que melhor se adapta à sua situação.

Opção 1: ingressar no computador de runtime de integração auto-hospedada no realm Kerberos
Opção 2: habilitar a confiança mútua entre o domínio do Windows e o realm do Kerberos

Para qualquer opção, certifique-se de ativar o webhdfs para o cluster Hadoop:

Crie a entidade de segurança HTTP e keytab para webhdfs.

Importante

A entidade de segurança HTTP Kerberos deve começar com "HTTP/ " de acordo com a especificação de HTTP SPNEGO Kerberos. Saiba mais aqui.
```
Kadmin> addprinc -randkey HTTP/<namenode hostname>@<REALM.COM>
Kadmin> ktadd -k /etc/security/keytab/spnego.service.keytab HTTP/<namenode hostname>@<REALM.COM>
```

Opções de configuração do HDFS: adicione as três propriedades a seguir no hdfs-site.xml.

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.web.authentication.kerberos.principal</name>
    <value>HTTP/_HOST@<REALM.COM></value>
</property>
<property>
    <name>dfs.web.authentication.kerberos.keytab</name>
    <value>/etc/security/keytab/spnego.service.keytab</value>
</property>

Opção 1: ingressar no computador de runtime de integração auto-hospedada no realm Kerberos

Requisitos

O computador de runtime de integração auto-hospedada precisa ingressar no realm Kerberos e não pode ingressar em nenhum domínio do Windows.

Como configurar

No servidor do KDC:

Crie um principal e especifique a senha.

Importante

O nome de usuário não deve conter o nome do host.

Kadmin> addprinc <username>@<REALM.COM>

No computador de runtime de integração auto-hospedada:

Execute o utilitário Ksetup para configurar o realm e servidor KDC (Centro de Distribuição de Chaves) do Kerberos.

O computador deve ser configurado como um membro de um grupo de trabalho porque um realm Kerberos é diferente de um domínio do Windows. Você pode obter essa configuração ao definir o realm Kerberos e adicionar um servidor KDC executando os comandos a seguir. Substitua o REALM.COM com o seu próprio nome do realm.
```
C:> Ksetup /setdomain REALM.COM
C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
```
Depois de executar esses comandos, reinicie o computador.

Verifique a configuração com o comando Ksetup. A saída deverá ser como a seguinte:

C:> Ksetup
default realm = REALM.COM (external)
REALM.com:
    kdc = <your_kdc_server_address>

Em seu data factory ou workspace do Synapse:

Configure o conector HDFS usando a autenticação do Windows com o nome da entidade de segurança e a senha Kerberos para se conectar à fonte de dados HDFS. Para detalhes de configuração, verifique a seção Propriedades do serviço vinculado HDFS.

Opção 2: habilitar a confiança mútua entre o domínio do Windows e o realm do Kerberos

Requisitos

O computador de runtime de integração auto-hospedada deve ingressar em um domínio do Windows.
Você precisa de permissão para atualizar as configurações do controlador de domínio.

Como configurar

Observação

Substitua o REALM.COM e o AD.COM no tutorial a seguir com o próprio nome do realm e controlador de domínio.

No servidor do KDC:

Edite a configuração do KDC no arquivo krb5.conf para permitir que o KDC confie no domínio do Windows referindo-se ao modelo de configuração a seguir. Por padrão, a configuração está localizada em /etc/krb5.conf.

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = REALM.COM
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true

[realms]
 REALM.COM = {
  kdc = node.REALM.COM
  admin_server = node.REALM.COM
 }
AD.COM = {
 kdc = windc.ad.com
 admin_server = windc.ad.com
}

[domain_realm]
 .REALM.COM = REALM.COM
 REALM.COM = REALM.COM
 .ad.com = AD.COM
 ad.com = AD.COM

[capaths]
 AD.COM = {
  REALM.COM = .
 }

Depois de configurar o arquivo, reinicie o serviço KDC.

Prepare uma entidade de segurança chamada krbtgt/REALM.COM@AD.COM no servidor KDC com o seguinte comando:
```
Kadmin> addprinc krbtgt/REALM.COM@AD.COM
```
No arquivo de configuração de serviço do HDFS hadoop.security.auth_to_local, adicione RULE:[1:$1@$0](.*\@AD.COM)s/\@.*//.

No controlador de domínio:

Execute o seguinte comando Ksetup para adicionar uma entrada de realm:

C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM

Estabeleça a confiança do domínio do Windows para o realm do Kerberos. [password] é a senha da entidade de segurança krbtgt/REALM.COM@AD.COM.
```
C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]
```
Selecione o algoritmo de criptografia que é usado no Kerberos.

a. Selecione Gerenciador do Servidor>Gerenciamento de Política de Grupo>Domínio>Objetos de Política de Grupo>Política de Domínio Ativa ou Padrãoe depois selecione Editar.

b. No painel Editor de Gerenciamento de Política de Grupo, selecione Configuração do Computador>Políticas>Configuração do Windows>Configurações de Segurança>Políticas Locais>Opções de Segurança e depois configure Segurança de rede: configurar tipos de criptografia permitidos para Kerberos.

c. Selecione o algoritmo de criptografia que deseja usar ao se conectar ao servidor KDC. Você pode selecionar todas as opções.

d. Use o comando Ksetup para especificar o algoritmo de criptografia a ser usado no realm especificado.
```
C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96
```
Crie o mapeamento entre a conta de domínio e a entidade de segurança do Kerberos para usar a entidade de segurança do Kerberos no domínio do Windows.

a. Selecione Ferramentas administrativas>Computadores e Usuários do Active Directory.

b. Configure os recursos avançados selecionando Exibição>Recursos Avançados.

c. No painel Recursos Avançados, clique com o botão direito do mouse na conta para a qual você deseja criar mapeamentos e, no painel Mapeamentos de Nome, selecione a guia Nomes Kerberos.

d. Adicione uma entidade de segurança do realm.

No computador de runtime de integração auto-hospedada:

Execute o comando Ksetup a seguir para adicionar uma entrada de realm.

C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM

Em seu data factory ou workspace do Synapse:

Configure o conector HDFS usando a autenticação do Windows com a conta de domínio ou a entidade de segurança Kerberos para se conectar à fonte de dados HDFS. Para obter os detalhes de configuração, confira a seção Propriedades do serviço vinculado do HDFS.

Pesquisar propriedades de atividade

Para obter informações sobre as propriedades da atividade de pesquisa, confira Atividade de pesquisa.

Excluir propriedades da atividade

Para obter informações sobre as propriedades da atividade de exclusão, confira Atividade de exclusão.

Modelos herdados

Observação

Os modelos a seguir ainda têm suporte no estado em que se encontram, para compatibilidade com versões anteriores. É recomendável que você use o novo modelo abordado anteriormente, pois a interface do usuário de criação mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Propriedade	Descrição	Obrigatório
type	A propriedade type do conjunto de dados deve ser definida como FileShare	Sim
folderPath	O caminho para a pasta. Há suporte para um filtro curinga. Os curingas permitidos são `*` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou um caractere único); use `^` para escape se o nome de arquivo real tiver um caractere curinga ou esse caractere interno de escape. Exemplos: rootfolder/subfolder/; veja mais exemplos em Exemplos de filtro de pasta e arquivo.	Sim
fileName	O filtro de nome ou curinga para os arquivos em "folderPath" especificado. Se você não especificar um valor para essa propriedade, o conjunto de dados apontará para todos os arquivos na pasta. Para filtro, os curingas permitidos são `` (corresponde a zero ou mais caracteres) e `?` (corresponde a zero ou um caractere único). – Exemplo 1: `"fileName": ".csv"` – Exemplo 2: `"fileName": "???20180427.txt"` Use `^` como escape se o nome real da pasta tiver um caractere curinga ou esse caractere interno de escape.	Não
modifiedDatetimeStart	Os arquivos são filtrados com base no atributo Última Modificação. Os arquivos são selecionados se a hora da última modificação for maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário de UTC no formato 2018-12-01T05:00:00Z. Lembre-se de que o desempenho geral da movimentação de dados será afetado com a habilitação dessa configuração quando você desejar aplicar um filtro de arquivo a uma grande quantidade de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tiver o valor de datetime, mas `modifiedDatetimeEnd` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando `modifiedDatetimeEnd` tiver o valor de datetime, mas `modifiedDatetimeStart` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for menor que o valor de datetime.	Não
modifiedDatetimeEnd	Os arquivos são filtrados com base no atributo Última Modificação. Os arquivos são selecionados se a hora da última modificação for maior ou igual a `modifiedDatetimeStart` e menor que `modifiedDatetimeEnd`. A hora é aplicada ao fuso horário de UTC no formato 2018-12-01T05:00:00Z. Lembre-se de que o desempenho geral da movimentação de dados será afetado com a habilitação dessa configuração quando você desejar aplicar um filtro de arquivo a uma grande quantidade de arquivos. As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo é aplicado ao conjunto de dados. Quando `modifiedDatetimeStart` tiver o valor de datetime, mas `modifiedDatetimeEnd` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando `modifiedDatetimeEnd` tiver o valor de datetime, mas `modifiedDatetimeStart` for NULL, isso significa que serão selecionados os arquivos cujo último atributo modificado for menor que o valor de datetime.	Não
format	Se você quiser copiar arquivos no estado em que se encontram entre repositórios baseados em arquivo (cópia binária), ignore a seção de formato nas duas definições de conjunto de dados de entrada e de saída. Se você quer analisar arquivos com um formato específico, os seguintes tipos de formato de arquivo têm suporte: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Defina a propriedade type sob formato como um desses valores. Para saber mais, veja as seções Formato de texto, Formato JSON, Formato Avro, Formato ORC e Formato Parquet.	Não (somente para o cenário de cópia binária)
compactação	Especifique o tipo e o nível de compactação para os dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação com suporte. Os tipos com suporte são: Gzip, Deflate, Bzip2 e ZipDeflate. Níveis compatíveis são: Ideal e Mais Rápido.	Não

Dica

Para copiar todos os arquivos em uma pasta, especifique folderPath somente.
Para copiar um único arquivo com um nome especificado, especifique folderPath com parte da pasta e fileName com nome de arquivo.
Para copiar um subconjunto de arquivos em uma pasta, especifique folderPath com parte da pasta e fileName com filtro curinga.

Exemplo:

{
    "name": "HDFSDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem de atividade Copy herdado

Propriedade	Descrição	Obrigatório
type	A propriedade type da fonte da atividade Copy deve ser definida como HdfsSource.	Sim
recursiva	Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando a recursiva é definida como true e o coletor é um armazenamento baseado em arquivo, uma pasta vazia ou subpasta não será copiada ou criada no coletor. Os valores permitidos são true (padrão) e false.	Não
distcpSettings	O grupo de propriedades quando você estiver usando o DistCp do HDFS.	Não
resourceManagerEndpoint	O ponto de extremidade do Resource Manager YARN	Sim, se usar DistCp
tempScriptPath	Um caminho de pasta usado para armazenar o script de comando temporário DistCp. O arquivo de script é gerado e será removido após a conclusão do trabalho de cópia.	Sim, se usar DistCp
distcpOptions	Opções adicionais são fornecidas ao comando DistCp.	Não
maxConcurrentConnections	O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.	No

Exemplo: Fonte HDFS na atividade Copy usando DistCp

"source": {
    "type": "HdfsSource",
    "distcpSettings": {
        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
        "tempScriptPath": "/usr/hadoop/tempscript",
        "distcpOptions": "-m 100"
    }
}

Para obter uma lista de armazenamentos de dados com suporte como origens e coletores pela atividade Copy, confira a tabela Armazenamentos de dados com suporte.

Compartilhar via

Copiar dados do servidor HDFS utilizando o Azure Data Factory ou Synapse Analytics

Funcionalidades com suporte

Pré-requisitos

Introdução

Criar um serviço vinculado ao HDFS usando a interface do usuário

Detalhes da configuração do conector

Propriedades do serviço vinculado

Propriedades do conjunto de dados

Propriedades da atividade de cópia

HDFS como fonte

Exemplos de filtro de pasta e arquivo

Exemplos de lista de arquivos

Usar DistCp para copiar dados do HDFS

Pré-requisitos

Configurações

Usar a autenticação Kerberos para o conector HDFS

Opção 1: ingressar no computador de runtime de integração auto-hospedada no realm Kerberos

Requisitos

Como configurar

Opção 2: habilitar a confiança mútua entre o domínio do Windows e o realm do Kerberos

Requisitos

Como configurar

Pesquisar propriedades de atividade

Excluir propriedades da atividade

Modelos herdados

Modelo de conjunto de dados herdado

Modelo de origem de atividade Copy herdado

Comentários

Recursos adicionais

Compartilhar via

Copiar dados do servidor HDFS utilizando o Azure Data Factory ou Synapse Analytics

Funcionalidades com suporte

Pré-requisitos

Introdução

Criar um serviço vinculado ao HDFS usando a interface do usuário

Detalhes da configuração do conector

Propriedades do serviço vinculado

Propriedades do conjunto de dados

Propriedades da atividade de cópia

HDFS como fonte

Exemplos de filtro de pasta e arquivo

Exemplos de lista de arquivos

Usar DistCp para copiar dados do HDFS

Pré-requisitos

Configurações

Usar a autenticação Kerberos para o conector HDFS

Opção 1: ingressar no computador de runtime de integração auto-hospedada no realm Kerberos

Requisitos

Como configurar

Opção 2: habilitar a confiança mútua entre o domínio do Windows e o realm do Kerberos

Requisitos

Como configurar

Pesquisar propriedades de atividade

Excluir propriedades da atividade

Modelos herdados

Modelo de conjunto de dados herdado

Modelo de origem de atividade Copy herdado

Conteúdo relacionado

Comentários

Recursos adicionais