Copiar e transformar dados no Armazenamento de Blobs do Azure usando o Azure Data Factory ou o Azure Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como usar a atividade Copy nos pipelines do Azure Data Factory e do Azure Synapse para copiar dados de e para o Armazenamento de Blobs do Azure. Ele também descreve como usar a atividade Fluxo de Dados para transformar dados no Armazenamento de Blobs do Azure. Para saber mais, leia os artigos de introdução do Azure Data Factory e do Azure Synapse Analytics.

Dica

Para saber mais sobre um cenário de migração para um data lake ou um data warehouse, consulte o artigo Migrar dados do seu data lake ou data warehouse para o Azure.

Funcionalidades com suporte

Este conector do Armazenamento de Blobs do Azure oferece suporte às seguintes funcionalidades:

Funcionalidades com suporte IR Ponto de extremidade privado gerenciado
Atividade de cópia (origem/coletor) 6/6 ✓ Excluir a conta de armazenamento V1
Fluxo de dados de mapeamento (origem/coletor) 2 ✓ Excluir a conta de armazenamento V1
Atividade de pesquisa 6/6 ✓ Excluir a conta de armazenamento V1
Atividade GetMetadata 6/6 ✓ Excluir a conta de armazenamento V1
Excluir atividade 6/6 ✓ Excluir a conta de armazenamento V1

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Para a atividade Copy, esse conector do Armazenamento de Blobs dá suporte a:

  • Copiar blobs de e para contas de Armazenamento do Azure de uso geral e para armazenamento de blobs Quente/Frio.
  • Copiar blobs usando chave de conta, assinatura de acesso compartilhado de serviço, entidade de serviço ou identidades gerenciadas para autenticações de recursos do Azure.
  • Copiar blobs de blocos, acréscimos ou de páginas e copiar dados somente para blobs de blocos.
  • Copiar blobs no estado em que se encontram ou analisando ou gerando blobs com os formatos de arquivo e codecs de compactação com suporte.
  • Preservar os metadados do arquivo durante a cópia.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

Criar um serviço vinculado de Armazenamento de Blobs do Azure usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado de Armazenamento de Blobs do Azure na interface de usuário do portal do Azure.

  1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados. Depois, selecione Novo:

  2. Pesquise o blob e selecione o conector do Armazenamento de Blobs do Azure.

    Select Azure Blob Storage connector.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Screenshot of configuration for Azure Blob Storage linked service.

Detalhes da configuração do conector

As seções que se seguem fornecem detalhes sobre as propriedades que são usadas para definir entidades de pipeline do Data Factory e do Synapse específicas do armazenamento de blobs.

Propriedades do serviço vinculado

Este conector do Armazenamento de Blobs dá suporte aos seguintes tipos de autenticação. Consulte as seções correspondentes para obter detalhes.

Observação

  • Se você quiser usar o Azure Integration Runtime para conectar-se ao seu Armazenamento de Blobs aproveitando a opção Permitir que serviços Microsoft confiáveis acessem esta conta de armazenamento habilitada nas configurações do Armazenamento do Azure, precisará usar a autenticação de identidade gerenciada. Para obter mais informações sobre as configurações dos firewalls do Armazenamento do Microsoft Azure, consulte Como configurar Redes Virtuais e Firewalls de Armazenamento do Azure.
  • Ao usar a instrução PolyBase ou COPY para carregar dados no Azure Synapse Analytics, se o Armazenamento de Blobs de origem ou de preparo estiver configurado com um ponto de extremidade de rede virtual do Azure, é preciso usar a autenticação de identidade gerenciada conforme exigido pelo Azure Synapse. Consulte a seção Autenticação de Identidade gerenciada para ver mais pré-requisitos de configuração.

Observação

As atividades do Azure HDInsight e do Azure Machine Learning só oferecem suporte a autenticações que usam chaves de conta do Armazenamento de Blobs do Azure.

Autenticação anônima

As propriedades a seguir têm suporte para autenticação de chave de conta de armazenamento nos pipelines do Azure Data Factory ou do Synapse:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como AzureBlobStorage (sugerido) ou AzureStorage (consulte as observações a seguir). Sim
containerUri Especifique o URI do contêiner de Blob do Azure que habilitou o acesso de leitura Anônimo usando o formato https://<AccountName>.blob.core.windows.net/<ContainerName> e configure o acesso de leitura público anônimo para contêineres e blobs Sim
connectVia O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão. Não

Exemplo:


{
    "name": "AzureBlobStorageAnonymous",
    "properties": {
        "annotations": [],
        "type": "AzureBlobStorage",
        "typeProperties": {
            "containerUri": "https:// <accountname>.blob.core.windows.net/ <containername>",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplos de interface do usuário:

A experiência da interface do usuário é descrita na imagem a seguir. Esta amostra usa o conjunto de dados aberto do Azure como a origem. Caso você deseje obter o conjunto de dados aberto bing_covid-19_data.csv, basta escolher Tipo de autenticação como Anônimo e preencher o URI do Contêiner com https://pandemicdatalake.blob.core.windows.net/public.

Screenshot of configuration for Anonymous examples UI.

Autenticação de chave de conta

As propriedades a seguir têm suporte para autenticação de chave de conta de armazenamento nos pipelines do Azure Data Factory ou do Synapse:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como AzureBlobStorage (sugerido) ou AzureStorage (consulte as observações a seguir). Sim
connectionString Especifique as informações necessárias para se conectar ao Armazenamento para a propriedade connectionString.
Você também pode colocar a chave de conta no Azure Key Vault e efetuar pull da configuração accountKey da cadeia de conexão. Para obter mais informações, consulte os exemplos a seguir e o artigo Credenciais do Armazenamento no Azure Key Vault.		 Sim
connectVia O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão. No

Observação

Não há suporte para um ponto de extremidade de serviço Blob secundário quando você usa a autenticação de chave de conta. Você pode usar outros tipos de autenticação.

Observação

Se você estiver usando o serviço vinculado de tipo AzureStorage, ele ainda terá suporte inalterado. Mas sugerimos que você use o novo serviço vinculado do tipo AzureBlobStorage no futuro.

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
          "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a chave de conta no Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "accountKey": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de assinatura de acesso compartilhado

Uma assinatura de acesso compartilhado fornece acesso delegado aos recursos da sua conta de armazenamento. Você pode usar uma assinatura de acesso compartilhado para conceder a um cliente permissões limitadas para objetos em sua conta de armazenamento por determinado tempo.

Não é preciso compartilhar as chaves de acesso da conta. A assinatura de acesso compartilhado é um URI que engloba em seus parâmetros de consulta todas as informações necessárias para o acesso autenticado a um recurso de armazenamento. Para acessar recursos de armazenamento com a assinatura de acesso compartilhado, o cliente só precisa passar a assinatura de acesso compartilhado ao construtor ou método apropriado.

Para obter mais informações sobre assinaturas de acesso compartilhado, consulte Assinaturas de acesso compartilhado: Entender o modelo de assinatura de acesso compartilhado.

Observação

Há suporte para usar a autenticação de assinatura de acesso compartilhado para as seguintes propriedades:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como AzureBlobStorage (sugerido) ou AzureStorage (consulte as observações a seguir). Sim
sasUri Especifique o URI de assinatura de acesso compartilhado para os recursos de Armazenamento, como blob ou contêiner.
Marque esse campo como SecureString para armazená-lo com segurança. Você também pode colocar o token SAS no Azure Key Vault para aproveitar a rotação automática e remover a parte do token. Para obter mais informações, consulte os exemplos a seguir e Credenciais do Armazenamento no Azure Key Vault.		 Sim
connectVia O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão. No

Observação

Se você estiver usando o serviço vinculado de tipo AzureStorage, ele ainda terá suporte inalterado. Mas sugerimos que você use o novo serviço vinculado do tipo AzureBlobStorage no futuro.

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<accountname>.blob.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a chave de conta no Azure Key Vault

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.blob.core.windows.net/>"
            },
            "sasToken": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Ao criar um URI de assinatura de acesso compartilhado, considere os seguintes pontos:

  • Defina as permissões apropriadas de leitura/gravação em objetos com base em como o serviço vinculado (leitura, gravação, leitura/gravação) será usado.
  • Defina o Tempo de expiração adequadamente. Certifique-se de que o acesso aos objetos de Armazenamento não expira dentro do período ativo do pipeline.
  • O URI deve ser criado no contêiner ou blob correto com base na necessidade. Um URI de assinatura de acesso compartilhado a um blob permite que o pipeline do data factory ou do Synapse acesse o blob específico. Um URI de assinatura de acesso compartilhado para um contêiner de armazenamento de Blob permite que o pipeline do data factory ou do Synapse se reitere pelos blobs naquele contêiner. Para fornecer acesso a mais/menos objetos posteriormente, ou para atualizar o URI de assinatura de acesso compartilhado, lembre-se de atualizar o serviço vinculado ao novo URI.

Autenticação de entidade de serviço

Para obter informações gerais sobre a autenticação da entidade de serviço do Armazenamento do Azure, consulte Autenticar o acesso ao Armazenamento do Azure usando a IDdo Microsoft Entra.

Para usar a autenticação de entidade de serviço, siga estas etapas:

  1. Registrar um aplicativo na plataforma de identidade da Microsoft. Para saber como, confira Início Rápido: registrar um aplicativo na plataforma de identidade da Microsoft. Anote estes valores; ele são usados para definir o serviço vinculado:

    • ID do aplicativo
    • Chave do aplicativo
    • ID do locatário

  2. Conceda a permissão apropriada à entidade de serviço no Armazenamento de Blobs do Azure. Para saber mais sobre as funções, confira Usar o portal do Azure para atribuir uma função do Azure para acesso aos dados de blob e de fila.

    • Como origem, em Controle de acesso (IAM) , conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
    • Como coletor, no Controle de acesso (IAM) , conceda pelo menos a função de Colaborador de Dados do Blob de Armazenamento.

Estas propriedades são compatíveis com um serviço vinculado de Armazenamento de Blobs do Azure:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como AzureBlobStorage. Sim
serviceEndpoint Especifique o ponto de extremidade de serviço do Armazenamento de Blobs do Azure com o padrão de https://<accountName>.blob.core.windows.net/. Sim
accountKind Especifique o tipo da sua conta de armazenamento. Os valores permitidos são: Storage (uso geral v1), StorageV2 (uso geral v2), BlobStorage ou BlockBlobStorage.

Ao usar o serviço vinculado do Blob do Azure no fluxo de dados, não há suporte para a autenticação da entidade de serviço ou da identidade gerenciada quando o tipo de conta está vazio ou é “Armazenamento”. Especifique o tipo de conta adequado, escolha uma autenticação diferente ou atualize sua conta de armazenamento para uso geral v2.		 Não
servicePrincipalId Especifique a ID do cliente do aplicativo. Sim
servicePrincipalCredentialType O tipo de credencial a ser usada para autenticação da entidade de serviço. Os valores permitidos são ServicePrincipalKey e ServicePrincipalCert. Sim
servicePrincipalCredential A credencial da entidade de serviço.
Ao usar ServicePrincipalKey como o tipo de credencial, especifique a chave do aplicativo. Marque este campo como um SecureString para armazená-lo com segurança ou referencie um segredo armazenado no Azure Key Vault.
Quando usar ServicePrincipalCert como credencial, faça referência a um certificado no Azure Key Vault e verifique se o tipo de conteúdo do certificado é PKCS nº 12.		 Sim
locatário Especifique as informações de locatário (domínio nome ou ID do Locatário) em que o aplicativo reside. Recupere-as passando o mouse no canto superior direito do portal do Azure. Sim
azureCloudType Para autenticação da entidade de serviço, especifique o tipo de ambiente em nuvem do Azure em que seu aplicativo do Microsoft Entra está registrado.
Os valores permitidos são AzurePublic, AzureChina, AzureUsGovernment e AzureGermany. Por padrão, o data factory ou o ambiente de nuvem do pipeline do Synapse é usado.		 Não
connectVia O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão. No

Observação

  • Se a sua conta de blob permitir a exclusão temporária, a autenticação da entidade de serviço não terá suporte no Fluxo de Dados.
  • Ao acessar o Armazenamento de Blobs por meio do ponto de extremidade privado usando o Fluxo de Dados, observe quando a autenticação de entidade de serviço é usada, o fluxo de dados se conecta ao ponto de extremidade do ADLS Gen2 em vez daquele do Armazenamento de Blobs. Verifique se você criou o ponto de extremidade privado correspondente em seu workspace do data factory ou do Synapse para habilitar o acesso.

Observação

Só há suporte para a autenticação da entidade de serviço pelo serviço vinculado do tipo "AzureBlobStorage", mas não do tipo "AzureStorage" anterior.

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de identidade gerenciada atribuída pelo sistema

Um pipeline do data factory ou do Synapse pode ser associado a uma identidade gerenciada atribuída pelo sistema para recursos do Azure, que representa esse recurso para autenticação em outros serviços do Azure. Você pode usar essa identidade gerenciada atribuída pelo sistema diretamente para a autenticação do Armazenamento de Blobs da mesma maneira que usa a sua própria entidade de serviço. Ele permite que este recurso designado acesse e copie dados de ou para o Armazenamento de Blobs. Para saber mais sobre as identidades gerenciadas para os recursos do Azure, confira o artigo Identidades gerenciadas para recursos do Azure

Para obter informações gerais sobre a autenticação do Armazenamento do Azure, consulte Autenticar o acesso ao Armazenamento do Azure usando a IDdo Microsoft Entra. Para usar identidades gerenciadas para autenticação de recursos do Azure, siga estas etapas:

  1. Recuperar identidade gerenciada atribuída pelo sistema copiando o valor da ID de objeto de identidade gerenciada atribuída pelo sistema gerado com o workspace do Factory ou do Synapse.

  2. Conceda a permissão de identidade gerenciada no Armazenamento de Blobs do Azure. Para saber mais sobre as funções, confira Usar o portal do Azure para atribuir uma função do Azure para acesso aos dados de blob e de fila.

    • Como origem, em Controle de acesso (IAM) , conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
    • Como coletor, no Controle de acesso (IAM) , conceda pelo menos a função de Colaborador de Dados do Blob de Armazenamento.

Estas propriedades são compatíveis com um serviço vinculado de Armazenamento de Blobs do Azure:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como AzureBlobStorage. Sim
serviceEndpoint Especifique o ponto de extremidade de serviço do Armazenamento de Blobs do Azure com o padrão de https://<accountName>.blob.core.windows.net/. Sim
accountKind Especifique o tipo da sua conta de armazenamento. Os valores permitidos são: Storage (uso geral v1), StorageV2 (uso geral v2), BlobStorage ou BlockBlobStorage.

Ao usar o serviço vinculado do Blob do Azure no fluxo de dados, não há suporte para a autenticação da entidade de serviço ou da identidade gerenciada quando o tipo de conta está vazio ou é “Armazenamento”. Especifique o tipo de conta adequado, escolha uma autenticação diferente ou atualize sua conta de armazenamento para uso geral v2.		 Não
connectVia O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão. Não

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de identidade gerenciada atribuída pelo usuário

Um data factory pode ser atribuído com uma ou várias identidades gerenciadas atribuídas pelo usuário. Você pode usar essa identidade gerenciada atribuída pelo usuário para autenticação do Armazenamento de Blob, que permite acessar e copiar dados de ou para o armazenamento de blobs. Para saber mais sobre as identidades gerenciadas para os recursos do Azure, confira o artigo Identidades gerenciadas para recursos do Azure

Para obter informações gerais sobre a autenticação de armazenamento do Azure, consulte Autenticar o acesso ao Armazenamento do Azure usando a IDdo Microsoft Entra. Para usar a autenticação de identidade gerenciada atribuída pelo usuário, siga estas etapas:

  1. Crie uma ou várias identidades gerenciadas atribuídas ao usuário e conceda permissão ao Armazenamento de Blobs do Azure. Para saber mais sobre as funções, confira Usar o portal do Azure para atribuir uma função do Azure para acesso aos dados de blob e de fila.

    • Como origem, em Controle de acesso (IAM) , conceda, pelo menos, a função de Leitor de Dados do Storage Blob.
    • Como coletor, no Controle de acesso (IAM) , conceda pelo menos a função de Colaborador de Dados do Blob de Armazenamento.

  2. Atribua uma ou várias identidades gerenciadas atribuídas pelo usuário a seu data factory e crie credenciais para cada identidade gerenciada atribuída pelo usuário.

Estas propriedades são compatíveis com um serviço vinculado de Armazenamento de Blobs do Azure:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como AzureBlobStorage. Sim
serviceEndpoint Especifique o ponto de extremidade de serviço do Armazenamento de Blobs do Azure com o padrão de https://<accountName>.blob.core.windows.net/. Sim
accountKind Especifique o tipo da sua conta de armazenamento. Os valores permitidos são: Storage (uso geral v1), StorageV2 (uso geral v2), BlobStorage ou BlockBlobStorage.

Ao usar o serviço vinculado do Blob do Azure no fluxo de dados, não há suporte para a autenticação da entidade de serviço ou da identidade gerenciada quando o tipo de conta está vazio ou é “Armazenamento”. Especifique o tipo de conta adequado, escolha uma autenticação diferente ou atualize sua conta de armazenamento para uso geral v2.		 Não
credenciais Especifique a identidade gerenciada atribuída pelo usuário como o objeto da credencial. Sim
connectVia O runtime de integração a ser usado para se conectar ao armazenamento de dados. Use o runtime de integração do Azure ou o runtime de integração auto-hospedada (se o seu armazenamento de dados estiver em uma rede privada). Se essa propriedade não for especificada, o serviço usará o runtime de integração do Azure padrão. Não

Exemplo:

{
    "name": "AzureBlobStorageLinkedService",
    "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.blob.core.windows.net/",
            "accountKind": "StorageV2",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Importante

Se você usar a instrução PolyBase ou COPY para carregar dados do Armazenamento de Blobs (como origem ou preparo) no Azure Synapse Analytics, ao usar a autenticação de identidade gerenciada para o Armazenamento de Blobs, siga as etapas 1 a 3 nesta diretriz. Essas etapas registrarão seu servidor com a ID do Microsoft Entra e atribuirão a função colaborador de dados de blob de armazenamento ao servidor. O Data Factory lida com o restante. Se você configurar o Armazenamento de Blobs com um ponto de extremidade de rede virtual do Azure, você também precisará ter a função Permitir que serviços confiáveis da Microsoft acessem essa conta de armazenamento ativada no menu de configurações de firewalls e redes virtuais da conta do Armazenamento do Azure, conforme exigido pelo Azure Synapse.

Observação

  • Se a sua conta de blob permitir a exclusão temporária, a autenticação da identidade gerenciada atribuída pelo usuário/sistema não terá suporte no Fluxo de Dados.
  • Ao acessar o Armazenamento de Blobs por meio do ponto de extremidade privado usando o Fluxo de Dados, observe quando a autenticação de identidade gerenciada atribuída pelo usuário/sistema é usada, o fluxo de dados se conecta ao ponto de extremidade do ADLS Gen2 em vez daquele do Armazenamento de Blobs. Lembre-se de criar o ponto de extremidade privado correspondente no ADF para habilitar o acesso.

Observação

Só há suporte à autenticação de identidade gerenciada atribuída pelo usuário/sistema pelo serviço vinculado do tipo "AzureBlobStorage", mas não do tipo "AzureStorage" anterior.

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados.

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As propriedades a seguir têm suporte para o Armazenamento de Blobs do Azure nas configurações de location em um conjunto de dados baseado no formato:

Propriedade Descrição Obrigatório
type A propriedade type do local no conjunto de dados precisa ser definida como AzureBlobStorageLocation. Sim
contêiner O contêiner de blob. Sim
folderPath O caminho para a pasta no contêiner fornecido. Se quiser usar um caractere curinga para filtrar a pasta, ignore essa configuração e especifique isso nas configurações de origem da atividade. Não
fileName O nome do arquivo no contêiner e no caminho da pasta fornecidos. Se quiser usar um caractere curinga para filtrar os arquivos, ignore essa configuração e especifique isso nas configurações de origem da atividade. Não

Exemplo:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção apresenta uma lista das propriedades com suporte na origem e no coletor do Armazenamento de Blobs.

Armazenamento de blob como um tipo de fonte

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As propriedades a seguir têm suporte no Armazenamento de Blobs do Azure nas configurações de storeSettings na origem da cópia baseada em formato:

Propriedade Descrição Obrigatório
type A propriedade type em storeSettings deve ser configurada como AzureBlobStorageReadSettings. Sim
Localize os arquivos a serem copiados:
OPÇÃO 1: caminho estático
 Copie do caminho do contêiner ou da pasta/do arquivo especificado no conjunto de dados. Se você quiser copiar todos os blobs de um contêiner ou pasta, especifique também wildcardFileName como *.
OPÇÃO 2: prefixo do blob
- prefix		 Prefixo do nome do blob no contêiner fornecido configurado em um conjunto de dados para filtrar os blobs de origem. Os blobs cujos nomes começam com container_in_dataset/this_prefix são selecionados. Ele utiliza o filtro do lado do serviço para o Armazenamento de Blobs, que fornece melhor desempenho do que um filtro curinga.

Quando você usa o prefixo e opta pela cópia para o coletor baseado em arquivo com a hierarquia de preservação, observe que o subcaminho após o último “/” no prefixo é preservado. Por exemplo, você tem a origem container/folder/subfolder/file.txt e configura o prefixo como folder/sub, então o caminho do arquivo preservado é subfolder/file.txt.		 Não
OPÇÃO 3: curinga
- wildcardFolderPath		 O caminho da pasta com caracteres curinga no contêiner fornecido configurado em um conjunto de dados para filtrar as pastas de origem.
Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome real da pasta tiver curingas ou esse caractere de escape.
Veja mais exemplos em Exemplos de filtro de pastas e arquivos.		 Não
OPÇÃO 3: curinga
- wildcardFileName		 O nome do arquivo com caracteres curinga no caminho do contêiner e da pasta (ou da pasta curinga) indicados para filtrar os arquivos de origem.
Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome do arquivo contiver um curinga ou esse caractere de escape. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.		 Sim
OPÇÃO 4: uma lista de arquivos
- fileListPath		 Indica a cópia de um determinado conjunto de arquivos. Aponte para um arquivo de texto que inclui a lista de arquivos que você deseja copiar com um arquivo por linha, que é o caminho relativo para o caminho configurado no conjunto de dados.
Ao usar essa opção, não especifique um nome de arquivo no conjunto de dados. Veja mais exemplos em Exemplos de lista de arquivos.		 Não
Configurações adicionais:
recursiva Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Observe que quando recursiva é definida como true e o coletor é um repositório baseado em arquivo, uma pasta vazia ou uma subpasta não é copiada nem criada no coletor.
Os valores permitidos são true (padrão) e false.
Essa propriedade não se aplica quando você configura fileListPath.		 Não
deleteFilesAfterCompletion Indica se os arquivos binários serão excluídos do repositório de origem após a movimentação com êxito para o repositório de destino. A exclusão de arquivo é por arquivo. Portanto, quando ocorrer uma falha na atividade de cópia, você verá que alguns arquivos já foram copiados para o destino e excluídos da origem, enquanto outros ainda permanecem no armazenamento de origem.
Essa propriedade só é válida no cenário de cópia de arquivos binários. O valor padrão é false.		 Não
modifiedDatetimeStart Os arquivos são filtrados com base no atributo última modificação.
Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z".
As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tem um valor datetime, mas modifiedDatetimeStart é NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime.
Essa propriedade não se aplica quando você configura fileListPath.		 Não
modifiedDatetimeEnd O mesmo que a propriedade anterior. Não
enablePartitionDiscovery Para os arquivos que são particionados, especifique se deseja analisar as partições do caminho do arquivo e incluí-las como colunas de origem extras.
Os valores permitidos são false (padrão) e true.		 No
partitionRootPath Quando a descoberta de partição estiver habilitada, especifique o caminho raiz absoluto para ler as pastas particionadas como colunas de dados.

Se não for especificado, será por padrão,
– Quando você usa o caminho do arquivo no conjunto de dados ou na lista de arquivos na origem, o caminho raiz da partição é o caminho configurado no conjunto de dados.
– Quando você usa o filtro de pasta curinga, o caminho raiz da partição é o subcaminho antes do primeiro curinga.
-Quando você usa o prefixo, o caminho raiz da partição é o subcaminho antes do último "/".

Por exemplo, supondo que você configure o caminho no conjunto de dados como "root/folder/year=2020/month=08/day=27":
– Se você especifica o caminho raiz da partição como "root/folder/year=2020", a atividade de cópia gera mais duas colunas month e day com o valor "08" e "27", respectivamente, além das colunas dentro dos arquivos.
– Se o caminho raiz da partição não for especificado, nenhuma coluna extra será gerada.		 Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas. No

Observação

Para o formato de texto parquet/delimitado, o tipo de BlobSource para a origem da atividade Copy mencionada na seção a seguir ainda tem suporte para compatibilidade com versões anteriores. Sugerimos usar o novo modelo até que a interface do usuário de criação tenha mudado para gerar esses novos tipos.

Exemplo:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Observação

O contêiner de $logs, que é criado automaticamente quando a Análise de Armazenamento está habilitada para uma conta de armazenamento, não é mostrado quando uma operação de listagem de contêiner é executada com a interface do usuário. O caminho do arquivo deve ser fornecido diretamente para o pipeline do data factory ou do Synapse consumir os arquivos do contêiner de $logs.

Armazenamento de blob como um tipo de coletor

O Azure Data Factory é compatível com os formatos de arquivo a seguir. Confira cada artigo para obter configurações baseadas em formato.

As seguintes propriedades têm suporte no Armazenamento de Blobs do Azure nas configurações de storeSettings no coletor de cópia baseada no formato:

Propriedade Descrição Obrigatório
type A propriedade type em storeSettings seve ser definida como AzureBlobStorageWriteSettings. Sim
copyBehavior Define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo.

Valores permitidos são:
– PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino.
– FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm os nomes gerados automaticamente.
– MergeFiles: Mescla todos os arquivos da pasta de origem em um arquivo. Se o nome do arquivo ou do blob for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, ele será um nome de arquivo gerado automaticamente.		 Não
blockSizeInMB Especifique, em megabytes, o tamanho do bloco usado para gravar dados nos blobs de blocos. Saiba mais sobre Blobs de Blocos.
O valor permitido é entre 4 MB e 100 MB.
Por padrão, o serviço determina automaticamente o tamanho do bloco com base no tipo de armazenamento de origem e nos dados. Para cópia não binária no Armazenamento de Blobs, o tamanho de bloco padrão é 100 MB para que possa caber (no máximo) 4.95 TB de dados. Isso pode não ser ideal quando os dados não são grandes, especialmente quando você usa o runtime de integração auto-hospedada com conexões de rede inadequadas que resultam em problemas de desempenho ou de tempo limite da operação. Especifique um tamanho de bloco explicitamente, garantindo que blockSizeInMB*50000 seja grande o suficiente para armazenar os dados. Caso contrário, a execução da atividade Copy falhará.		 Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas. Não
metadata Defina metadados personalizados ao copiar para o coletor. Cada objeto sob a matriz metadata representa uma coluna extra. O name define o nome chave dos metadados e value indica o valor de dados dessa chave. Se o recurso preservar atributos for usado, os metadados especificados serão unificados/substituídos pelos metadados do arquivo de origem.

Os valores de dados permitidos são:
- $$LASTMODIFIED: uma variável reservada indica armazenar a hora da última modificação dos arquivos de origem. Aplicar à fonte baseada em arquivo somente com formato binário.
- Expressão
- Valor estático		 Não

Exemplo:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureBlobStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        },
                        {
                            "name": "lastModifiedKey",
                            "value": "$$LASTMODIFIED"
                        }
                    ]
                }
            }
        }
    }
]

Exemplos de filtro de pasta e arquivo

Esta seção descreve o comportamento resultante do caminho da pasta e do nome de arquivo com filtros curinga.

folderPath fileName recursiva Estrutura da pasta de origem e resultado do filtro (os arquivos em negrito são recuperados)
container/Folder* (vazio, usar padrão) false contêiner
    FolderA
        Arquivo1.csv
        File2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    OutraPastaB
        Arquivo6.csv
container/Folder* (vazio, usar padrão) true contêiner
    FolderA
        Arquivo1.csv
        File2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    OutraPastaB
        Arquivo6.csv
container/Folder* *.csv false contêiner
    FolderA
        Arquivo1.csv
        Arquivo2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    OutraPastaB
        Arquivo6.csv
container/Folder* *.csv true contêiner
    FolderA
        Arquivo1.csv
        Arquivo2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    OutraPastaB
        Arquivo6.csv

Exemplos de lista de arquivos

Esta seção descreve o comportamento resultante do uso de um caminho de lista de arquivos na origem da atividade Copy.

Suponha que você tenha a seguinte estrutura de pasta de origem e queira copiar os arquivos em negrito:

Exemplo de estrutura de origem Conteúdo em FileListToCopy.txt Configuração
contêiner
    FolderA
        Arquivo1.csv
        Arquivo2.json
        Subpasta1
            File3.csv
            File4.json
            File5.csv
    Metadados
        FileListToCopy.txt		 File1.csv
Subfolder1/File3.csv
Subfolder1/File5.csv		 No conjunto de dados:
- Contêiner: container
- Caminho da pasta: FolderA

Na origem da atividade Copy:
- Caminho da lista de arquivos: container/Metadata/FileListToCopy.txt

O caminho da lista de arquivos aponta para um arquivo de texto no mesmo armazenamento de dados que inclui uma lista de arquivos que você deseja copiar. Ela inclui um arquivo por linha, com o caminho relativo para o caminho configurado no conjunto de dados.

Alguns exemplos de recursive e copyBehavior

Esta seção descreve o comportamento resultante da operação de cópia para diferentes combinações de valores recursive e copyBehavior.

recursiva copyBehavior Estrutura de pasta de origem Destino resultante
true preserveHierarchy Pasta1
    Arquivo1
    Arquivo2
    Subpasta1
        Arquivo3
        Arquivo4
        Arquivo5		 A pasta de destino Pasta1 é criada com a mesma estrutura da origem:

Pasta1
    Arquivo1
    Arquivo2
    Subpasta1
        Arquivo3
        Arquivo4
        Arquivo5
true flattenHierarchy Pasta1
    Arquivo1
    Arquivo2
    Subpasta1
        Arquivo3
        Arquivo4
        Arquivo5		 A pasta de destino, Pasta1, é criada com a seguinte estrutura:

Pasta1
    nome gerado automaticamente para o Arquivo1
    nome gerado automaticamente para o Arquivo2
    nome gerado automaticamente para o Arquivo3
    nome gerado automaticamente para o Arquivo4
    nome gerado automaticamente para o Arquivo5
true mergeFiles Pasta1
    Arquivo1
    Arquivo2
    Subpasta1
        Arquivo3
        Arquivo4
        Arquivo5		 A pasta de destino, Pasta1, é criada com a seguinte estrutura:

Pasta1
    Os conteúdos de Arquivo1 + Arquivo2 + Arquivo3 + Arquivo4 + Arquivo5 são mesclados em um arquivo com um nome de arquivo gerado automaticamente.
false preserveHierarchy Pasta1
    Arquivo1
    Arquivo2
    Subpasta1
        Arquivo3
        Arquivo4
        Arquivo5		 A pasta de destino, Pasta1, é criada com a seguinte estrutura:

Pasta1
    Arquivo1
    Arquivo2

A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.
false flattenHierarchy Pasta1
    Arquivo1
    Arquivo2
    Subpasta1
        Arquivo3
        Arquivo4
        Arquivo5		 A pasta de destino, Pasta1, é criada com a seguinte estrutura:

Pasta1
    nome gerado automaticamente para o Arquivo1
    nome gerado automaticamente para o Arquivo2

A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.
false mergeFiles Pasta1
    Arquivo1
    Arquivo2
    Subpasta1
        Arquivo3
        Arquivo4
        Arquivo5		 A pasta de destino, Pasta1, é criada com a seguinte estrutura:

Pasta1
    Os conteúdos de Arquivo1 + Arquivo2 são mesclados em um arquivo com um nome de arquivo gerado automaticamente. nome gerado automaticamente para o Arquivo1

A Subpasta1 com Arquivo3, Arquivo4 e Arquivo5 não é selecionada.

Preservando metadados durante a cópia

Ao copiar arquivos do Amazon S3, do Armazenamento de Blobs do Azure ou do Azure Data Lake Storage Gen2 para o Azure Data Lake Storage Gen2 ou para o Armazenamento de Blobs do Azure, você pode optar por preservar os metadados do arquivo com os dados. Saiba mais em Preservar metadados.

Mapeamento de propriedades de fluxo de dados

Quando estiver transformando dados em fluxos de dados de mapeamento, você poderá ler e gravar arquivos do Armazenamento de Blobs do Azure nos seguintes formatos:

As configurações de formato específico estão localizadas na documentação para esse formato. Para obter mais informações, consulte Transformação de origem no fluxo de dados de mapeamento e Transformação de coletor no fluxo de dados de mapeamento.

Transformação de origem

Na transformação de origem, você pode ler de um contêiner, uma pasta ou um arquivo individual no Armazenamento de Blobs do Azure. Use a guia Opções de origem para gerenciar como os arquivos são lidos.

Screenshot of source options tab in mapping data flow source transformation.

Caminhos curinga: o uso de um padrão curinga instruirá o serviço a executar um loop em cada pasta e arquivo correspondentes em uma única transformação de origem. Esse é um modo eficaz de processar vários arquivos dentro de um único fluxo. Adicione vários padrões de correspondência de curinga com o sinal de adição que aparece ao passar o mouse sobre o padrão de curinga existente.

Em seu contêiner de origem, escolha uma série de arquivos que correspondem a um padrão. Somente o contêiner pode ser especificado no conjunto de dados. O caminho curinga, portanto, também precisa incluir o caminho da pasta raiz.

Exemplos de caracteres curinga:

  • * Representa qualquer conjunto de caracteres.

  • ** Representa o aninhamento de diretório recursivo.

  • ? Substitui um caractere.

  • [] Corresponde a um ou mais caracteres entre colchetes.

  • /data/sales/**/*.csv Obtém todos os arquivos CSV em /data/sales.

  • /data/sales/20??/**/ Obtém todos os arquivos no século XX.

  • /data/sales/*/*/*.csv Obtém arquivos CSV dois níveis em /data/sales.

  • /data/sales/2004/*/12/[XY]1?.csv Obtém todos os arquivos CSV de dezembro de 2004 que começam com X ou Y prefixado por um número de dois dígitos.

Caminho raiz da partição: se você tiver pastas particionadas em sua fonte de arquivo com um formato key=value (por exemplo, year=2019), poderá atribuir o nível superior da árvore de pastas dessa partição a um nome de coluna no fluxo de dados.

Primeiro, defina um curinga para incluir todos os caminhos que são as pastas particionadas mais os arquivos folha que você deseja ler.

Screenshot of partition source file settings in mapping data flow source transformation.

Use a configuração do caminho raiz da partição para definir qual é o nível superior da estrutura de pastas. Ao ver o conteúdo dos seus dados por meio de uma visualização de dados, você observará que o serviço adiciona as partições resolvidas encontradas em cada um dos níveis de pasta.

Partition root path

Lista de arquivos: é um conjunto de arquivos. Crie um arquivo de texto que inclui uma lista de arquivos do caminho relativo a serem processados. Aponte para este arquivo de texto.

Coluna para armazenar o nome do arquivo: armazene o nome do arquivo de origem em uma coluna em seus dados. Insira um novo nome de coluna para armazenar a cadeia de caracteres de nome de arquivo.

Após a conclusão: Opte por não fazer nada com o arquivo de origem após a execução de fluxo de dados, excluir o arquivo de origem ou mover o arquivo de origem. Os caminhos para movimentação são relativos.

Para mover os arquivos de origem para outro local após o processamento, primeiro selecione "Mover" para a operação de arquivo. Em seguida, defina o diretório "de". Se você não estiver usando curingas para o caminho, a configuração "de" será a mesma pasta que a de origem.

Se você tiver um caminho de origem com curinga, a sintaxe será a seguinte:

/data/sales/20??/**/*.csv

Você pode especificar "de" como:

/data/sales

E você pode especificar "para" como:

/backup/priorSales

Nesse caso, todos os arquivos que foram originados em /data/sales são movidos para /backup/priorSales.

Observação

As operações do arquivo são executadas somente quando você inicia o fluxo de dados de uma execução de pipeline (depuração de pipeline ou realização da execução) que usa a atividade Executar Fluxo de Dados em um pipeline. As operações de arquivo não são executadas no modo de depuração do Fluxo de Dados.

Filtrar pela última modificação: você pode filtrar os arquivos a serem processados especificando um intervalo de datas de quando eles foram modificados pela última vez. Todos os datetimes estão em UTC.

Habilitar captura de dados de alterações: se verdadeiro, você receberá arquivos novos ou alterados somente a partir da última execução. O carregamento inicial de dados de instantâneo completo sempre será obtido na primeira execução, seguido pela captura de arquivos novos ou alterados apenas nas próximas execuções.

Screenshot showing Enable change data capture.

Propriedades do coletor

Na transformação do coletor, você pode gravar em um contêiner ou em uma pasta no Armazenamento de Blobs do Azure. Use a guia Configurações para gerenciar como os arquivos são gravados.

Sink options

Limpe a pasta: determina se a pasta de destino é limpa ou não antes de os dados serem gravados.

Opção do nome do arquivo: determina como os arquivos de destino são nomeados na pasta de destino. As opções de nome de arquivo são:

  • Padrão: permitir que o Spark nomeie arquivos com base nos padrões de PART.
  • Padrão: insira um padrão que enumere os arquivos de saída por partição. Por exemplo, loans[n].csv cria loans1.csv, loans2.csv etc.
  • Por partição: insira um nome de arquivo por partição.
  • Como dados na coluna: defina o arquivo de saída para o valor de uma coluna. O caminho é relativo ao contêiner de conjunto de dados, não à pasta de destino. Se você tiver um caminho de pasta no seu conjunto de dados, ele será substituído.
  • Saída para um único arquivo: combine os arquivos de saída particionados em um único arquivo nomeado. O caminho é relativo à pasta do conjunto de dados. Lembre-se de que a operação de mesclagem pode falhar com base no tamanho do nó. Não recomendamos essa opção para grandes conjuntos de dados.

Citar tudo: determina se todos os valores devem ser delimitados por aspas.

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Propriedades de atividade GetMetadata

Para saber detalhes sobre as propriedades, confira Atividade GetMetadata.

Excluir propriedades da atividade

Para saber mais detalhes sobre as propriedades, confira Atividade Delete.

Modelos herdados

Observação

Os modelos a seguir ainda têm suporte no estado em que se encontram, para compatibilidade com versões anteriores. Sugerimos que você use o novo modelo mencionado anteriormente. A criação da interface do usuário do Data Factory mudou para gerar o novo modelo.

Modelo de conjunto de dados herdado

Propriedade Descrição Obrigatório
type A propriedade type do conjunto de dados deve ser definida como AzureBlob. Sim
folderPath Caminho para contêiner e pasta no Armazenamento de Blob.

O filtro curinga é permitido para o caminho, excluindo o nome do contêiner. Os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único). Use ^ como escape se o nome real da pasta tiver curingas ou esse caractere de escape.

Um exemplo é: myblobcontainer/myblobfolder/. Veja mais exemplos em Exemplos de filtro de pastas e arquivos.		 Sim para a atividade Copy ou Lookup, não para a atividade GetMetadata
fileName Filtro de nome ou curinga para os blobs no valor folderPath especificado. Se você não especificar algum valor para essa propriedade, o conjunto de dados apontará para todos os blobs na pasta.

Para o filtro, os curingas permitidos são: * (corresponde a zero ou mais caracteres) e ? (corresponde a zero ou caractere único).
– Exemplo 1: "fileName": "*.csv"
– Exemplo 2: "fileName": "???20180427.txt"
Use ^ como escape se o nome do arquivo contiver um curinga ou esse caractere de escape.

Quando fileName não é especificado para um conjunto de dados de saída e preserveHierarchy não é especificado no coletor de atividade, a atividade Copy gera o nome do arquivo automaticamente com o seguinte formato: "Data.[activity run ID GUID].[GUID if FlattenHierarchy].[format if configured].[compression if configured] ". Por exemplo: "Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt.gz".

Se você copiar da fonte tabular usando o nome da tabela em vez da consulta, o nome padrão será [table name].[format].[compression if configured]. Por exemplo, "MyTable.csv".		 Não
modifiedDatetimeStart Os arquivos são filtrados com base no atributo última modificação. Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z".

Lembre-se de que, ao habilitar essa configuração, o desempenho geral da movimentação de dados será afetado quando você desejar filtrar grandes quantidades de arquivos.

As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tiver um valor datetime, mas modifiedDatetimeStart for NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime.		 Não
modifiedDatetimeEnd Os arquivos são filtrados com base no atributo última modificação. Os arquivos serão selecionados se a hora da última modificação for maior ou igual a modifiedDatetimeStart e menor que modifiedDatetimeEnd. A hora é aplicada ao fuso horário de UTC no formato "2018-12-01T05:00:00Z".

Lembre-se de que, ao habilitar essa configuração, o desempenho geral da movimentação de dados será afetado quando você desejar filtrar grandes quantidades de arquivos.

As propriedades podem ser NULL, o que significa que nenhum filtro de atributo de arquivo será aplicado ao conjunto de dados. Quando modifiedDatetimeStart tiver um valor de datetime, mas modifiedDatetimeEnd for NULL, serão selecionados os arquivos cujo último atributo modificado for maior ou igual ao valor de datetime. Quando modifiedDatetimeEnd tiver um valor datetime, mas modifiedDatetimeStart for NULL, serão selecionados os arquivos cujo último atributo modificado for menor que o valor do datetime.		 Não
format Se você quiser copiar arquivos no estado em que se encontram entre repositórios baseados em arquivo (cópia binária), ignore a seção de formato nas duas definições de conjunto de dados de entrada e de saída.

Se você quer analisar ou gerar arquivos com um formato específico, os seguintes tipos de formato de arquivo são compatíveis: TextFormat, JsonFormat, AvroFormat, OrcFormat e ParquetFormat. Defina a propriedade type sob format para um desses valores. Para saber mais, veja as seções Formato de texto, Formato JSON, Formato Avro, Formato Orc e Formato Parquet.		 Não (somente para o cenário de cópia binária)
compactação Especifique o tipo e o nível de compactação para os dados. Para obter mais informações, consulte Formatos de arquivo e codecs de compactação com suporte.
Os tipos com suporte são: GZip, Deflate, BZip2 e ZipDeflate.
Os níveis de suporte são Ideal e Mais rápido.		 Não

Dica

Para copiar todos os blobs em uma pasta, especifique folderPath somente.
Para copiar um único blob com determinado nome, especifique folderPath para a parte da pasta e fileName para o nome do arquivo.
Para copiar um subconjunto de blobs em uma pasta, especifique folderPath para a parte da pasta e fileName com um filtro curinga.

Exemplo:

{
    "name": "AzureBlobDataset",
    "properties": {
        "type": "AzureBlob",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "mycontainer/myfolder",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Modelo de origem herdado para a atividade Copy

Propriedade Descrição Obrigatório
type A propriedade type da fonte da atividade Copy deve ser definida como BlobSource. Sim
recursiva Indica se os dados são lidos recursivamente das subpastas ou somente da pasta especificada. Quando recursive é definido como true e o coletor é um repositório baseado em arquivo, uma pasta ou uma subpasta vazia não é copiada nem criada no coletor.
Os valores permitidos são true (padrão) e false.		 Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas. Não

Exemplo:

"activities":[
    {
        "name": "CopyFromBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure Blob input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Modelo de coletor herdado para a atividade Copy

Propriedade Descrição Obrigatório
type A propriedade type do coletor de atividade Copy deve ser definida como BlobSink. Sim
copyBehavior Define o comportamento de cópia quando a fonte for de arquivos de um armazenamento de dados baseado em arquivo.

Valores permitidos são:
– PreserveHierarchy (padrão): Preserva a hierarquia de arquivos na pasta de destino. O caminho relativo do arquivo de origem para a pasta de origem é idêntico ao caminho relativo do arquivo de destino para a pasta de destino.
– FlattenHierarchy: Todos os arquivos da pasta de origem estão no primeiro nível da pasta de destino. Os arquivos de destino têm os nomes gerados automaticamente.
– MergeFiles: Mescla todos os arquivos da pasta de origem em um arquivo. Se o nome do arquivo ou do blob for especificado, o nome do arquivo mesclado será o nome especificado. Caso contrário, ele será um nome de arquivo gerado automaticamente.		 Não
maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas. Não

Exemplo:

"activities":[
    {
        "name": "CopyToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Blob output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BlobSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

captura de dados de alterações

O Azure Data Factory pode obter arquivos novos ou alterados somente do Armazenamento de Blobs do Azure habilitando-se a opção **Habilitar a captura de dados de alterações** na transformação da origem do fluxo de dados de mapeamento. Com essa opção de conector, você pode ler arquivos novos ou atualizados somente e aplicar transformações antes de carregar dados transformados nos conjuntos de dados de destino de sua escolha. Consulte Captura de dados de alterações para obter detalhes.

.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados que a atividade Copy suporta, como fontes e coletores, consulte Armazenamentos de dados compatíveis.