Formato binário no Azure Data Factory e Synapse Analytics
APLICA-SE A:
Azure Data Factory Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
O formato binário é compatível com os seguintes conectores: Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage e SFTP.
Você pode usar o conjunto de dados binário em Copiar atividade, GetMetadata atividade ou Excluir atividade. Ao usar o conjunto de dados binário, o serviço não analisa o conteúdo do arquivo, mas o trata como está.
Nota
Ao usar o conjunto de dados binário na atividade de cópia, você só pode copiar do conjunto de dados binário para o conjunto de dados binário.
Propriedades do conjunto de dados
Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo Conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados binário.
| Propriedade | Descrição | Necessário |
|---|---|---|
| tipo | A propriedade type do conjunto de dados deve ser definida como Binary. | Sim |
| localização | Configurações de localização do(s) arquivo(s). Cada conector baseado em arquivo tem seu próprio tipo de local e propriedades suportadas em location. Consulte os detalhes no artigo do conector -> seção Propriedades do conjunto de dados. |
Sim |
| compressão | Grupo de propriedades para configurar a compactação de arquivos. Configure esta seção quando quiser fazer compressão/descompactação durante a execução da atividade. | Não |
| tipo | O codec de compressão usado para ler / gravar arquivos binários. Os valores permitidos são bzip2, gzip, deflate, ZipDeflate, Tar ou TarGzip. Observe que, ao usar a atividade de cópia para descompactar o(s) arquivo(s) TarGzip/Tar do ZipDeflate/e gravar no armazenamento de dados do coletor baseado em arquivo, por padrão, os arquivos são extraídos para a pasta: <path specified in dataset>/<folder named as source compressed file>/, use/preserveCompressionFileNameAsFolderpreserveZipFileNameAsFolderna fonte de atividade de cópia para controlar se o nome do(s) arquivo(s) compactado(s) deve ser preservado como estrutura de pasta. |
Não |
| nível | A taxa de compressão. Aplique quando o conjunto de dados for usado no coletor de atividade de cópia. Os valores permitidos são Ótimo ou Mais Rápido. - Mais rápido: A operação de compressão deve ser concluída o mais rápido possível, mesmo que o arquivo resultante não seja compactado de forma ideal. - Ideal: A operação de compressão deve ser compactada de forma ideal, mesmo que a operação demore mais tempo para ser concluída. Para obter mais informações, consulte o tópico Nível de compactação. |
Não |
Abaixo está um exemplo de conjunto de dados binário no Armazenamento de Blob do Azure:
{
"name": "BinaryDataset",
"properties": {
"type": "Binary",
"linkedServiceName": {
"referenceName": "<Azure Blob Storage linked service name>",
"type": "LinkedServiceReference"
},
"typeProperties": {
"location": {
"type": "AzureBlobStorageLocation",
"container": "containername",
"folderPath": "folder/subfolder",
},
"compression": {
"type": "ZipDeflate"
}
}
}
}
Propriedades da atividade Copy
Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela fonte binária e coletor.
Nota
Ao usar o conjunto de dados binário na atividade de cópia, você só pode copiar do conjunto de dados binário para o conjunto de dados binário.
Binário como fonte
As propriedades a seguir são suportadas na seção copy activity *source* .
| Propriedade | Descrição | Necessário |
|---|---|---|
| tipo | A propriedade type da fonte de atividade de cópia deve ser definida como BinarySource. | Sim |
| formatConfigurações | Um grupo de propriedades. Consulte a tabela de configurações de leitura binária abaixo. | Não |
| storeSettings | Um grupo de propriedades sobre como ler dados de um armazenamento de dados. Cada conector baseado em arquivo tem suas próprias configurações de leitura suportadas em storeSettings. Veja os detalhes no artigo do conector -> Seção Copiar propriedades da atividade. |
Não |
Configurações de leitura binárias suportadas em formatSettings:
| Propriedade | Descrição | Necessário |
|---|---|---|
| tipo | O tipo de formatSettings deve ser definido como BinaryReadSettings. | Sim |
| compressionPropriedades | Um grupo de propriedades sobre como descompactar dados para um determinado codec de compactação. | Não |
| preserveZipFileNameAsFolder (em compressionProperties->type como ZipDeflateReadSettings) |
Aplica-se quando o conjunto de dados de entrada é configurado com compactação ZipDeflate . Indica se o nome do arquivo zip de origem deve ser preservado como estrutura de pastas durante a cópia. - Quando definido como true (padrão), o serviço grava arquivos descompactados em <path specified in dataset>/<folder named as source zip file>/.- Quando definido como false, o serviço grava arquivos descompactados diretamente no <path specified in dataset>. Certifique-se de que não tem nomes de ficheiros duplicados em ficheiros zip de origem diferentes para evitar corridas ou comportamentos inesperados. |
Não |
| preserveCompressionFileNameAsFolder (em compressionProperties->type como TarGZipReadSettings ou TarReadSettings) |
Aplica-se quando o conjunto de dados de entrada é configurado com compactação TarGzip/Tar. Indica se o nome do arquivo compactado de origem deve ser preservado como estrutura de pasta durante a cópia. - Quando definido como true (padrão), o serviço grava arquivos descompactados em <path specified in dataset>/<folder named as source compressed file>/. - Quando definido como false, o serviço grava arquivos descompactados diretamente no <path specified in dataset>. Certifique-se de que não tem nomes de ficheiro duplicados em ficheiros de origem diferentes para evitar corridas ou comportamentos inesperados. |
Não |
"activities": [
{
"name": "CopyFromBinary",
"type": "Copy",
"typeProperties": {
"source": {
"type": "BinarySource",
"storeSettings": {
"type": "AzureBlobStorageReadSettings",
"recursive": true,
"deleteFilesAfterCompletion": true
},
"formatSettings": {
"type": "BinaryReadSettings",
"compressionProperties": {
"type": "ZipDeflateReadSettings",
"preserveZipFileNameAsFolder": false
}
}
},
...
}
...
}
]
Binário como sumidouro
As propriedades a seguir são suportadas na seção de atividade de cópia *sink* .
| Propriedade | Descrição | Necessário |
|---|---|---|
| tipo | A propriedade type da fonte de atividade de cópia deve ser definida como BinarySink. | Sim |
| storeSettings | Um grupo de propriedades sobre como gravar dados em um armazenamento de dados. Cada conector baseado em arquivo tem suas próprias configurações de gravação suportadas em storeSettings. Veja os detalhes no artigo do conector -> Seção Copiar propriedades da atividade. |
Não |