Zachování metadat a seznamů ACL pomocí aktivity kopírování ve službě Azure Data Factory nebo Synapse Analytics

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Pokud ke kopírování dat ze zdroje do jímky používáte aktivitu kopírování kanálů Azure Data Factory nebo Synapse Analytics, můžete v následujících scénářích zachovat také metadata a seznamy ACL.

Zachování metadat pro migraci jezera

Když migrujete data z jednoho datového jezera do jiného, včetně Amazon S3, Azure Blob, Azure Data Lake Storage Gen2 a Azure Files, můžete zvolit zachování metadat souborů spolu s daty.

aktivita Copy podporuje zachování následujících atributů během kopírování dat:

• Všechna metadata zadaná zákazníkem
• A následujících pět předdefinovaných systémových vlastností úložiště dat: contentType, contentLanguage (s výjimkou Amazon S3), contentEncoding, , contentDisposition. cacheControl

Zpracování rozdílů v metadatech: Amazon S3 a Azure Storage umožňují různé sady znaků v klíčích metadat zadaných zákazníkem. Když se rozhodnete zachovat metadata pomocí aktivity kopírování, služba automaticky nahradí neplatné znaky znakem _.

Při kopírování souborů z AmazonU S3/ Azure Data Lake Storage Gen2/ Azure Blob Storage/ Azure Files do Azure Data Lake Storage Gen2/ Azure Blob Storage / Azure Files s binárním formátem najdete možnost Zachovat na kartě Aktivita> kopírování Nastavení pro vytváření aktivit nebo na stránce Nastavení v nástroji pro kopírování dat.

Tady je příklad konfigurace JSON aktivity kopírování (viz preserve):

"activities":[
    {
        "name": "CopyAndPreserveMetadata",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AmazonS3ReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "BinarySink",
                "storeSettings": {
                    "type": "AzureBlobFSWriteSettings"
                }
            },
            "preserve": [
                "Attributes"
            ]
        },
        "inputs": [
            {
                "referenceName": "<Binary dataset Amazon S3/Azure Blob/ADLS Gen2 source>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Binary dataset for Azure Blob/ADLS Gen2 sink>",
                "type": "DatasetReference"
            }
        ]
    }
]

Zachování seznamů ACL z Data Lake Storage Gen1/Gen2 na Gen2

Při upgradu z Azure Data Lake Storage Gen1 na Gen2 nebo kopírování dat mezi ADLS Gen2 můžete zvolit zachování seznamů řízení přístupu (ACL) POSIX spolu s datovými soubory. Další informace o řízení přístupu najdete v tématu Řízení přístupu v Azure Data Lake Storage Gen1 a Řízení přístupu v Azure Data Lake Storage Gen2.

aktivita Copy podporuje zachování následujících typů seznamů ACL během kopírování dat. Můžete vybrat jeden nebo více typů:

• ACL: Kopírování a zachování seznamů řízení přístupu POSIX u souborů a adresářů. Zkopíruje úplné existující seznamy ACL ze zdroje do jímky.
• Vlastník: Zkopírujte a zachovejte vlastníka souborů a adresářů. Vyžaduje se přístup superuživatele ke službě Data Lake Storage Gen2.
• Skupina: Zkopírujte a zachovejte vlastnící skupinu souborů a adresářů. Vyžaduje se přístup superuživatele ke službě Data Lake Storage Gen2 nebo vlastnícího uživatele (pokud je vlastníkem také člen cílové skupiny).

Pokud zadáte kopírování ze složky, služba replikuje seznamy ACL pro danou složku a soubory a adresáře, pokud recursive je nastavena na hodnotu true. Pokud zadáte kopírování z jednoho souboru, zkopírují se seznamy ACL v daném souboru.

Poznámka:

Když použijete aktivitu kopírování k zachování seznamů ACL z Data Lake Storage Gen1/Gen2 na Gen2, stávající seznamy ACL v odpovídající složce nebo souborech jímky Gen2 se přepíšou.

Důležité

Pokud se rozhodnete zachovat seznamy ACL, ujistěte se, že službě udělíte dostatečná oprávnění pro provoz s vaším účtem Data Lake Storage Gen2 jímky. Použijte například ověřování pomocí klíče účtu nebo přiřaďte roli Vlastník dat objektu blob služby k instančnímu objektu nebo spravované identitě.

Když zdroj nakonfigurujete jako Data Lake Storage Gen1/Gen2 s binárním formátem nebo možností binárního kopírování a jímky jako Data Lake Storage Gen2 s binárním formátem nebo možností binární kopie, najdete možnost Zachovat na stránce Nastavení v nástroji pro kopírování dat nebo na kartě Aktivita> kopírování Nastavení pro vytváření aktivit.

Tady je příklad konfigurace JSON aktivity kopírování (viz preserve):

"activities":[
    {
        "name": "CopyAndPreserveACLs",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureDataLakeStoreReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "BinarySink",
                "storeSettings": {
                    "type": "AzureBlobFSWriteSettings"
                }
            },
            "preserve": [
                "ACL",
                "Owner",
                "Group"
            ]
        },
        "inputs": [
            {
                "referenceName": "<Binary dataset name for Azure Data Lake Storage Gen1/Gen2 source>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Binary dataset name for Azure Data Lake Storage Gen2 sink>",
                "type": "DatasetReference"
            }
        ]
    }
]

Související obsah

Podívejte se na další články o aktivitě kopírování:

• přehled aktivita Copy
• výkon aktivita Copy