Bevara metadata och ACL:er med kopieringsaktivitet i Azure Data Factory eller Synapse Analytics
GÄLLER FÖR:
Azure Data Factory Azure Synapse Analytics
Dricks
Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!
När du använder Azure Data Factory- eller Synapse Analytics-pipelines kopierar du aktivitet för att kopiera data från källa till mottagare. I följande scenarier kan du också bevara metadata och ACL:er.
Bevara metadata för sjömigrering
När du migrerar data från en datasjö till en annan, inklusive Amazon S3, Azure Blob, Azure Data Lake Storage Gen2 och Azure Files, kan du välja att bevara filmetadata tillsammans med data.
aktiviteten Kopiera stöder bevarande av följande attribut under datakopiering:
- Alla kunddefinierade metadata
- Och följande fem inbyggda systemegenskaper för datalager:
contentType,contentLanguage(förutom Amazon S3),contentEncoding, ,contentDispositioncacheControl.
Hantera skillnader i metadata: Amazon S3 och Azure Storage tillåter olika uppsättningar tecken i nycklarna för kunddefinierade metadata. När du väljer att bevara metadata med kopieringsaktivitet ersätter tjänsten automatiskt de ogiltiga tecknen med '_'.
När du kopierar filer som de är från Amazon S3/Azure Data Lake Storage Gen2/Azure Blob Storage/Azure Files till Azure Data Lake Storage Gen2/Azure Blob Storage/Azure Files med binärt format, hittar du alternativet Bevara på fliken Kopieringsaktivitet> Inställningar för aktivitetsredigering eller sidan Inställningar i verktyget Kopiera data.
Här är ett exempel på JSON-konfiguration för kopieringsaktivitet (se preserve):
"activities":[
{
"name": "CopyAndPreserveMetadata",
"type": "Copy",
"typeProperties": {
"source": {
"type": "BinarySource",
"storeSettings": {
"type": "AmazonS3ReadSettings",
"recursive": true
}
},
"sink": {
"type": "BinarySink",
"storeSettings": {
"type": "AzureBlobFSWriteSettings"
}
},
"preserve": [
"Attributes"
]
},
"inputs": [
{
"referenceName": "<Binary dataset Amazon S3/Azure Blob/ADLS Gen2 source>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Binary dataset for Azure Blob/ADLS Gen2 sink>",
"type": "DatasetReference"
}
]
}
]
Bevara ACL:er från Data Lake Storage Gen1/Gen2 till Gen2
När du uppgraderar från Azure Data Lake Storage Gen1 till Gen2 eller kopierar data mellan ADLS Gen2 kan du välja att bevara POSIX-åtkomstkontrollistorna (ACL: er) tillsammans med datafiler. Mer information om åtkomstkontroll finns i Åtkomstkontroll i Azure Data Lake Storage Gen1 och Åtkomstkontroll i Azure Data Lake Storage Gen2.
aktiviteten Kopiera stöder bevarande av följande typer av ACL:er under datakopiering. Du kan välja en eller flera typer:
- ACL: Kopiera och bevara POSIX-åtkomstkontrollistor på filer och kataloger. Den kopierar de fullständiga befintliga ACL:erna från källa till mottagare.
- Ägare: Kopiera och bevara den ägande användaren av filer och kataloger. Superanvändaråtkomst till Data Lake Storage Gen2 krävs.
- Grupp: Kopiera och bevara den ägande gruppen med filer och kataloger. Superanvändaråtkomst till data lakelagrings gen2 eller den ägande användaren (om den ägande användaren också är medlem i målgruppen) krävs.
Om du anger att kopiera från en mapp replikerar tjänsten ACL:erna för den angivna mappen och filerna och katalogerna under den, om recursive är inställt på sant. Om du anger att du ska kopiera från en enda fil kopieras ACL:erna på filen.
Kommentar
När du använder kopieringsaktiviteten för att bevara ACL:er från Data Lake Storage Gen1/Gen2 till Gen2 skrivs de befintliga ACL:erna på gen2s motsvarande mapp/filer över.
Viktigt!
När du väljer att bevara ACL:er måste du bevilja tillräckligt höga behörigheter för att tjänsten ska fungera mot ditt Data Lake Storage Gen2-konto. Du kan till exempel använda kontonyckelautentisering eller tilldela rollen Lagringsblobdataägare till tjänstens huvudnamn eller hanterade identitet.
När du konfigurerar källan som Data Lake Storage Gen1/Gen2 med binärt format eller alternativet för binär kopiering och mottagare som Data Lake Storage Gen2 med binärt format eller alternativet för binär kopiering, hittar du alternativet Bevara på sidan Inställningar i verktyget Kopiera data eller på fliken Kopieringsaktivitet> Inställningar för aktivitetsredigering.
Här är ett exempel på JSON-konfiguration för kopieringsaktivitet (se preserve):
"activities":[
{
"name": "CopyAndPreserveACLs",
"type": "Copy",
"typeProperties": {
"source": {
"type": "BinarySource",
"storeSettings": {
"type": "AzureDataLakeStoreReadSettings",
"recursive": true
}
},
"sink": {
"type": "BinarySink",
"storeSettings": {
"type": "AzureBlobFSWriteSettings"
}
},
"preserve": [
"ACL",
"Owner",
"Group"
]
},
"inputs": [
{
"referenceName": "<Binary dataset name for Azure Data Lake Storage Gen1/Gen2 source>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Binary dataset name for Azure Data Lake Storage Gen2 sink>",
"type": "DatasetReference"
}
]
}
]
Relaterat innehåll
Se de andra artiklarna om kopieringsaktivitet: