Metaadatok és ACL-ek megőrzése másolási tevékenység használatával az Azure Data Factoryben vagy a Synapse Analyticsben
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ha az Azure Data Factory vagy a Synapse Analytics-folyamatok másolási tevékenységét használja az adatok forrásból fogadóba másolásához, az alábbi forgatókönyvekben a metaadatokat és az ACL-eket is megőrizheti.
Metaadatok megőrzése a tómigráláshoz
Amikor adatokat migrál egy adattóból egy másikba, például az Amazon S3-ba, az Azure Blobba, az Azure Data Lake Storage Gen2-be és az Azure Filesba, dönthet úgy, hogy az adatokkal együtt megőrzi a fájl metaadatait.
Copy tevékenység támogatja a következő attribútumok megőrzését az adatmásolás során:
- Az ügyfél által megadott összes metaadat
- És a következő öt adattár beépített rendszertulajdonsága:
contentType,contentLanguage(kivéve az Amazon S3-at),contentEncoding, ,cacheControlcontentDisposition.
A metaadatok közötti különbségek kezelése: Az Amazon S3 és az Azure Storage különböző karakterkészleteket engedélyez az ügyfél által megadott metaadatok kulcsaiban. Ha úgy dönt, hogy másolási tevékenységgel megőrzi a metaadatokat, a szolgáltatás automatikusan lecseréli az érvénytelen karaktereket a következőre: "_".
Ha fájlokat másol az Amazon S3/Azure Data Lake Storage Gen2/Azure Blob Storage/Azure Files szolgáltatásból az Azure Data Lake Storage Gen2/Azure Blob Storage/Azure Files fájlba bináris formátumban, a Másolási tevékenység> Gépház lapon a tevékenység létrehozásához vagy a másolási adateszköz Gépház lapján található Megőrzés lehetőséget találja.
Íme egy példa a másolási tevékenység JSON-konfigurációjára (lásd preserve: ):
"activities":[
{
"name": "CopyAndPreserveMetadata",
"type": "Copy",
"typeProperties": {
"source": {
"type": "BinarySource",
"storeSettings": {
"type": "AmazonS3ReadSettings",
"recursive": true
}
},
"sink": {
"type": "BinarySink",
"storeSettings": {
"type": "AzureBlobFSWriteSettings"
}
},
"preserve": [
"Attributes"
]
},
"inputs": [
{
"referenceName": "<Binary dataset Amazon S3/Azure Blob/ADLS Gen2 source>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Binary dataset for Azure Blob/ADLS Gen2 sink>",
"type": "DatasetReference"
}
]
}
]
ACL-ek megőrzése a Data Lake Storage Gen1/Gen2-ből Gen2-be
Amikor az Azure Data Lake Storage Gen1-ről Gen2-re frissít, vagy adatokat másol az ADLS Gen2 között, a POSIX-hozzáférés-vezérlési listákat (ACL-eket) és az adatfájlokat is megőrizheti. A hozzáférés-vezérléssel kapcsolatos további információkért lásd : Hozzáférés-vezérlés az Azure Data Lake Storage Gen1-ben és hozzáférés-vezérlés az Azure Data Lake Storage Gen2-ben.
Copy tevékenység támogatja a következő típusú ACL-ek megőrzését az adatmásolás során. Választhat egy vagy több típust:
- ACL: A POSIX-hozzáférés-vezérlési listák másolása és megőrzése fájlokon és könyvtárakon. A teljes meglévő ACL-t átmásolja a forrásból a fogadóba.
- Tulajdonos: Másolja és őrizze meg a fájlok és könyvtárak tulajdonos felhasználóját. A 2. generációs Data Lake Storage fogadóhoz való szuperfelhasználói hozzáférésre van szükség.
- Csoport: Másolja és őrizze meg a fájlok és könyvtárak tulajdonoscsoportját. A 2. generációs Data Lake Storage-hoz vagy a tulajdonos felhasználóhoz (ha a tulajdonos felhasználó is tagja a célcsoportnak) super-user hozzáférésre van szükség.
Ha megadhatja, hogy egy mappából másoljon, a szolgáltatás replikálja az adott mappához tartozó ACL-eket, valamint az alatta lévő fájlokat és könyvtárakat, ha recursive igaz értékre van állítva. Ha egyetlen fájlból szeretné másolni a fájlt, a program az adott fájlban lévő ACL-eket másolja.
Megjegyzés:
Amikor a másolási tevékenység használatával megőrzi az ACL-eket a Data Lake Storage Gen1/Gen2 és Gen2 között, a rendszer felülírja a fogadó Gen2 megfelelő mappáján/fájljain lévő meglévő ACL-eket.
Fontos
Ha úgy dönt, hogy megőrzi az ACL-eket, győződjön meg arról, hogy elég magas engedélyeket ad ahhoz, hogy a szolgáltatás működjön a fogadó Data Lake Storage Gen2-fiókján. Használjon például fiókkulcs-hitelesítést, vagy rendelje hozzá a Storage Blob Data Owner szerepkört a szolgáltatásnévhez vagy a felügyelt identitáshoz.
Ha a forrást Data Lake Storage Gen1/Gen2-ként konfigurálja bináris formátumban vagy bináris másolási beállítással, és a Data Lake Storage Gen2 bináris formátummal vagy bináris másolási lehetőséggel fogadóként dolgozik, a Másolási adateszköz Gépház lapján vagy a Másolási tevékenység> Gépház lapon találja a tevékenységkészítéshez.
Íme egy példa a másolási tevékenység JSON-konfigurációjára (lásd preserve: ):
"activities":[
{
"name": "CopyAndPreserveACLs",
"type": "Copy",
"typeProperties": {
"source": {
"type": "BinarySource",
"storeSettings": {
"type": "AzureDataLakeStoreReadSettings",
"recursive": true
}
},
"sink": {
"type": "BinarySink",
"storeSettings": {
"type": "AzureBlobFSWriteSettings"
}
},
"preserve": [
"ACL",
"Owner",
"Group"
]
},
"inputs": [
{
"referenceName": "<Binary dataset name for Azure Data Lake Storage Gen1/Gen2 source>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Binary dataset name for Azure Data Lake Storage Gen2 sink>",
"type": "DatasetReference"
}
]
}
]
Kapcsolódó tartalom
Lásd a másolási tevékenységről szóló további cikkeket: