Azure Data Factory veya Synapse Analytics'te kopyalama etkinliğini kullanarak meta verileri ve ACL'leri koruma
UYGULANANLAR:
Azure Data Factory Azure Synapse Analytics
Bahşiş
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Verileri kaynaktan havuza kopyalamak için Azure Data Factory veya Synapse Analytics işlem hatlarını kopyalama etkinliğini kullandığınızda, aşağıdaki senaryolarda meta verileri ve ACL'leri de koruyabilirsiniz.
Göl geçişi için meta verileri koruma
Amazon S3, Azure Blob, Azure Data Lake Storage 2. Nesil ve Azure Dosyalar gibi bir veri gölünden diğerine veri geçirdiğinizde, verilerle birlikte dosya meta verilerini de korumayı seçebilirsiniz.
Kopyalama etkinliği, veri kopyalama sırasında aşağıdaki özniteliklerin korunmasını destekler:
- Müşterinin belirttiği tüm meta veriler
- Ve aşağıdaki beş veri deposu yerleşik sistem özelliği:
contentType,contentLanguage(Amazon S3 hariç),contentEncoding,contentDisposition,cacheControl.
Meta verilerdeki farkları işleme: Amazon S3 ve Azure Depolama, müşteri tarafından belirtilen meta verilerin anahtarlarında farklı karakter kümelerine izin verir. Kopyalama etkinliğini kullanarak meta verileri korumayı seçtiğinizde, hizmet geçersiz karakterleri otomatik olarak '_' ile değiştirir.
Dosyaları Amazon S3/Azure Data Lake Storage 2. Nesil/Azure Blob depolama/Azure Dosyalar'dan ikili biçimli Azure Data Lake Storage 2. Nesil/Azure Blob depolama/Azure Dosyalar'a olduğu gibi kopyaladığınızda, Koru'yu bulabilirsiniz etkinlik yazma için Kopyalama Etkinliği> Ayarlar sekmesinde veya Veri Kopyalama Aracı'ndaki Ayarlar sayfasında seçeneği.
Aşağıda kopyalama etkinliği JSON yapılandırması örneği verilmiştir (bkz preserve: ):
"activities":[
{
"name": "CopyAndPreserveMetadata",
"type": "Copy",
"typeProperties": {
"source": {
"type": "BinarySource",
"storeSettings": {
"type": "AmazonS3ReadSettings",
"recursive": true
}
},
"sink": {
"type": "BinarySink",
"storeSettings": {
"type": "AzureBlobFSWriteSettings"
}
},
"preserve": [
"Attributes"
]
},
"inputs": [
{
"referenceName": "<Binary dataset Amazon S3/Azure Blob/ADLS Gen2 source>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Binary dataset for Azure Blob/ADLS Gen2 sink>",
"type": "DatasetReference"
}
]
}
]
Data Lake Storage 1. Nesil/2. Nesilden 2. Nesil'e ACL'leri koruma
Azure Data Lake Storage 1. Nesil'den 2. Nesil'e yükseltirken veya ADLS 2. Nesil arasında veri kopyaladığınızda, veri dosyalarıyla birlikte POSIX erişim denetim listelerini (ACL'ler) korumayı seçebilirsiniz. Erişim denetimi hakkında daha fazla bilgi için bkz. Azure Data Lake Storage 1. Nesil'de erişim denetimi ve Azure Data Lake Storage 2. Nesil'de Erişim denetimi.
Kopyalama etkinliği, veri kopyalama sırasında aşağıdaki ACL türlerinin korunmasını destekler. Bir veya daha fazla tür seçebilirsiniz:
- ACL: Dosya ve dizinlerde POSIX erişim denetimi listelerini kopyalayın ve koruyun. Var olan ACL'lerin tamamını kaynaktan havuza kopyalar.
- Sahip: Dosya ve dizinlerin sahibi olan kullanıcıyı kopyalayın ve koruyun. Havuz Data Lake Storage 2. Nesil süper kullanıcı erişimi gereklidir.
- Grup: Sahip olan dosya ve dizin grubunu kopyalayın ve koruyun. Havuz Data Lake Storage 2. Nesil veya sahip olan kullanıcıya (sahip olan kullanıcı da hedef grubun üyesiyse) süper kullanıcı erişimi gereklidir.
Bir klasörden kopyalamayı belirtirseniz, hizmet söz konusu klasörün ACL'lerini ve true olarak ayarlanmışsa recursive altındaki dosyaları ve dizinleri çoğaltır. Tek bir dosyadan kopyalamayı belirtirseniz, bu dosyadaki ACL'ler kopyalanır.
Dekont
Data Lake Storage 1. Nesil/2. Nesil'den 2. Nesil'e ACL'leri korumak için kopyalama etkinliğini kullandığınızda, havuz 2. Nesil'in ilgili klasör/dosyalarındaki mevcut ACL'lerin üzerine yazılır.
Önemli
ACL'leri korumayı seçtiğinizde, hizmetin havuz Data Lake Storage 2. Nesil hesabınızda çalışması için yeterli sayıda izin verdiğinden emin olun. Örneğin, hesap anahtarı kimlik doğrulamasını kullanın veya hizmet sorumlusuna veya yönetilen kimliğe Depolama Blob Veri Sahibi rolünü atayın.
Kaynağı ikili biçim veya ikili kopyalama seçeneğiyle Data Lake Storage 1. Nesil/2. Nesil olarak yapılandırdığınızda ve ikili biçimi veya ikili kopyalama seçeneğiyle Data Lake Storage 2. Nesil olarak havuza aldığınızda, Veri Kopyalama Aracı'ndaki Ayarlar sayfasında veya Kopyalama Etkinliği'nde>Koru seçeneğini bulabilirsiniz Etkinlik yazma için Ayarlar sekmesi.
Aşağıda kopyalama etkinliği JSON yapılandırması örneği verilmiştir (bkz preserve: ):
"activities":[
{
"name": "CopyAndPreserveACLs",
"type": "Copy",
"typeProperties": {
"source": {
"type": "BinarySource",
"storeSettings": {
"type": "AzureDataLakeStoreReadSettings",
"recursive": true
}
},
"sink": {
"type": "BinarySink",
"storeSettings": {
"type": "AzureBlobFSWriteSettings"
}
},
"preserve": [
"ACL",
"Owner",
"Group"
]
},
"inputs": [
{
"referenceName": "<Binary dataset name for Azure Data Lake Storage Gen1/Gen2 source>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Binary dataset name for Azure Data Lake Storage Gen2 sink>",
"type": "DatasetReference"
}
]
}
]
İlgili içerik
Diğer Kopyalama Etkinliği makalelerine bakın: