Kopyalama etkinliğinde veri tutarlılığı doğrulaması

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Verileri kaynaktan hedef depoya taşıdığınızda, kopyalama etkinliği verilerin yalnızca kaynaktan hedef depoya başarıyla kopyalanmadığından, aynı zamanda kaynak ve hedef depo arasında tutarlı olduğu doğrulandığından emin olmak için daha fazla veri tutarlılığı doğrulaması yapmanız için bir seçenek sağlar. Veri taşıma sırasında tutarsız dosyalar bulunduktan sonra kopyalama etkinliğini durdurabilir veya tutarsız dosyaları atlamak için hataya dayanıklılık ayarını etkinleştirerek geri kalanını kopyalamaya devam edebilirsiniz. Kopyalama etkinliğinde oturum günlüğü ayarını etkinleştirerek atlanan dosya adlarını alabilirsiniz. Daha fazla ayrıntı için kopyalama faaliyetindeki oturum günlüğüne başvurabilirsiniz.

Desteklenen veri depoları ve senaryolar

  • Veri tutarlılığı doğrulaması FTP, SFTP, HTTP, Snowflake, Office 365 ve Azure Databricks Delta Lake dışındaki tüm bağlayıcılar tarafından desteklenir.
  • Hazırlama kopyalama senaryosunda veri tutarlılığı doğrulaması desteklenmez.
  • İkili dosyaları kopyalarken veri tutarlılığı doğrulaması yalnızca kopyalama etkinliğinde 'PreserveHierarchy' davranışı ayarlandığında kullanılabilir.
  • Veri tutarlılığı doğrulaması etkinken tek kopya etkinliğinde birden çok ikili dosyayı kopyalarken, tutarsız dosyaları atlamak için hataya dayanıklılık ayarını etkinleştirerek kopyalama etkinliğini durdurma veya geri kalan dosyaları kopyalamaya devam etme seçeneğiniz vardır.
  • Veri tutarlılığı doğrulaması etkinken tek kopya etkinliğinde bir tablo kopyalanırken, kaynaktan okunan satır sayısı hedefe kopyalanan satır sayısından ve atlanan uyumsuz satır sayısından farklıysa kopyalama etkinliği başarısız olur.

Yapılandırma

Aşağıdaki örnek, Kopyalama Etkinliği'nde veri tutarlılığı doğrulamasını etkinleştirmek için bir JSON tanımı sağlar:

{
  "name":"CopyActivityDataConsistency",
  "type":"Copy",
  "typeProperties": { 
    "source": { 
        "type": "BinarySource", 
        "storeSettings": { 
            "type": "AzureDataLakeStoreReadSettings", 
            "recursive": true 
        } 
    }, 
    "sink": { 
        "type": "BinarySink", 
        "storeSettings": { 
            "type": "AzureDataLakeStoreWriteSettings" 
        } 
    }, 
    "validateDataConsistency": true, 
    "skipErrorFile": { 
        "dataInconsistency": true 
    }, 
    "logSettings": {
        "enableCopyActivityLog": true,
        "copyActivityLogSettings": {
            "logLevel": "Warning",
            "enableReliableLogging": false
        },
        "logLocationSettings": {
            "linkedServiceName": {
               "referenceName": "ADLSGen2",
               "type": "LinkedServiceReference"
            },
            "path": "sessionlog/"
        }
    }
}
Özellik Açıklama İzin verilen değerler Zorunlu
validateDataConsistency (Veri Tutarlılığını Doğrula) Bu özellik için true ayarlarsanız, ikili dosyaları kopyalarken kopyalama etkinliği kaynaktan hedef depoya kopyalanan her ikili dosyanın dosya boyutunu, lastModifiedDate değerini ve sağlama toplamını denetleyecek ve kaynak ile hedef depo arasındaki veri tutarlılığını sağlayacaktır. Tablosal verileri kopyalarken kopyalama etkinliği, iş tamamlandıktan sonra toplam satır sayısını denetler ve kaynaktan okunan toplam satır sayısının hedefe kopyalanan satır sayısıyla ve atlanan uyumsuz satır sayısıyla aynı olduğundan emin olur. Bu seçenek etkinleştirildiğinde kopyalama performansının etkilendiğini unutmayın. Doğru
False (varsayılan)		 Hayır
veriTutarsızlığı Tutarsız dosyaları atlamak isteyip istemediğinizi belirlemek için skipErrorFile özellik paketi içindeki anahtar-değer çiftlerinden biri.
-True: Tutarsız dosyaları atlayarak geri kalanını kopyalamak istiyorsunuz.
- Yanlış: Tutarsız dosya bulunduktan sonra kopyalama etkinliğini durdurmak istiyorsunuz.
Bu özelliğin yalnızca ikili dosyaları kopyaladığınızda ve validateDataConsistency değerini True olarak ayarladığınızda geçerli olduğunu unutmayın.		 Doğru
False (varsayılan)		 Hayır
logSettings Oturum günlüğünün atlanan dosyaları kaydetmesini sağlamak amacıyla belirtilebilen bir özellik grubu. Hayır
bağlantılıHizmetAdı Oturum günlüğü dosyalarını depolamak için Azure Blob Depolama veya Azure Data Lake Storage 2. Nesil bağlı hizmeti. Günlük dosyalarını depolamak için kullandığınız örneğe başvuran AzureBlobStorage veya AzureBlobFS türlerinde bağlı hizmetin adları. Hayır
yol Günlük dosyalarının yolu. Günlük dosyalarını depolamak istediğiniz yolu belirtin. Eğer bir yol sağlamazsanız, hizmet sizin için bir kapsayıcı oluşturur. Hayır

Not

  • İkili dosyaları Azure Blob veya Azure Data Lake Storage 2. Nesil'den kopyalarken, hizmet Azure Blob API ve Azure Data Lake Storage 2. Nesil API kullanarak blok düzeyinde sağlama toplamı doğrulamasını sağlar. Dosyalardaki ContentMD5, Azure Blob veya Azure Data Lake Storage 2. Nesil veri kaynağı olarak mevcutsa, hizmet dosyaları okuduktan sonra dosya düzeyi sağlama toplamı doğrulaması da yapar. Dosyaları veri hedefi olarak Azure Blob veya Azure Data Lake Storage 2. Nesil'ye kopyaladıktan sonra, hizmet ContentMD5'i bu depolama birimlerine yazar. Bu bilgi, veri tutarlılığını doğrulamak için aşağı akış uygulamaları tarafından kullanılabilir.
  • Hizmet, herhangi bir depolama deposu arasında ikili dosyaları kopyalarken dosya boyutu doğrulaması yapar.

İzleme

Kopyalama işleminden çıktı verisi

Kopyalama etkinliği tamamen çalıştırıldıktan sonra, her kopyalama etkinliği çalıştırmasının çıkışından veri tutarlılığı doğrulamasının sonucunu görebilirsiniz:

"output": {
            "dataRead": 695,
            "dataWritten": 186,
            "filesRead": 3,  
            "filesWritten": 1, 
            "filesSkipped": 2, 
            "throughput": 297,
            "logFilePath": "myfolder/a84bf8d4-233f-4216-8cb5-45962831cd1b/",
            "dataConsistencyVerification": 
           { 
                "VerificationResult": "Verified", 
                "InconsistentData": "Skipped" 
           } 
        }

Veri tutarlılığı doğrulamasının ayrıntılarını "dataConsistencyVerification özelliği" bölümünden görebilirsiniz.

VerificationResult değeri:

  • Doğrulandı: Kopyalanan verilerinizin kaynak ve hedef depo arasında tutarlı olduğu doğrulandı.
  • NotVerified: Kopyalama etkinliğinde validateDataConsistency özelliğini etkinleştirmediğiniz için kopyaladığınız verilerin tutarlı olduğu doğrulanmadı.
  • Desteklenmeyen: Bu kopya çifti için veri tutarlılığı doğrulaması desteklenmediğinden kopyaladığınız verilerin tutarlı olduğu doğrulanmadı.

InconsistentData değeri:

  • Bulundu: Kopyalama etkinliği tutarsız veriler buldu.
  • Atlandı: Kopyalama etkinliği tutarsız verileri buldu ve atladı.
  • Hiçbiri: Kopyalama etkinliği tutarsız veri bulamadı. Bunun nedeni, verilerinizin kaynak ve hedef depo arasında tutarlı olduğu doğrulanmış olması veya kopyalama etkinliğinde validateDataConsistency'i devre dışı bırakmış olmanız olabilir.

Kopyalama etkinliğinden oturum kaydı

Tutarsız dosyayı günlüğe kaydedecek şekilde yapılandırıyorsanız, günlük dosyasını şu yoldan bulabilirsiniz: https://[your-blob-account].blob.core.windows.net/[path-if-configured]/copyactivity-logs/[copy-activity-name]/[copy-activity-run-id]/[auto-generated-GUID].csv. Günlük dosyaları csv dosyalarıdır.

Günlük dosyasının şeması aşağıdaki gibidir:

Sütun Açıklama
Zaman damgası Hizmetin tutarsız dosyaları atladığında zaman damgası.
Seviye Bu öğenin kayıt seviyesi. Dosya atlama gösteren dosya için 'Uyarı' düzeyindedir.
OperasyonAdı Her dosyadaki kopyalama işleminin operasyonel davranışı. Atlanacak dosyayı belirtmek için 'FileSkip' olur.
İşlem Öğesi Atlanması gereken dosya adı.
İleti Dosyaların neden atlandığını göstermek için daha fazla bilgi.

Günlük dosyası örneği aşağıdaki gibidir:

Timestamp, Level, OperationName, OperationItem, Message
2020-02-26 06:22:56.3190846, Warning, FileSkip, "sample1.csv", "File is skipped after read 548000000 bytes: ErrorCode=DataConsistencySourceDataChanged,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Source file 'sample1.csv' is changed by other clients during the copy activity run.,Source=,'."

Yukarıdaki günlük dosyasından kaynak ve hedef depo arasında tutarlı olduğu doğrulanamadığından sample1.csv atlandığını görebilirsiniz. Kopyalama etkinliği aynı anda kopyalanırken sample1.csv neden diğer uygulamalar tarafından değiştirildiği için tutarsız hale geldiği hakkında daha fazla bilgi edinebilirsiniz.

İlgili içerik

Kopya Etkinliği ile ilgili diğer makalelere göz atın.

  • Last updated on