Azure Data Factory veya Azure Synapse Analytics'da Meta Veri etkinliği alma

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'te Data Factory'deki eşdeğer etkinlik için bakınız: Metadata etkinliği alın.

Azure Data Factory veya Synapse işlem hattındaki tüm verilerin meta verilerini almak için Meta Veri Al etkinliğini kullanabilirsiniz. Doğrulama gerçekleştirmek veya sonraki etkinliklerde meta verileri kullanmak için koşullu ifadelerde Meta Verileri Al etkinliğinin çıkışını kullanabilirsiniz.

Kullanıcı arabirimiyle Meta Veri Al etkinliği oluşturma

İşlem hattında Meta Veri Al etkinliğini kullanmak için aşağıdaki adımları tamamlayın:

  1. İşlem hattı Etkinlikleri bölmesinde Meta Verileri Al'ı arayın ve Meta Verileri Al etkinliğini işlem hattı tuvaline sürükleyin.

  2. Tuvalde henüz seçili değilse yeni Meta Veri Al etkinliğini ve ayrıntılarını düzenlemek için Ayarlar sekmesini seçin.

  3. Yeni düğmesiyle bir veri kümesi seçin veya yeni bir veri kümesi oluşturun. Ardından filtre seçeneklerini belirtebilir ve veri kümesi için kullanılabilir meta verilerden sütunlar ekleyebilirsiniz.

    Meta Veri Al etkinliğinin kullanıcı arabirimini gösterir.

  4. Bu örnekteki Switch etkinliği gibi başka bir etkinliğe giriş olarak etkinliğin çıkışını kullanın. Dinamik içeriğin desteklendiği diğer etkinliklerde Meta Veri Etkinliği çıktısına referans verebilirsiniz.

    Meta Veriyi Al etkinliğinin çıkışını işlemek için Switch etkinliğinin eklendiği işlem hattını gösterir.

  5. Dinamik içerik düzenleyicisinde, diğer etkinlikte buna başvurmak için Meta Veri Al etkinlik çıkışını seçin.

Desteklenen özellikler

Meta Veri Al etkinliği bir veri kümesini giriş olarak alır ve meta veri bilgilerini çıktı olarak döndürür. Şu anda aşağıdaki bağlayıcılar ve buna karşılık gelen alınabilir meta veriler desteklenmektedir. Döndürülen meta verilerin boyutu üst sınırı 4 MB'tır.

Desteklenen bağlayıcılar

Dosya depolama

Bağlayıcı/Meta Veriler öğeAdı
(dosya/klasör)
öğeTürü
(dosya/klasör)
boyut
(dosya)
oluşturulan
(dosya/klasör)
sonDeğiştirilmeTarihi1
(dosya/klasör)
childItems
(klasör)
contentMD5
(dosya)
yapı2
(dosya)
columnCount2
(dosya)
var3
(dosya/klasör)
Amazon S3 √/√ √/√ x/x √/√ x √/√
Amazon S3 Uyumlu Depolama √/√ √/√ x/x √/√ x √/√
Google Bulut Depolama √/√ √/√ x/x √/√ x √/√
Oracle Cloud Storage √/√ √/√ x/x √/√ x √/√
Azure Blob Storage √/√ √/√ x/x √/√ √/√
1. Nesil Azure Data Lake Storage √/√ √/√ x/x √/√ x √/√
Azure Data Lake Storage 2. Nesil √/√ √/√ x/x √/√ √/√
Azure Dosyalar √/√ √/√ √/√ √/√ x √/√
Microsoft Fabric Lakehouse √/√ √/√ x/x √/√ √/√
Dosya sistemi √/√ √/√ √/√ √/√ x √/√
SFTP √/√ √/√ x/x √/√ x √/√
FTP √/√ √/√ x/x x/x x √/√

1 Metaveri lastModified:

  • Amazon S3, Amazon S3 Uyumlu Depolama, Google Cloud Storage ve Oracle Cloud Storage için, lastModified demet ve anahtar için geçerlidir ancak sanal klasör için geçerli değildir ve exists demet ve anahtar için geçerlidir, ancak ön ek veya sanal klasör için geçerli değildir.
  • Azure Blob depolama için lastModified kapsayıcı ve blob için geçerlidir ancak sanal klasör için geçerli değildir.

2 Meta veriler structure ve columnCount İkili, JSON veya XML dosyalarından meta veriler alırken desteklenmez.

3 Meta Veri exists: Amazon S3, Amazon S3 Uyumlu Depolama, Google Cloud Storage ve Oracle Cloud Storage için demet exists ve anahtar için geçerlidir, ancak ön ek veya sanal klasör için geçerli değildir.

Aaşağıdaki noktaları unutmayın:

  • Bir klasörde Meta Veri Al etkinliğini kullanırken, verilen klasörde LIST/EXECUTE iznine sahip olduğunuzdan emin olun.

  • Klasörler/dosyalar üzerindeki joker karakter filtresi, Meta Veri Al etkinliği için desteklenmez.

  • modifiedDatetimeStart ve modifiedDatetimeEnd bağlayıcıda filtre kümesi:

    • Bu iki özellik, bir klasörden meta veriler alırken alt öğeleri filtrelemek için kullanılır. Bir dosyadan meta veri alırken geçerli değildir.
    • Bu tür bir filtre kullanıldığında, childItems in çıkışı yalnızca belirtilen aralıkta değiştirilen dosyaları içerir, ancak klasörler içermez.
    • Bu tür bir filtre uygulamak için, GetMetadata etkinliği belirtilen klasördeki tüm dosyaları numaralandırır ve değiştirilen saati denetler. Beklenen nitelenmiş dosya sayısı az olsa bile çok sayıda dosya içeren bir klasöre işaret etmekten kaçının.

İlişkisel veritabanı

Bağlayıcı/Meta Veriler yapı sütunSayısı mevcut
SQL Server için Amazon RDS
Azure SQL Veritabanı
Azure SQL Yönetilen Örneği
Azure Synapse Analytics
SQL Server

Meta veri seçenekleri

İlgili bilgileri almak için Meta Veri Al etkinlik alanı listesinde aşağıdaki meta veri türlerini belirtebilirsiniz:

Meta veri türü Açıklama
öğeAdı Dosya veya klasörün adı.
öğeTürü Dosya veya klasörün türü. Döndürülen değer File veya Folder'dir.
boyut Dosyanın bayt cinsinden boyutu. Yalnızca dosyalar için geçerlidir.
oluşturulan Dosya veya klasörün oluşturulma tarihi ve saati.
sonDeğişiklik Dosya veya klasörün son değiştirme tarihi.
childItems Verilen klasördeki alt klasörlerin ve dosyaların listesi. Yalnızca klasörler için geçerlidir. Döndürülen değer, her alt öğenin adı ve türünün listesidir.
contentMD5 Dosyanın MD5'i. Yalnızca dosyalar için geçerlidir.
yapı Dosya veya ilişkisel veritabanı tablosunun veri yapısı. Döndürülen değer, sütun adlarının ve sütun türlerinin listesidir.
sütunSayısı Dosya veya ilişkisel tablodaki sütun sayısı.
mevcut Bir dosya, klasör veya tablo olup olmadığı. Meta Verileri Al alan listesinde belirtilirse exists , dosya, klasör veya tablo mevcut olmasa bile etkinlik başarısız olmaz. Bunun yerine, exists: false çıktıda döndürülür.

İpucu

Bir dosya, klasör veya tablonun mevcut olduğunu doğrulamak istediğinizde, Meta Verileri Al etkinlik alanı listesinde belirtin exists . Ardından etkinlik çıkışındaki exists: true/false sonucu kontrol edebilirsiniz. Alan listesinde belirtilmezse exists , nesne bulunamazsa Meta Verileri Al etkinliği başarısız olur.

Not

Dosya depolarından meta veriler aldığınızda ve modifiedDatetimeStart veya modifiedDatetimeEnd yapılandırdığınızda, çıktıdaki childItems yalnızca belirtilen yolda belirtilen aralık içinde son değiştirme zamanı olan dosyaları içerir. Alt klasörlerdeki öğeler dahil değildir.

Not

Sınırlandırılmış metin ve Excel biçimli veri kümeleri için gerçek veri yapısını sağlamak üzere Structure alan listesi için, yalnızca bu veri kaynakları için desteklenen First Row as Header özelliğini etkinleştirmeniz gerekir.

Sözdizimi

Meta Veri Alma etkinliği

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Dataset

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Tür özellikleri

Şu anda, Meta Veri Al etkinliği aşağıdaki meta veri bilgisi türlerini döndürebilir:

Özellik Açıklama Gerekli
alanListesi Gereken meta veri bilgisi türleri. Desteklenen meta veriler hakkında ayrıntılı bilgi için bu makalenin Meta veri seçenekleri bölümüne bakın. Yes
veri kümesi Meta Verileri Al etkinliğiyle meta verileri alınacak olan başvuru veri kümesi. Desteklenen bağlayıcılar hakkında bilgi için Özellikler bölümüne bakın. Veri kümesi söz dizimi ayrıntıları için belirli bağlayıcı makalelerine bakın. Yes
biçim ayarları Biçim türü veri kümesini kullanırken uygulayın. Hayır
mağazaAyarlar Biçim türü veri kümesini kullanırken uygulayın. Hayır

Örnek çıktı

Meta Veri Al sonuçları etkinlik çıkışında gösterilir. Aşağıda, kapsamlı meta veri seçeneklerini gösteren iki örnek yer alır. Sonuçları sonraki bir etkinlikte kullanmak için şu deseni kullanın: @{activity('MyGetMetadataActivity').output.itemName}.

Dosyanın meta verilerini alma

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Klasörün meta verilerini alma

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Desteklenen diğer denetim akışı etkinlikleri hakkında bilgi edinin: