Azure Data Factory veya Azure Synapse Analytics'te Meta Veri etkinliği alma

Makale
07/03/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Azure Data Factory veya Synapse işlem hattındaki tüm verilerin meta verilerini almak için Meta Veri Al etkinliğini kullanabilirsiniz. Doğrulama gerçekleştirmek veya sonraki etkinliklerde meta verileri kullanmak için koşullu ifadelerde Meta Verileri Al etkinliğinin çıkışını kullanabilirsiniz.

Kullanıcı arabirimiyle Meta Veri Al etkinliği oluşturma

İşlem hattında Meta Veri Al etkinliğini kullanmak için aşağıdaki adımları tamamlayın:

İşlem hattı Etkinlikleri bölmesinde Meta Verileri Al'ı arayın ve bir Başarısız etkinliği işlem hattı tuvaline sürükleyin.
Tuvalde henüz seçili değilse yeni Meta Veri Al etkinliğini ve ayrıntılarını düzenlemek için Ayarlar sekmesini seçin.
Yeni düğmesiyle bir veri kümesi seçin veya yeni bir veri kümesi oluşturun. Ardından filtre seçeneklerini belirtebilir ve veri kümesi için kullanılabilir meta verilerden sütunlar ekleyebilirsiniz.
Bu örnekteki Switch etkinliği gibi başka bir etkinliğe giriş olarak etkinliğin çıkışını kullanın. Diğer etkinlikte dinamik içeriğin desteklendiği her yerde Meta Veri Etkinliği çıkışına başvurabilirsiniz.
Dinamik içerik düzenleyicisinde, diğer etkinlikte buna başvurmak için Meta Veri Al etkinlik çıkışını seçin.

Desteklenen özellikler

Meta Veri Al etkinliği bir veri kümesini giriş olarak alır ve meta veri bilgilerini çıktı olarak döndürür. Şu anda aşağıdaki bağlayıcılar ve buna karşılık gelen alınabilir meta veriler desteklenmektedir. Döndürülen meta verilerin boyutu üst sınırı 4 MB'tır.

Desteklenen bağlayıcılar

Dosya depolama

Bağlayıcı/Meta Veriler	itemName (dosya/klasör)	itemType (dosya/klasör)	size (dosya)	Oluşturulan (dosya/klasör)	lastModified¹ (dosya/klasör)	childItems (klasör)	contentMD5 (dosya)	yapı² (dosya)	columnCount² (dosya)	var³ (dosya/klasör)
Amazon S3	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Amazon S3 Uyumlu Depolama	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Google Cloud Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Oracle Cloud Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Azure Blob Depolama	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Azure Data Lake Storage Gen1	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Azure Data Lake Storage 2. Nesil	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Azure Dosyaları	√/√	√/√	√	√/√	√/√	√	x	√	√	√/√
Microsoft Fabric Lakehouse	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Dosya sistemi	√/√	√/√	√	√/√	√/√	√	x	√	√	√/√
SFTP	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
FTP	√/√	√/√	√	x/x	x/x	√	x	√	√	√/√

¹ Meta Veriler lastModified:

Amazon S3, Amazon S3 Uyumlu Depolama, Google Cloud Storage ve Oracle Cloud Storage için, lastModified demet ve anahtar için geçerlidir ancak sanal klasör için geçerli değildir ve exists demet ve anahtar için geçerlidir, ancak ön ek veya sanal klasör için geçerli değildir.
Azure Blob depolama için kapsayıcı lastModified ve blob için geçerlidir ancak sanal klasör için geçerli değildir.

² Meta veriler structure ve columnCount İkili, JSON veya XML dosyalarından meta veriler alırken desteklenmez.

³ Meta Veri exists: Amazon S3, Amazon S3 Uyumlu Depolama, Google Cloud Storage ve Oracle Cloud Storage için demet exists ve anahtar için geçerlidir, ancak ön ek veya sanal klasör için geçerli değildir.

Aşağıdakileri dikkate alın:

Bir klasörde Meta Veri Al etkinliğini kullanırken, verilen klasörde LIST/EXECUTE iznine sahip olduğunuzdan emin olun.
Klasörler/dosyalar üzerindeki joker karakter filtresi, Meta Veri Al etkinliği için desteklenmez.
modifiedDatetimeStart ve modifiedDatetimeEnd bağlayıcıda filtre kümesi:
- Bu iki özellik, bir klasörden meta veriler alırken alt öğeleri filtrelemek için kullanılır. Bir dosyadan meta veri alırken geçerli değildir.
- Bu tür bir filtre kullanıldığında, childItems in çıkışı yalnızca belirtilen aralıkta değiştirilen dosyaları içerir, ancak klasörler içermez.
- Bu tür bir filtre uygulamak için, GetMetadata etkinliği belirtilen klasördeki tüm dosyaları numaralandırır ve değiştirme zamanını denetler. Beklenen nitelenmiş dosya sayısı az olsa bile çok sayıda dosya içeren bir klasöre işaret etmekten kaçının.

İlişkisel veritabanı

Bağlayıcı/Meta Veriler	yapı	columnCount	var
SQL Server için Amazon RDS	√	√	√
Azure SQL Veritabanı	√	√	√
Azure SQL Yönetilen Örnek	√	√	√
Azure Synapse Analytics	√	√	√
SQL Server	√	√	√

Meta veri seçenekleri

İlgili bilgileri almak için Meta Veri Al etkinlik alanı listesinde aşağıdaki meta veri türlerini belirtebilirsiniz:

Meta veri türü	Açıklama
itemName	Dosya veya klasörün adı.
itemType	Dosya veya klasörün türü. Döndürülen değer veya `Folder`değeridir`File`.
size	Dosyanın bayt cinsinden boyutu. Yalnızca dosyalar için geçerlidir.
Oluşturulan	Dosya veya klasörün tarih saat değeri oluşturuldu.
lastModified	Dosya veya klasörün son değiştirme tarihi.
childItems	Verilen klasördeki alt klasörlerin ve dosyaların listesi. Yalnızca klasörler için geçerlidir. Döndürülen değer, her alt öğenin adı ve türünün listesidir.
contentMD5	Dosyanın MD5'i. Yalnızca dosyalar için geçerlidir.
yapı	Dosya veya ilişkisel veritabanı tablosunun veri yapısı. Döndürülen değer, sütun adlarının ve sütun türlerinin listesidir.
columnCount	Dosya veya ilişkisel tablodaki sütun sayısı.
var	Bir dosya, klasör veya tablo olup olmadığı. Meta Verileri Al alan listesinde belirtilirse `exists` , dosya, klasör veya tablo mevcut olmasa bile etkinlik başarısız olmaz. Bunun yerine, `exists: false` çıktıda döndürülür.

İpucu

Bir dosya, klasör veya tablonun mevcut olduğunu doğrulamak istediğinizde, Meta Verileri Al etkinlik alanı listesinde belirtin exists . Ardından etkinlik çıkışındaki sonucu de kontrol exists: true/false edebilirsiniz. Alan listesinde belirtilmezse exists , nesne bulunamazsa Meta Verileri Al etkinliği başarısız olur.

Not

Dosya depolarından meta veriler aldığınızda ve veya modifiedDatetimeEndchildItems yapılandırdığınızdamodifiedDatetimeStart, çıktıdaki yalnızca belirtilen yolda belirtilen aralık içinde son değiştirme zamanı olan dosyaları içerir. Alt klasörlerdeki öğeler dahil değildir.

Not

Yapı alanı listesinin sınırlandırılmış metin ve Excel biçimli veri kümeleri için gerçek veri yapısını sağlaması için, yalnızca bu veri kaynakları için desteklenen özelliğini etkinleştirmeniz First Row as Header gerekir.

Sözdizimi

Meta Veri Al etkinliği

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Dataset

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Tür özellikleri

Şu anda, Meta Veri Al etkinliği aşağıdaki meta veri bilgisi türlerini döndürebilir:

Özellik	Açıklama	Gerekli
fieldList	Gereken meta veri bilgisi türleri. Desteklenen meta veriler hakkında ayrıntılı bilgi için bu makalenin Meta veri seçenekleri bölümüne bakın.	Yes
veri kümesi	Meta Verileri Al etkinliği tarafından meta verileri alınacak başvuru veri kümesi. Desteklenen bağlayıcılar hakkında bilgi için Özellikler bölümüne bakın. Veri kümesi söz dizimi ayrıntıları için belirli bağlayıcı konularına bakın.	Yes
formatSettings	Biçim türü veri kümesini kullanırken uygulayın.	Hayır
storeSettings	Biçim türü veri kümesini kullanırken uygulayın.	Hayır

Örnek çıktı

Meta Veri Al sonuçları etkinlik çıkışında gösterilir. Aşağıda, kapsamlı meta veri seçeneklerini gösteren iki örnek yer alır. Sonuçları sonraki bir etkinlikte kullanmak için şu deseni kullanın: @{activity('MyGetMetadataActivity').output.itemName}.

Dosyanın meta verilerini alma

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Klasörün meta verilerini alma

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Desteklenen diğer denetim akışı etkinlikleri hakkında bilgi edinin:

Aracılığıyla paylaş

Azure Data Factory veya Azure Synapse Analytics'te Meta Veri etkinliği alma

Kullanıcı arabirimiyle Meta Veri Al etkinliği oluşturma

Desteklenen özellikler

Desteklenen bağlayıcılar

Meta veri seçenekleri

Sözdizimi

Tür özellikleri

Örnek çıktı

Dosyanın meta verilerini alma

Klasörün meta verilerini alma

Geri Bildirim

Geri Bildirim

Ek kaynaklar

Aracılığıyla paylaş

Azure Data Factory veya Azure Synapse Analytics'te Meta Veri etkinliği alma

Kullanıcı arabirimiyle Meta Veri Al etkinliği oluşturma

Desteklenen özellikler

Desteklenen bağlayıcılar

Meta veri seçenekleri

Sözdizimi

Tür özellikleri

Örnek çıktı

Dosyanın meta verilerini alma

Klasörün meta verilerini alma

İlgili içerik

Geri Bildirim

Geri Bildirim

Ek kaynaklar