Azure Data Factory veya Azure Synapse Analytics'te Meta Veri etkinliği alma
UYGULANANLAR: Azure Data Factory Azure Synapse Analytics
İpucu
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Azure Data Factory veya Synapse işlem hattındaki tüm verilerin meta verilerini almak için Meta Veri Al etkinliğini kullanabilirsiniz. Doğrulama gerçekleştirmek veya sonraki etkinliklerde meta verileri kullanmak için koşullu ifadelerde Meta Verileri Al etkinliğinin çıkışını kullanabilirsiniz.
Kullanıcı arabirimiyle Meta Veri Al etkinliği oluşturma
İşlem hattında Meta Veri Al etkinliğini kullanmak için aşağıdaki adımları tamamlayın:
İşlem hattı Etkinlikleri bölmesinde Meta Verileri Al'ı arayın ve bir Başarısız etkinliği işlem hattı tuvaline sürükleyin.
Tuvalde henüz seçili değilse yeni Meta Veri Al etkinliğini ve ayrıntılarını düzenlemek için Ayarlar sekmesini seçin.
Yeni düğmesiyle bir veri kümesi seçin veya yeni bir veri kümesi oluşturun. Ardından filtre seçeneklerini belirtebilir ve veri kümesi için kullanılabilir meta verilerden sütunlar ekleyebilirsiniz.
Bu örnekteki Switch etkinliği gibi başka bir etkinliğe giriş olarak etkinliğin çıkışını kullanın. Diğer etkinlikte dinamik içeriğin desteklendiği her yerde Meta Veri Etkinliği çıkışına başvurabilirsiniz.
Dinamik içerik düzenleyicisinde, diğer etkinlikte buna başvurmak için Meta Veri Al etkinlik çıkışını seçin.
Desteklenen özellikler
Meta Veri Al etkinliği bir veri kümesini giriş olarak alır ve meta veri bilgilerini çıktı olarak döndürür. Şu anda aşağıdaki bağlayıcılar ve buna karşılık gelen alınabilir meta veriler desteklenmektedir. Döndürülen meta verilerin boyutu üst sınırı 4 MB'tır.
Desteklenen bağlayıcılar
Dosya depolama
Bağlayıcı/Meta Veriler | itemName (dosya/klasör) |
itemType (dosya/klasör) |
size (dosya) |
Oluşturulan (dosya/klasör) |
lastModified1 (dosya/klasör) |
childItems (klasör) |
contentMD5 (dosya) |
yapı2 (dosya) |
columnCount2 (dosya) |
var3 (dosya/klasör) |
---|---|---|---|---|---|---|---|---|---|---|
Amazon S3 | √/√ | √/√ | √ | x/x | √/√ | √ | x | √ | √ | √/√ |
Amazon S3 Uyumlu Depolama | √/√ | √/√ | √ | x/x | √/√ | √ | x | √ | √ | √/√ |
Google Cloud Storage | √/√ | √/√ | √ | x/x | √/√ | √ | x | √ | √ | √/√ |
Oracle Cloud Storage | √/√ | √/√ | √ | x/x | √/√ | √ | x | √ | √ | √/√ |
Azure Blob Depolama | √/√ | √/√ | √ | x/x | √/√ | √ | √ | √ | √ | √/√ |
Azure Data Lake Storage Gen1 | √/√ | √/√ | √ | x/x | √/√ | √ | x | √ | √ | √/√ |
Azure Data Lake Storage 2. Nesil | √/√ | √/√ | √ | x/x | √/√ | √ | √ | √ | √ | √/√ |
Azure Dosyaları | √/√ | √/√ | √ | √/√ | √/√ | √ | x | √ | √ | √/√ |
Microsoft Fabric Lakehouse | √/√ | √/√ | √ | x/x | √/√ | √ | √ | √ | √ | √/√ |
Dosya sistemi | √/√ | √/√ | √ | √/√ | √/√ | √ | x | √ | √ | √/√ |
SFTP | √/√ | √/√ | √ | x/x | √/√ | √ | x | √ | √ | √/√ |
FTP | √/√ | √/√ | √ | x/x | x/x | √ | x | √ | √ | √/√ |
1 Meta Veriler lastModified
:
- Amazon S3, Amazon S3 Uyumlu Depolama, Google Cloud Storage ve Oracle Cloud Storage için,
lastModified
demet ve anahtar için geçerlidir ancak sanal klasör için geçerli değildir veexists
demet ve anahtar için geçerlidir, ancak ön ek veya sanal klasör için geçerli değildir. - Azure Blob depolama için kapsayıcı
lastModified
ve blob için geçerlidir ancak sanal klasör için geçerli değildir.
2 Meta veriler structure
ve columnCount
İkili, JSON veya XML dosyalarından meta veriler alırken desteklenmez.
3 Meta Veri exists
: Amazon S3, Amazon S3 Uyumlu Depolama, Google Cloud Storage ve Oracle Cloud Storage için demet exists
ve anahtar için geçerlidir, ancak ön ek veya sanal klasör için geçerli değildir.
Aşağıdakileri dikkate alın:
Bir klasörde Meta Veri Al etkinliğini kullanırken, verilen klasörde LIST/EXECUTE iznine sahip olduğunuzdan emin olun.
Klasörler/dosyalar üzerindeki joker karakter filtresi, Meta Veri Al etkinliği için desteklenmez.
modifiedDatetimeStart
vemodifiedDatetimeEnd
bağlayıcıda filtre kümesi:- Bu iki özellik, bir klasörden meta veriler alırken alt öğeleri filtrelemek için kullanılır. Bir dosyadan meta veri alırken geçerli değildir.
- Bu tür bir filtre kullanıldığında,
childItems
in çıkışı yalnızca belirtilen aralıkta değiştirilen dosyaları içerir, ancak klasörler içermez. - Bu tür bir filtre uygulamak için, GetMetadata etkinliği belirtilen klasördeki tüm dosyaları numaralandırır ve değiştirme zamanını denetler. Beklenen nitelenmiş dosya sayısı az olsa bile çok sayıda dosya içeren bir klasöre işaret etmekten kaçının.
İlişkisel veritabanı
Bağlayıcı/Meta Veriler | yapı | columnCount | var |
---|---|---|---|
SQL Server için Amazon RDS | √ | √ | √ |
Azure SQL Veritabanı | √ | √ | √ |
Azure SQL Yönetilen Örnek | √ | √ | √ |
Azure Synapse Analytics | √ | √ | √ |
SQL Server | √ | √ | √ |
Meta veri seçenekleri
İlgili bilgileri almak için Meta Veri Al etkinlik alanı listesinde aşağıdaki meta veri türlerini belirtebilirsiniz:
Meta veri türü | Açıklama |
---|---|
itemName | Dosya veya klasörün adı. |
itemType | Dosya veya klasörün türü. Döndürülen değer veya Folder değeridirFile . |
size | Dosyanın bayt cinsinden boyutu. Yalnızca dosyalar için geçerlidir. |
Oluşturulan | Dosya veya klasörün tarih saat değeri oluşturuldu. |
lastModified | Dosya veya klasörün son değiştirme tarihi. |
childItems | Verilen klasördeki alt klasörlerin ve dosyaların listesi. Yalnızca klasörler için geçerlidir. Döndürülen değer, her alt öğenin adı ve türünün listesidir. |
contentMD5 | Dosyanın MD5'i. Yalnızca dosyalar için geçerlidir. |
yapı | Dosya veya ilişkisel veritabanı tablosunun veri yapısı. Döndürülen değer, sütun adlarının ve sütun türlerinin listesidir. |
columnCount | Dosya veya ilişkisel tablodaki sütun sayısı. |
var | Bir dosya, klasör veya tablo olup olmadığı. Meta Verileri Al alan listesinde belirtilirse exists , dosya, klasör veya tablo mevcut olmasa bile etkinlik başarısız olmaz. Bunun yerine, exists: false çıktıda döndürülür. |
İpucu
Bir dosya, klasör veya tablonun mevcut olduğunu doğrulamak istediğinizde, Meta Verileri Al etkinlik alanı listesinde belirtin exists
. Ardından etkinlik çıkışındaki sonucu de kontrol exists: true/false
edebilirsiniz. Alan listesinde belirtilmezse exists
, nesne bulunamazsa Meta Verileri Al etkinliği başarısız olur.
Not
Dosya depolarından meta veriler aldığınızda ve veya modifiedDatetimeEnd
childItems
yapılandırdığınızdamodifiedDatetimeStart
, çıktıdaki yalnızca belirtilen yolda belirtilen aralık içinde son değiştirme zamanı olan dosyaları içerir. Alt klasörlerdeki öğeler dahil değildir.
Not
Yapı alanı listesinin sınırlandırılmış metin ve Excel biçimli veri kümeleri için gerçek veri yapısını sağlaması için, yalnızca bu veri kaynakları için desteklenen özelliğini etkinleştirmeniz First Row as Header
gerekir.
Sözdizimi
Meta Veri Al etkinliği
{
"name":"MyActivity",
"type":"GetMetadata",
"dependsOn":[
],
"policy":{
"timeout":"7.00:00:00",
"retry":0,
"retryIntervalInSeconds":30,
"secureOutput":false,
"secureInput":false
},
"userProperties":[
],
"typeProperties":{
"dataset":{
"referenceName":"MyDataset",
"type":"DatasetReference"
},
"fieldList":[
"size",
"lastModified",
"structure"
],
"storeSettings":{
"type":"AzureBlobStorageReadSettings"
},
"formatSettings":{
"type":"JsonReadSettings"
}
}
}
Dataset
{
"name":"MyDataset",
"properties":{
"linkedServiceName":{
"referenceName":"AzureStorageLinkedService",
"type":"LinkedServiceReference"
},
"annotations":[
],
"type":"Json",
"typeProperties":{
"location":{
"type":"AzureBlobStorageLocation",
"fileName":"file.json",
"folderPath":"folder",
"container":"container"
}
}
}
}
Tür özellikleri
Şu anda, Meta Veri Al etkinliği aşağıdaki meta veri bilgisi türlerini döndürebilir:
Özellik | Açıklama | Gerekli |
---|---|---|
fieldList | Gereken meta veri bilgisi türleri. Desteklenen meta veriler hakkında ayrıntılı bilgi için bu makalenin Meta veri seçenekleri bölümüne bakın. | Yes |
veri kümesi | Meta Verileri Al etkinliği tarafından meta verileri alınacak başvuru veri kümesi. Desteklenen bağlayıcılar hakkında bilgi için Özellikler bölümüne bakın. Veri kümesi söz dizimi ayrıntıları için belirli bağlayıcı konularına bakın. | Yes |
formatSettings | Biçim türü veri kümesini kullanırken uygulayın. | Hayır |
storeSettings | Biçim türü veri kümesini kullanırken uygulayın. | Hayır |
Örnek çıktı
Meta Veri Al sonuçları etkinlik çıkışında gösterilir. Aşağıda, kapsamlı meta veri seçeneklerini gösteren iki örnek yer alır. Sonuçları sonraki bir etkinlikte kullanmak için şu deseni kullanın: @{activity('MyGetMetadataActivity').output.itemName}
.
Dosyanın meta verilerini alma
{
"exists": true,
"itemName": "test.csv",
"itemType": "File",
"size": 104857600,
"lastModified": "2017-02-23T06:17:09Z",
"created": "2017-02-23T06:17:09Z",
"contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
"structure": [
{
"name": "id",
"type": "Int64"
},
{
"name": "name",
"type": "String"
}
],
"columnCount": 2
}
Klasörün meta verilerini alma
{
"exists": true,
"itemName": "testFolder",
"itemType": "Folder",
"lastModified": "2017-02-23T06:17:09Z",
"created": "2017-02-23T06:17:09Z",
"childItems": [
{
"name": "test.avro",
"type": "File"
},
{
"name": "folder hello",
"type": "Folder"
}
]
}
İlgili içerik
Desteklenen diğer denetim akışı etkinlikleri hakkında bilgi edinin: