Metaadat-tevékenység lekérése az Azure Data Factoryben vagy az Azure Synapse Analyticsben

Cikk
12/09/2023

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

A Metaadatok lekérése tevékenységgel lekérheti az Azure Data Factoryben vagy a Synapse-folyamatban lévő adatok metaadatait. A feltételes kifejezések Metaadatok lekérése tevékenységének kimenetét használhatja az ellenőrzés végrehajtásához, vagy felhasználhatja a metaadatokat a későbbi tevékenységekben.

Metaadatok lekérése tevékenység létrehozása felhasználói felületen

Ha metaadat-lekérési tevékenységet szeretne használni egy folyamatban, hajtsa végre a következő lépéseket:

Keressen metaadatokat a folyamattevékenységek panelen, és húzza a feladattevékenységet a folyamatvászonra.
Válassza ki az új Metaadatok lekérése tevékenységet a vásznon, ha még nincs kijelölve, és a Gépház lapot a részletek szerkesztéséhez.
Válasszon egy adathalmazt, vagy hozzon létre egy újat az Új gombbal. Ezután megadhatja a szűrőbeállításokat, és oszlopokat adhat hozzá az adathalmazhoz elérhető metaadatokból.
Használja a tevékenység kimenetét egy másik tevékenység bemeneteként, például ebben a példában egy Switch-tevékenységként. Hivatkozhat a metaadat-tevékenység kimenetére bárhol, ahol a dinamikus tartalom támogatott a másik tevékenységben.
A dinamikus tartalomszerkesztőben válassza a Metaadatok lekérése tevékenység kimenetét, hogy hivatkozzon rá a másik tevékenységben.

Támogatott képességek

A Metaadatok lekérése tevékenység bemenetként egy adathalmazt vesz igénybe, és kimenetként adja vissza a metaadat-információkat. Jelenleg az alábbi összekötők és a megfelelő lekérdezhető metaadatok támogatottak. A visszaadott metaadatok maximális mérete 4 MB.

Támogatott összekötők

File Storage

Csatlakozás or/metadata	itemName (fájl/mappa)	Itemtype (fájl/mappa)	Méret (fájl)	Létrehozott (fájl/mappa)	lastModified¹ (fájl/mappa)	childItems (mappa)	contentMD5 (fájl)	struktúra² (fájl)	columnCount² (fájl)	létezik³ (fájl/mappa)
Amazon S3	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Amazon S3-kompatibilis tároló	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Google Cloud Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Oracle Cloud Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Azure Blob Storage	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
1. generációs Azure Data Lake Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Azure Data Lake Storage Gen2	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Azure Files	√/√	√/√	√	√/√	√/√	√	x	√	√	√/√
Microsoft Fabric Lakehouse	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Fájlrendszer	√/√	√/√	√	√/√	√/√	√	x	√	√	√/√
SFTP	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
FTP	√/√	√/√	√	x/x	x/x	√	x	√	√	√/√

¹ Metaadatok lastModified:

Amazon S3, Amazon S3 kompatibilis tároló, Google Cloud Storage és Oracle Cloud Storage esetén a gyűjtőre és a kulcsra vonatkozik, lastModified a virtuális mappára azonban nem, és exists a gyűjtőre és a kulcsra vonatkozik, az előtagra vagy a virtuális mappára nem.
Az Azure Blob Storage esetében a tárolóra és a blobra vonatkozik, lastModified a virtuális mappára azonban nem.

² Metaadatok structure , és columnCount nem támogatottak a bináris, JSON- vagy XML-fájlok metaadatainak lekérésekor.

³ Metaadatok exists: Amazon S3, Amazon S3 kompatibilis tároló, Google Cloud Storage és Oracle Cloud Storage esetén a gyűjtőre és a kulcsra vonatkozik, exists az előtagra vagy a virtuális mappára nem.

Vegye figyelembe a következőket:

Ha metaadatok lekérése tevékenységet használ egy mappához, győződjön meg arról, hogy rendelkezik LIST/EXECUTE engedéllyel az adott mappához.
A metaadatok lekérése tevékenység nem támogatja a mappák/fájlok helyettesítő karakterszűrőjét.
modifiedDatetimeStart és modifiedDatetimeEnd szűrőkészlet az összekötőn:
- Ez a két tulajdonság a gyermekelemek szűrésére szolgál, amikor metaadatokat kap egy mappából. Ez nem vonatkozik a metaadatok fájlból való lekérésekor.
- Ilyen szűrő használata esetén a childItems kimenet csak a megadott tartományon belül módosított fájlokat tartalmazza, mappákat nem.
- Az ilyen szűrő alkalmazásához a GetMetadata tevékenység számba veszi a megadott mappában lévő összes fájlt, és ellenőrzi a módosított időt. Ne mutasson nagy számú fájllal rendelkező mappára, még akkor is, ha a várt minősített fájlszám kicsi.

Relációs adatbázis

Csatlakozás or/metadata	Szerkezet	columnCount	Létezik
Sql Serverhez készült Amazon RDS	√	√	√
Azure SQL Database	√	√	√
Felügyelt Azure SQL-példány	√	√	√
Azure Synapse Analytics	√	√	√
SQL Server	√	√	√

Metaadatok beállításai

A metaadatok lekérése mezőlistában a következő metaadattípusokat adhatja meg a megfelelő információk lekéréséhez:

Metaadatok típusa	Leírás
itemName	A fájl vagy mappa neve.
Itemtype	A fájl vagy mappa típusa. A visszaadott érték vagy `FileFolder`.
Méret	A fájl mérete bájtban. Csak fájlokra alkalmazható.
Létrehozott	A fájl vagy mappa dátumideje.
lastModified	A fájl vagy mappa utolsó módosított dátumideje.
childItems	Az adott mappában lévő almappák és fájlok listája. Csak mappákra alkalmazható. A visszaadott érték az egyes gyermekelemek nevének és típusának listája.
contentMD5	A fájl MD5 fájlja. Csak fájlokra alkalmazható.
Szerkezet	A fájl vagy a relációs adatbázistábla adatstruktúrája. A visszaadott érték oszlopnevek és oszloptípusok listája.
columnCount	A fájl vagy a relációs tábla oszlopainak száma.
Létezik	Azt jelzi, hogy létezik-e fájl, mappa vagy tábla. Ha `exists` a Metaadatok lekérése mezőlistában van megadva, a tevékenység akkor sem fog meghiúsulni, ha a fájl, mappa vagy tábla nem létezik. `exists: false` Ehelyett a kimenetben lesz visszaadva.

Tipp.

Ha ellenőrizni szeretné, hogy létezik-e fájl, mappa vagy tábla, adja meg exists a Metaadatok lekérése tevékenységmező listában. Ezután ellenőrizheti az exists: true/false eredményt a tevékenység kimenetében. Ha exists nincs megadva a mezőlistában, a Metaadatok lekérése tevékenység sikertelen lesz, ha az objektum nem található.

Megjegyzés:

Ha metaadatokat kap a fájltárolókból, és konfigurálja modifiedDatetimeStart , vagy modifiedDatetimeEnda childItems kimenetben csak a megadott elérési úton lévő fájlok szerepelnek, amelyek legutóbb módosított időpontban vannak a megadott tartományon belül. Az almappákban lévő elemek nem szerepelnek benne.

Megjegyzés:

Ahhoz, hogy a Struktúra mezőlista a tagolt szöveg tényleges adatstruktúráját és az Excel-formátumú adathalmazokat tartalmazza, engedélyeznie kell a First Row as Header tulajdonságot, amely csak ezekhez az adatforrásokhoz támogatott.

Szintaxis

Metaadat-tevékenység lekérése

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Adatkészlet

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Típustulajdonságok

A Metaadatok lekérése tevékenység jelenleg a következő típusú metaadat-adatokat tudja visszaadni:

Tulajdonság	Leírás	Kötelező
fieldList	A szükséges metaadat-adatok típusai. A támogatott metaadatokkal kapcsolatos részletekért tekintse meg a cikk Metaadatok beállításai szakaszát.	Igen
adathalmaz	Az a referenciaadatkészlet, amelynek metaadatait a Metaadatok lekérése tevékenységnek kell lekérnie. A támogatott összekötőkkel kapcsolatos információkért tekintse meg a Képességek szakaszt. Az adathalmaz szintaxisának részleteiért tekintse meg az összekötőkre vonatkozó témaköröket.	Igen
formátum Gépház	Formátumtípus-adatkészlet használatakor alkalmazható.	Nem
áruház Gépház	Formátumtípus-adatkészlet használatakor alkalmazható.	Nem

Példakimenet

A Metaadatok lekérése eredmény megjelenik a tevékenység kimenetében. Az alábbiakban két minta látható, amelyek széles körű metaadat-beállításokat mutatnak be. Az eredmények későbbi tevékenységben való használatához használja a következő mintát: @{activity('MyGetMetadataActivity').output.itemName}.

Fájl metaadatainak lekérése

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Mappa metaadatainak lekérése

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

További információ az egyéb támogatott vezérlési folyamatokról: