Megosztás a következőn keresztül:

Metaadat-tevékenység lekérése az Azure Data Factoryben vagy az Azure Synapse Analyticsben

  • Cikk

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

A Metaadatok lekérése tevékenységgel lekérheti az Azure Data Factoryben vagy a Synapse-folyamatban lévő adatok metaadatait. A feltételes kifejezések Metaadatok lekérése tevékenységének kimenetét használhatja az ellenőrzés végrehajtásához, vagy felhasználhatja a metaadatokat a későbbi tevékenységekben.

Metaadatok lekérése tevékenység létrehozása felhasználói felületen

Ha metaadat-lekérési tevékenységet szeretne használni egy folyamatban, hajtsa végre a következő lépéseket:

  1. Keressen metaadatokat a folyamattevékenységek panelen, és húzza a feladattevékenységet a folyamatvászonra.

  2. Válassza ki az új Metaadatok lekérése tevékenységet a vásznon, ha még nincs kijelölve, és a Beállítások fület a részletek szerkesztéséhez.

  3. Válasszon egy adathalmazt, vagy hozzon létre egy újat az Új gombbal. Ezután megadhatja a szűrőbeállításokat, és oszlopokat adhat hozzá az adathalmazhoz elérhető metaadatokból.

    Megjeleníti a Metaadatok lekérése tevékenység felhasználói felületét.

  4. Használja a tevékenység kimenetét egy másik tevékenység bemeneteként, például ebben a példában egy Switch-tevékenységként. Hivatkozhat a metaadat-tevékenység kimenetére bárhol, ahol a dinamikus tartalom támogatott a másik tevékenységben.

    A metaadatok lekérése tevékenység kimenetének kezeléséhez hozzáadott Kapcsoló tevékenységgel rendelkező folyamatot jeleníti meg.

  5. A dinamikus tartalomszerkesztőben válassza a Metaadatok lekérése tevékenység kimenetét, hogy hivatkozzon rá a másik tevékenységben.

    A dinamikus tartalomszerkesztőt jeleníti meg dinamikus tartalomként a Metaadatok lekérése tevékenység kimenetével.

Támogatott képességek

A Metaadatok lekérése tevékenység bemenetként egy adathalmazt vesz igénybe, és kimenetként adja vissza a metaadat-információkat. Jelenleg az alábbi összekötők és a megfelelő lekérdezhető metaadatok támogatottak. A visszaadott metaadatok maximális mérete 4 MB.

Támogatott összekötők

File Storage

Összekötő/metaadatok itemName
(fájl/mappa)		 itemType
(fájl/mappa)		 Méret
(fájl)		 Létrehozott
(fájl/mappa)		 lastModified1
(fájl/mappa)		 childItems
(mappa)		 contentMD5
(fájl)		 struktúra2
(fájl)		 columnCount2
(fájl)		 létezik3
(fájl/mappa)
Amazon S3 √/√ √/√ √ x/x √/√ √ x √ √ √/√
Amazon S3-kompatibilis tároló √/√ √/√ √ x/x √/√ √ x √ √ √/√
Google Cloud Storage √/√ √/√ √ x/x √/√ √ x √ √ √/√
Oracle Cloud Storage √/√ √/√ √ x/x √/√ √ x √ √ √/√
Azure Blob Storage √/√ √/√ √ x/x √/√ √ √ √ √ √/√
1. generációs Azure Data Lake Storage √/√ √/√ √ x/x √/√ √ x √ √ √/√
Azure Data Lake Storage Gen2 √/√ √/√ √ x/x √/√ √ √ √ √ √/√
Azure Files √/√ √/√ √ √/√ √/√ √ x √ √ √/√
Microsoft Fabric Lakehouse √/√ √/√ √ x/x √/√ √ √ √ √ √/√
Fájlrendszer √/√ √/√ √ √/√ √/√ √ x √ √ √/√
SFTP √/√ √/√ √ x/x √/√ √ x √ √ √/√
FTP √/√ √/√ √ x/x x/x √ x √ √ √/√

1 Metaadatok lastModified:

  • Amazon S3, Amazon S3 kompatibilis tároló, Google Cloud Storage és Oracle Cloud Storage esetén a gyűjtőre és a kulcsra vonatkozik, lastModified a virtuális mappára azonban nem, és exists a gyűjtőre és a kulcsra vonatkozik, az előtagra vagy a virtuális mappára nem.
  • Az Azure Blob Storage esetében a tárolóra és a blobra vonatkozik, lastModified a virtuális mappára azonban nem.

2 Metaadatok structure , és columnCount nem támogatottak a bináris, JSON- vagy XML-fájlok metaadatainak lekérésekor.

3 Metaadatok exists: Amazon S3, Amazon S3 kompatibilis tároló, Google Cloud Storage és Oracle Cloud Storage esetén a gyűjtőre és a kulcsra vonatkozik, exists az előtagra vagy a virtuális mappára nem.

Vegye figyelembe a következőket:

  • Ha metaadatok lekérése tevékenységet használ egy mappához, győződjön meg arról, hogy rendelkezik LIST/EXECUTE engedéllyel az adott mappához.

  • A metaadatok lekérése tevékenység nem támogatja a mappák/fájlok helyettesítő karakterszűrőjét.

  • modifiedDatetimeStart és modifiedDatetimeEnd szűrőkészlet az összekötőn:

    • Ez a két tulajdonság a gyermekelemek szűrésére szolgál, amikor metaadatokat kap egy mappából. Ez nem vonatkozik a metaadatok fájlból való lekérésekor.
    • Ilyen szűrő használata esetén a childItems kimenet csak a megadott tartományon belül módosított fájlokat tartalmazza, mappákat nem.
    • Az ilyen szűrő alkalmazásához a GetMetadata tevékenység számba veszi a megadott mappában lévő összes fájlt, és ellenőrzi a módosított időt. Ne mutasson nagy számú fájllal rendelkező mappára, még akkor is, ha a várt minősített fájlszám kicsi.

Relációs adatbázis

Összekötő/metaadatok szerkezet columnCount Létezik
Sql Serverhez készült Amazon RDS √ √ √
Azure SQL Database √ √ √
Felügyelt Azure SQL-példány √ √ √
Azure Synapse Analytics √ √ √
SQL Server √ √ √

Metaadatok beállításai

A metaadatok lekérése mezőlistában a következő metaadattípusokat adhatja meg a megfelelő információk lekéréséhez:

Metaadatok típusa Leírás
itemName A fájl vagy mappa neve.
itemType A fájl vagy mappa típusa. A visszaadott érték vagy File Folder.
Méret A fájl mérete bájtban. Csak fájlokra alkalmazható.
Létrehozott A fájl vagy mappa dátumideje.
lastModified A fájl vagy mappa utolsó módosított dátumideje.
childItems Az adott mappában lévő almappák és fájlok listája. Csak mappákra alkalmazható. A visszaadott érték az egyes gyermekelemek nevének és típusának listája.
contentMD5 A fájl MD5 fájlja. Csak fájlokra alkalmazható.
szerkezet A fájl vagy a relációs adatbázistábla adatstruktúrája. A visszaadott érték oszlopnevek és oszloptípusok listája.
columnCount A fájl vagy a relációs tábla oszlopainak száma.
Létezik Azt jelzi, hogy létezik-e fájl, mappa vagy tábla. Ha exists a Metaadatok lekérése mezőlistában van megadva, a tevékenység akkor sem fog meghiúsulni, ha a fájl, mappa vagy tábla nem létezik. exists: false Ehelyett a kimenetben lesz visszaadva.

Tipp.

Ha ellenőrizni szeretné, hogy létezik-e fájl, mappa vagy tábla, adja meg exists a Metaadatok lekérése tevékenységmező listában. Ezután ellenőrizheti az exists: true/false eredményt a tevékenység kimenetében. Ha exists nincs megadva a mezőlistában, a Metaadatok lekérése tevékenység sikertelen lesz, ha az objektum nem található.

Feljegyzés

Ha metaadatokat kap a fájltárolókból, és konfigurálja modifiedDatetimeStart , vagy modifiedDatetimeEnda childItems kimenetben csak a megadott elérési úton lévő fájlok szerepelnek, amelyek legutóbb módosított időpontban vannak a megadott tartományon belül. Az almappákban lévő elemek nem szerepelnek benne.

Feljegyzés

Ahhoz, hogy a Struktúra mezőlista a tagolt szöveg tényleges adatstruktúráját és az Excel-formátumú adathalmazokat tartalmazza, engedélyeznie kell a First Row as Header tulajdonságot, amely csak ezekhez az adatforrásokhoz támogatott.

Syntax

Metaadat-tevékenység lekérése

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Adatkészlet

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Típustulajdonságok

A Metaadatok lekérése tevékenység jelenleg a következő típusú metaadat-adatokat tudja visszaadni:

Tulajdonság Leírás Kötelező
fieldList A szükséges metaadat-adatok típusai. A támogatott metaadatokkal kapcsolatos részletekért tekintse meg a cikk Metaadatok beállításai szakaszát. Igen
adathalmaz Az a referenciaadatkészlet, amelynek metaadatait a Metaadatok lekérése tevékenységnek kell lekérnie. A támogatott összekötőkkel kapcsolatos információkért tekintse meg a Képességek szakaszt. Az adathalmaz szintaxisának részleteiért tekintse meg az összekötőkre vonatkozó témaköröket. Igen
formatSettings Formátumtípus-adatkészlet használatakor alkalmazható. Nem
storeSettings Formátumtípus-adatkészlet használatakor alkalmazható. Nem

Példakimenet

A Metaadatok lekérése eredmény megjelenik a tevékenység kimenetében. Az alábbiakban két minta látható, amelyek széles körű metaadat-beállításokat mutatnak be. Az eredmények későbbi tevékenységben való használatához használja a következő mintát: @{activity('MyGetMetadataActivity').output.itemName}.

Fájl metaadatainak lekérése

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Mappa metaadatainak lekérése

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Kapcsolódó tartalom

További információ az egyéb támogatott vezérlési folyamatokról: