Działanie "Pobierz metadane" w Azure Data Factory lub Azure Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Wskazówka

Data Factory w usłudze Microsoft Fabric jest następną generacją Azure Data Factory z prostszą architekturą, wbudowaną sztuczną inteligencją i nowymi funkcjami. Jeśli dopiero zaczynasz integrować dane, zacznij od Fabric Data Factory. Istniejące obciążenia ADF można zaktualizować do Fabric, aby uzyskać dostęp do nowych możliwości w zakresie nauki o danych, analiz w czasie rzeczywistym oraz raportowania.

• Rozpocznij bezpłatny okres próbny Fabric.
• Ugraduj z Azure Data Factory do usługi Data Factory w Microsoft Fabric

Możesz użyć aktywności Pobierz metadane, aby pobrać metadane dowolnych danych w Azure Data Factory lub potoku Synapse. Możesz użyć danych wyjściowych z działania Pobierz metadane w wyrażeniach warunkowych, aby przeprowadzić walidację, lub użyć metadanych w kolejnych działaniach.

Utwórz działanie Pobierz metadane z użyciem interfejsu użytkownika

Aby użyć aktywności Pobierz metadane w potoku danych, wykonaj następujące kroki:

1. Wyszukaj pozycję Pobierz metadane w okienku Działania potoku i przeciągnij działanie Pobierz metadane na kanwę potoku.

2. Wybierz na kanwie nową aktywność Pobierz metadane, jeśli nie została jeszcze wybrana, a następnie kartę Ustawienia, aby edytować jej szczegóły.

3. Wybierz zestaw danych lub utwórz nowy za pomocą przycisku Nowy. Następnie możesz określić opcje filtrowania i dodać kolumny z dostępnych metadanych dla zestawu danych.

   

4. Użyj danych wyjściowych działania jako danych wejściowych do innego działania, takiego jak działanie Switch w tym przykładzie. Możesz odwoływać się do danych wyjściowych działania metadanych wszędzie tam, gdzie zawartość dynamiczna jest obsługiwana w innym działaniu.

   

5. W edytorze zawartości dynamicznej wybierz dane wyjściowe działania Pobierz metadane, aby odwoływać się do niego w innym działaniu.

   

Obsługiwane możliwości

Działanie Pobierz metadane pobiera zestaw danych jako dane wejściowe i zwraca informacje o metadanych jako dane wyjściowe. Obecnie obsługiwane są następujące łączniki i odpowiednie metadane umożliwiające pobieranie. Maksymalny rozmiar zwracanych metadanych wynosi 4 MB.

Obsługiwane łączniki

File Storage

Łącznik/metadane	nazwaElementu (plik/folder)	itemType (plik/folder)	rozmiar (plik)	utworzone (plik/folder)	Ostatnia modyfikacja1 (plik/folder)	childItems (folder)	contentMD5 (plik)	struktura2 (plik)	columnCount2 (plik)	istnieje3 (plik/folder)
Amazon S3	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Przechowywanie zgodne z Amazon S3	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Google Cloud Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Oracle Cloud Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Azure Blob Storage	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Azure Data Lake Storage Gen1	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Azure Data Lake Storage Gen2	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Azure Files	√/√	√/√	√	√/√	√/√	√	x	√	√	√/√
Microsoft Fabric Lakehouse	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
System plików	√/√	√/√	√	√/√	√/√	√	x	√	√	√/√
SFTP	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
FTP	√/√	√/√	√	x/x	x/x	√	x	√	√	√/√

¹ Metadane lastModified:

• W przypadku usług Amazon S3, Amazon S3 Compatible Storage, Google Cloud Storage i Oracle Cloud Storage lastModified ma zastosowanie do zasobnika i klucza, ale nie do folderu wirtualnego, i exists dotyczy zasobnika i klucza, ale nie do prefiksu lub folderu wirtualnego.
• W przypadku usługi Azure Blob Storage lastModified dotyczy kontenera i obiektu blob, ale nie dotyczy folderu wirtualnego.

² Metadane structure i columnCount nie są obsługiwane podczas pobierania metadanych z plików binarnych, JSON lub XML.

³ Metadane exists: w przypadku usług Amazon S3, Amazon S3 Compatible Storage, Google Cloud Storage i Oracle Cloud Storage mają zastosowanie do zasobnika i klucza, exists ale nie do prefiksu lub folderu wirtualnego.

Należy uwzględnić następujące informacje:

• W przypadku korzystania z działania Pobierz metadane dla folderu upewnij się, że masz uprawnienia LIST/EXECUTE do danego folderu.

• Filtr z symbolami wieloznacznymi dla folderów/plików nie jest obsługiwany w operacji Pobierz metadane.

• modifiedDatetimeStart i modifiedDatetimeEnd filtr ustawiony na łączniku:

  • Te dwie właściwości są używane do filtrowania elementów podrzędnych podczas pobierania metadanych z folderu. Nie ma zastosowania podczas pobierania metadanych z pliku.
  • Gdy taki filtr jest używany, childItems w wynikach zawierają się tylko pliki, które są modyfikowane w określonym zakresie, ale nie obejmują folderów.
  • Aby zastosować taki filtr, działanie GetMetadata wylicza wszystkie pliki w określonym folderze i sprawdza czas modyfikacji. Unikaj wskazywania folderu z dużą liczbą plików, nawet jeśli oczekiwana liczba kwalifikowanych plików jest mała.

Relacyjna baza danych

Łącznik/metadane	struktura	liczbaKolumn	istnieje
Usługa Amazon RDS dla programu SQL Server	√	√	√
Azure SQL Database	√	√	√
Azure SQL Managed Instance	√	√	√
Azure Synapse Analytics	√	√	√
SQL Server	√	√	√

Opcje metadanych

Możesz określić następujące typy metadanych na liście pól aktywności Pobieranie metadanych, aby pobrać odpowiednie informacje.

Typ metadanych	opis
nazwaElementu	Nazwa pliku lub folderu.
itemType	Typ pliku lub folderu. Zwracana wartość to File lub Folder.
rozmiar	Rozmiar pliku w bajtach. Dotyczy tylko plików.
utworzone	Utworzono datę/godzinę pliku lub folderu.
ostatnia modyfikacja	Data ostatniej modyfikacji pliku lub folderu.
childItems	Lista podfolderów i plików w danym folderze. Dotyczy tylko folderów. Zwracana wartość jest listą nazwy i typu każdego elementu podrzędnego.
contentMD5	MD5 pliku. Dotyczy tylko plików.
struktura	Struktura danych pliku lub relacyjnej tabeli bazy danych. Zwracana wartość to lista nazw kolumn i typów kolumn.
liczbaKolumn	Liczba kolumn w pliku lub tabeli relacyjnej.
istnieje	Określa, czy plik, folder lub tabela istnieje. Jeśli exists zostanie określony na liście pól Get Metadata, działanie nie zakończy się niepowodzeniem, nawet jeśli plik, folder lub tabela nie istnieje. exists: false Zamiast tego jest zwracany w danych wyjściowych.

Wskazówka

Jeśli chcesz sprawdzić, czy plik, folder lub tabela istnieje, określ exists na liście pól aktywności Pobierz metadane. Następnie możesz sprawdzić exists: true/false wynik działania. Jeśli exists nie zostanie określona na liście pól, działanie Pobierz metadane zakończy się niepowodzeniem, jeśli obiekt nie zostanie znaleziony.

Uwaga

pl-PL: Po pobraniu metadanych z magazynów plików i skonfigurowaniu modifiedDatetimeStart lub modifiedDatetimeEnd, childItems w danych wyjściowych zawiera tylko pliki w określonej ścieżce, które mają czas ostatniej modyfikacji w określonym zakresie. Elementy w podfolderach nie są uwzględniane.

Uwaga

Dla listy pól Structure aby zapewnić rzeczywistą strukturę danych dla rozdzielanych tekstu i zestawów danych w formacie Excel, należy włączyć właściwość First Row as Header obsługiwaną tylko dla tych źródeł danych.

Składnia

Aktywność pobierania metadanych

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Dataset

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Właściwości typu

Obecnie działanie Pobierz metadane może zwrócić następujące typy informacji o metadanych:

Właściwości	opis	Wymagane
lista pól	Wymagane typy informacji o metadanych. Aby uzyskać szczegółowe informacje na temat obsługiwanych metadanych, zobacz sekcję Opcje metadanych w tym artykule.	Tak
zestaw danych	Zestaw danych referencyjnych, którego metadane mają być pobierane przez działanie Pobierz metadane. Aby uzyskać informacje na temat obsługiwanych łączników, zobacz sekcję Możliwości . Aby uzyskać szczegółowe informacje o składni zestawu danych, zapoznaj się z konkretnymi artykułami dotyczącymi łącznika.	Tak
formatUstawienia	Zastosuj w przypadku używania zestawu danych typu formatu.	Nie.
ustawieniaSklepu	Zastosuj w przypadku używania zestawu danych typu formatu.	Nie.

Przykładowe dane wyjściowe

Wyniki pobierania metadanych są wyświetlane w danych wyjściowych działania. Poniżej przedstawiono dwa przykłady przedstawiające obszerne opcje metadanych. Aby użyć wyników w kolejnym działaniu, użyj tego wzorca: @{activity('MyGetMetadataActivity').output.itemName}.

Pobieranie metadanych pliku

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Pobieranie metadanych folderu

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Powiązana zawartość

Dowiedz się więcej o innych obsługiwanych działaniach przepływu sterowania:

• Działanie wykonujące potok
• Działanie ForEach
• Działanie Lookup
• Działanie Web