Pobieranie działania metadanych w usłudze Azure Data Factory lub Azure Synapse Analytics

Artykuł
12/09/2023

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Możesz użyć działania Pobierz metadane, aby pobrać metadane dowolnego danych w usłudze Azure Data Factory lub potoku usługi Synapse. Możesz użyć danych wyjściowych z działania Pobierz metadane w wyrażeniach warunkowych, aby przeprowadzić walidację, lub użyć metadanych w kolejnych działaniach.

Tworzenie działania Pobieranie metadanych za pomocą interfejsu użytkownika

Aby użyć działania Pobierz metadane w potoku, wykonaj następujące kroki:

Wyszukaj ciąg Pobierz metadane w okienku Działania potoku i przeciągnij działanie Niepowodzenie na kanwę potoku.
Wybierz nowe działanie Pobierz metadane na kanwie, jeśli nie zostało jeszcze wybrane, a jej karta Ustawienia, aby edytować jego szczegóły.
Wybierz zestaw danych lub utwórz nowy za pomocą przycisku Nowy. Następnie możesz określić opcje filtrowania i dodać kolumny z dostępnych metadanych dla zestawu danych.
Użyj danych wyjściowych działania jako danych wejściowych do innego działania, takiego jak działanie Switch w tym przykładzie. Możesz odwoływać się do danych wyjściowych działania metadanych w dowolnym miejscu zawartości dynamicznej, która jest obsługiwana w innym działaniu.
W edytorze zawartości dynamicznej wybierz dane wyjściowe działania Pobierz metadane, aby odwoływać się do niego w innym działaniu.

Obsługiwane możliwości

Działanie Pobierz metadane pobiera zestaw danych jako dane wejściowe i zwraca informacje o metadanych jako dane wyjściowe. Obecnie obsługiwane są następujące łączniki i odpowiednie metadane umożliwiające pobieranie. Maksymalny rozmiar zwracanych metadanych wynosi 4 MB.

Obsługiwane łączniki

File Storage

Połączenie or/metadane	Itemname (plik/folder)	Itemtype (plik/folder)	size (plik)	Utworzone (plik/folder)	lastModified¹ (plik/folder)	Childitems (folder)	contentMD5 (plik)	struktura² (plik)	columnCount² (plik)	istnieje³ (plik/folder)
Amazon S3	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Magazyn zgodny z usługą Amazon S3	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Google Cloud Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Oracle Cloud Storage	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Azure Blob Storage	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Usługa Azure Data Lake Storage 1. generacji	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
Azure Data Lake Storage Gen2	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
Azure Files	√/√	√/√	√	√/√	√/√	√	x	√	√	√/√
Microsoft Fabric Lakehouse	√/√	√/√	√	x/x	√/√	√	√	√	√	√/√
System plików	√/√	√/√	√	√/√	√/√	√	x	√	√	√/√
SFTP	√/√	√/√	√	x/x	√/√	√	x	√	√	√/√
FTP	√/√	√/√	√	x/x	x/x	√	x	√	√	√/√

¹ Metadane lastModified:

W przypadku usług Amazon S3, Amazon S3 Compatible Storage, Google Cloud Storage i Oracle Cloud Storage lastModified ma zastosowanie do zasobnika i klucza, ale nie do folderu wirtualnego, i exists dotyczy zasobnika i klucza, ale nie do prefiksu lub folderu wirtualnego.
W przypadku usługi Azure Blob Storage dotyczy kontenera i obiektu blob, lastModified ale nie do folderu wirtualnego.

² Metadane structure i columnCount nie są obsługiwane podczas pobierania metadanych z plików binarnych, JSON lub XML.

³ Metadane exists: w przypadku usług Amazon S3, Magazyn zgodny z usługą Amazon S3, Google Cloud Storage i Oracle Cloud Storage mają zastosowanie do zasobnika i klucza, exists ale nie do prefiksu lub folderu wirtualnego.

Należy zwrócić uwagę na następujące kwestie:

W przypadku korzystania z działania Pobierz metadane względem folderu upewnij się, że masz uprawnienie LIST/EXECUTE do danego folderu.
Filtr z symbolami wieloznacznymi w folderach/plikach nie jest obsługiwany w przypadku działania Pobierz metadane.
modifiedDatetimeStart i modifiedDatetimeEnd filtr ustawiony na łączniku:
- Te dwie właściwości są używane do filtrowania elementów podrzędnych podczas pobierania metadanych z folderu. Nie ma zastosowania podczas pobierania metadanych z pliku.
- Gdy taki filtr jest używany, childItems dane wyjściowe w danych wyjściowych zawierają tylko pliki, które są modyfikowane w określonym zakresie, ale nie w folderach.
- Aby zastosować taki filtr, działanie GetMetadata wylicza wszystkie pliki w określonym folderze i sprawdza czas modyfikacji. Unikaj wskazywania folderu z dużą liczbą plików, nawet jeśli oczekiwana liczba kwalifikowanych plików jest mała.

Relacyjna baza danych

Połączenie or/metadane	— struktura	Columncount	istnieje
Usługa Amazon RDS dla programu SQL Server	√	√	√
Azure SQL Database	√	√	√
Wystąpienie zarządzane Azure SQL	√	√	√
Azure Synapse Analytics	√	√	√
SQL Server	√	√	√

Opcje metadanych

Aby pobrać odpowiednie informacje, możesz określić następujące typy metadanych na liście pól Pobieranie metadanych:

Typ metadanych	opis
Itemname	Nazwa pliku lub folderu.
Itemtype	Typ pliku lub folderu. Zwracana wartość to `File` lub `Folder`.
size	Rozmiar pliku w bajtach. Dotyczy tylko plików.
Utworzone	Utworzono datę/godzinę pliku lub folderu.
Lastmodified	Data ostatniej modyfikacji pliku lub folderu.
Childitems	Lista podfolderów i plików w danym folderze. Dotyczy tylko folderów. Zwracana wartość jest listą nazwy i typu każdego elementu podrzędnego.
contentMD5	MD5 pliku. Dotyczy tylko plików.
— struktura	Struktura danych pliku lub relacyjnej tabeli bazy danych. Zwracana wartość to lista nazw kolumn i typów kolumn.
Columncount	Liczba kolumn w pliku lub tabeli relacyjnej.
istnieje	Określa, czy plik, folder lub tabela istnieje. Jeśli `exists` zostanie określona na liście pól Pobierz metadane, działanie nie powiedzie się nawet wtedy, gdy plik, folder lub tabela nie istnieje. `exists: false` Zamiast tego jest zwracany w danych wyjściowych.

Napiwek

Jeśli chcesz sprawdzić, czy plik, folder lub tabela istnieje, określ exists je na liście Pól działania Pobierz metadane. Następnie możesz sprawdzić exists: true/false wynik w danych wyjściowych działania. Jeśli exists nie zostanie określona na liście pól, działanie Pobierz metadane zakończy się niepowodzeniem, jeśli obiekt nie zostanie znaleziony.

Uwaga

Po pobraniu metadanych z magazynów plików i skonfigurowaniu modifiedDatetimeStart elementu lub modifiedDatetimeEndchildItems , w danych wyjściowych znajdują się tylko pliki w określonej ścieżce, które mają czas ostatniej modyfikacji w określonym zakresie. Elementy w podfolderach nie są uwzględniane.

Uwaga

Aby lista pól Struktura dostarczała rzeczywistą strukturę danych dla rozdzielanych zestawów danych tekstowych i zestawów danych w formacie programu Excel, należy włączyć First Row as Header właściwość, która jest obsługiwana tylko dla tych źródeł danych.

Składnia

Działanie Pobieranie metadanych

{
    "name":"MyActivity",
    "type":"GetMetadata",
    "dependsOn":[

    ],
    "policy":{
        "timeout":"7.00:00:00",
        "retry":0,
        "retryIntervalInSeconds":30,
        "secureOutput":false,
        "secureInput":false
    },
    "userProperties":[

    ],
    "typeProperties":{
        "dataset":{
            "referenceName":"MyDataset",
            "type":"DatasetReference"
        },
        "fieldList":[
            "size",
            "lastModified",
            "structure"
        ],
        "storeSettings":{
            "type":"AzureBlobStorageReadSettings"
        },
        "formatSettings":{
            "type":"JsonReadSettings"
        }
    }
}

Dataset

{
    "name":"MyDataset",
    "properties":{
        "linkedServiceName":{
            "referenceName":"AzureStorageLinkedService",
            "type":"LinkedServiceReference"
        },
        "annotations":[

        ],
        "type":"Json",
        "typeProperties":{
            "location":{
                "type":"AzureBlobStorageLocation",
                "fileName":"file.json",
                "folderPath":"folder",
                "container":"container"
            }
        }
    }
}

Właściwości typu

Obecnie działanie Pobierz metadane może zwrócić następujące typy informacji o metadanych:

Właściwości	Opis	Wymagania
fieldList	Wymagane typy informacji o metadanych. Aby uzyskać szczegółowe informacje na temat obsługiwanych metadanych, zobacz sekcję Opcje metadanych w tym artykule.	Tak
zestaw danych	Zestaw danych referencyjnych, którego metadane mają być pobierane przez działanie Pobierz metadane. Aby uzyskać informacje na temat obsługiwanych łączników, zobacz sekcję Możliwości . Zapoznaj się z konkretnymi tematami łącznika, aby uzyskać szczegółowe informacje o składni zestawu danych.	Tak
format Ustawienia	Zastosuj w przypadku używania zestawu danych typu formatu.	Nie.
store Ustawienia	Zastosuj w przypadku używania zestawu danych typu formatu.	Nie.

Przykładowe dane wyjściowe

Wyniki pobierania metadanych są wyświetlane w danych wyjściowych działania. Poniżej przedstawiono dwa przykłady przedstawiające obszerne opcje metadanych. Aby użyć wyników w kolejnym działaniu, użyj tego wzorca: @{activity('MyGetMetadataActivity').output.itemName}.

Pobieranie metadanych pliku

{
  "exists": true,
  "itemName": "test.csv",
  "itemType": "File",
  "size": 104857600,
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "contentMD5": "cMauY+Kz5zDm3eWa9VpoyQ==",
  "structure": [
    {
        "name": "id",
        "type": "Int64"
    },
    {
        "name": "name",
        "type": "String"
    }
  ],
  "columnCount": 2
}

Pobieranie metadanych folderu

{
  "exists": true,
  "itemName": "testFolder",
  "itemType": "Folder",
  "lastModified": "2017-02-23T06:17:09Z",
  "created": "2017-02-23T06:17:09Z",
  "childItems": [
    {
      "name": "test.avro",
      "type": "File"
    },
    {
      "name": "folder hello",
      "type": "Folder"
    }
  ]
}

Dowiedz się więcej o innych obsługiwanych działaniach przepływu sterowania: