Parametryzacja przepływów mapowania danych

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Wskazówka

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Przepływy mapowania danych w potokach usług Azure Data Factory i Synapse obsługują używanie parametrów. Zdefiniuj parametry wewnątrz definicji przepływu danych i użyj ich w wyrażeniach. Wartości parametrów są ustawiane przez potok wywołujący za pośrednictwem działania "Wykonaj Przepływ Danych". Dostępne są trzy opcje ustawiania wartości w wyrażeniach działań przepływu danych:

• Użyj języka wyrażeń przepływu sterowania potokiem, aby ustawić wartość dynamiczną
• Ustawianie wartości dynamicznej przy użyciu języka wyrażeń przepływu danych
• Użyj którejkolwiek z języków wyrażeń, aby ustawić statyczną wartość literałową

Użyj tej funkcji, aby twoje przepływy danych były uniwersalne, elastyczne i wielokrotnego użytku. Za pomocą tych parametrów można sparametryzować ustawienia i wyrażenia przepływu danych.

Tworzenie parametrów w przepływie danych mapowania

Aby dodać parametry do przepływu danych, kliknij pustą część kanwy przepływu danych, aby wyświetlić ogólne właściwości. W okienku ustawień zostanie wyświetlona karta o nazwie Parametr. Wybierz pozycję Nowy , aby wygenerować nowy parametr. Dla każdego parametru należy przypisać nazwę, wybrać typ i opcjonalnie ustawić wartość domyślną.

Używanie parametrów w przepływie danych mapowania

Do parametrów można odwoływać się w dowolnym wyrażeniu przepływu danych. Parametry zaczynają się od $ i są niezmienne. Listę dostępnych parametrów znajdziesz w konstruktorze wyrażeń na karcie Parametry .

Możesz szybko dodać dodatkowe parametry, wybierając pozycję Nowy parametr i określając nazwę i typ.

Używanie sparametryzowanych połączonych usług w przepływie danych mapowania

Usługi połączone z parametrami mogą być używane w przepływie danych mapujących (w przypadku zestawu danych lub typów źródeł wbudowanych).

W przypadku wbudowanego typu źródła parametry połączonej usługi są uwidocznione w ustawieniach działania przepływu danych w potoku, jak pokazano poniżej.

W przypadku typu źródła zestawu danych parametry połączonej usługi są widoczne bezpośrednio w konfiguracji zestawu danych.

Przypisywanie wartości parametrów z potoku

Po utworzeniu przepływu danych z parametrami można go wykonać z potoku za pomocą działania Wykonaj Przepływ danych. Po dodaniu działania do kanwy potoku zostaną wyświetlone parametry przepływu danych dostępne na karcie Parametry działania.

Podczas przypisywania wartości parametrów można użyć języka wyrażeń potoku danych lub języka wyrażeń przepływu danych na podstawie typów w Spark. Każdy przepływ danych mapowania może mieć dowolną kombinację parametrów wyrażenia potoku oraz przepływu danych.

Parametry wyrażenia potoku

Parametry wyrażenia potoku umożliwiają odwołowanie się do zmiennych systemowych, funkcji, parametrów potoku i zmiennych podobnych do innych działań potoku. Po kliknięciu wyrażenia potoku, otworzy się boczne menu nawigacyjne, umożliwiające wprowadzenie wyrażenia za pomocą narzędzia do tworzenia wyrażeń.

W przypadku przywołowania parametry potoku są oceniane, a następnie ich wartość jest używana w języku wyrażeń przepływu danych. Typ wyrażenia potoku nie musi być zgodny z typem parametru przepływu danych.

Literały znakowe a wyrażenia

Podczas przypisywania parametru wyrażenia potoku typu ciąg domyślnie cudzysłowy zostaną dodane, a wartość zostanie obliczona jako literał. Aby odczytać wartość parametru jako wyrażenie przepływu danych, zaznacz pole wyrażenia obok parametru.

Jeśli parametr stringParam przepływu danych odwołuje się do parametru potoku o wartości upper(column1).

• Jeśli wyrażenie jest zaznaczone, $stringParam oblicza wartość kolumny column1 wszystkimi wielkimi literami.
• Jeśli wyrażenie nie jest zaznaczone (zachowanie domyślne), $stringParam ocenia wartość 'upper(column1)'

Przekazywanie sygnatur czasowych

W języku wyrażeń potoku zmienne systemowe, takie jak pipeline().TriggerTime, oraz funkcje, takie jak utcNow(), zwracają znaczniki czasu jako ciągi w formacie "rrrr-MM-dd'T'HH:mm:ss.SSSSSSZ". Aby przekonwertować je na parametry przepływu danych typu sygnatury czasowej, użyj interpolacji ciągów, aby uwzględnić żądany znacznik czasu w funkcji toTimestamp(). Aby na przykład zamienić czas wyzwalacza potoku na parametr przepływu danych, możesz użyć metody toTimestamp(left('@{pipeline().TriggerTime}', 23), 'yyyy-MM-dd\'T\'HH:mm:ss.SSS').

Uwaga

Przepływy danych mogą obsługiwać maksymalnie 3 cyfry milisekundowe. Funkcja left() jest używana do przycinania dodatkowych cyfr.

Przykład parametru potoku

Załóżmy, że masz parametr intParam całkowity, który odwołuje się do parametru potoku typu String, @pipeline.parameters.pipelineParam.

@pipeline.parameters.pipelineParam przypisywana jest wartość abs(1) w czasie wykonywania.

Jeśli $intParam jest odwoływane w wyrażeniu, takim jak kolumna pochodna, zwróci abs(1)1.

Parametry wyrażenia przepływu danych

Wybranie Wyrażenia przepływu danych spowoduje otwarcie konstruktora wyrażeń przepływu danych. Będziesz mieć możliwość odwołowania się do funkcji, innych parametrów i dowolnej zdefiniowanej kolumny schematu w całym przepływie danych. To wyrażenie zostanie ocenione w jego obecnej formie, gdy zostanie przywoływane.

Uwaga

Jeśli przekażesz nieprawidłowe wyrażenie lub odwołasz się do kolumny schematu, która nie istnieje w tej transformacji, parametr zwróci wartość null.

Przekazywanie nazwy kolumny jako parametru

Typowym wzorcem jest przekazanie nazwy kolumny jako wartości parametru. Jeśli kolumna jest zdefiniowana w schemacie przepływu danych, możesz odwoływać się do niej bezpośrednio jako wyrażenie ciągu. Jeśli kolumna nie jest zdefiniowana w schemacie, użyj byName() funkcji . Pamiętaj, aby rzutować kolumnę do odpowiedniego typu za pomocą funkcji rzutowania, takiej jak toString().

Jeśli na przykład chcesz odwzorować kolumnę ciągu na podstawie parametru columnName, możesz dodać transformację kolumny pochodnej odpowiadającą toString(byName($columnName)).

Uwaga

W wyrażeniach przepływu danych interpolacja ciągów (podstawianie zmiennych wewnątrz ciągu) nie jest obsługiwana. Zamiast tego połącz wyrażenie z wartościami ciągu. Na przykład 'string part 1' + $variable + 'string part 2'

Powiązana zawartość

• Wykonywanie działania przepływu danych
• Wyrażenia przepływu sterowania