Sortowanie przekształceń w przepływie danych mapowania

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Przepływy danych są dostępne zarówno w usłudze Azure Data Factory, jak i w potokach usługi Azure Synapse. Ten artykuł dotyczy przepływów danych mapowania. Jeśli dopiero zaczynasz transformacje, zapoznaj się z artykułem wprowadzającym Przekształcanie danych przy użyciu przepływu danych mapowania.

Przekształcenie sortowania umożliwia sortowanie wierszy przychodzących w bieżącym strumieniu danych. Możesz wybrać poszczególne kolumny i posortować je w kolejności rosnącej lub malejącej.

Uwaga

Przepływy danych mapowania są wykonywane w klastrach spark, które dystrybuują dane między wieloma węzłami i partycjami. Jeśli zdecydujesz się na ponowne partycjonowanie danych w kolejnej transformacji, możesz utracić sortowanie z powodu przetasowania danych. Najlepszym sposobem utrzymania kolejności sortowania w przepływie danych jest ustawienie pojedynczej partycji na karcie Optymalizacja na transformacji i zachowanie przekształcenia Sortowanie tak blisko ujścia, jak to możliwe.

Konfigurowanie

Bez uwzględniania wielkości liter: czy chcesz zignorować wielkość liter podczas sortowania ciągów lub pól tekstowych

Sortuj tylko w ramach partycji: w miarę uruchamiania przepływów danych na platformie Spark każdy strumień danych jest podzielony na partycje. To ustawienie sortuje dane tylko w ramach partycji przychodzących, a nie sortowania całego strumienia danych.

Warunki sortowania: wybierz kolumny sortowane według i w jakiej kolejności sortowanie ma miejsce. Kolejność określa priorytet sortowania. Wybierz, czy wartości null będą wyświetlane na początku lub na końcu strumienia danych.

Obliczone kolumny

Aby zmodyfikować lub wyodrębnić wartość kolumny przed zastosowaniem sortowania, umieść kursor nad kolumną i wybierz pozycję "obliczona kolumna". Spowoduje to otwarcie konstruktora wyrażeń w celu utworzenia wyrażenia dla operacji sortowania zamiast używania wartości kolumny.

Skrypt przepływu danych

Składnia

<incomingStream>
    sort(
        desc(<sortColumn1>, { true | false }),
        asc(<sortColumn2>, { true | false }),
        ...
    ) ~> <sortTransformationName<>

Przykład

Skrypt przepływu danych dla powyższej konfiguracji sortowania znajduje się w poniższym fragmencie kodu.

BasketballStats sort(desc(PTS, true),
    asc(Age, true)) ~> Sort1

Powiązana zawartość

Po sortowaniu możesz użyć przekształcenia agregacji