Konfigurowanie folderu w działaniu kopiowania

W tym artykule opisano sposób używania działania kopiowania w potoku do kopiowania danych z i do folderu.

Wymagania wstępne

Aby skopiować dane z folderu, należy skonfigurować lokalną bramę danych. Aby uzyskać więcej informacji, zobacz Jak uzyskać dostęp do lokalnych źródeł danych w usłudze Data Factory.

Obsługiwany format

Łącznik Folder obsługuje następujące formaty plików. Zapoznaj się z każdym artykułem, aby zapoznać się z ustawieniami opartymi na formacie.

Formaty obsługiwane przez źródło

Formaty obsługiwane przez lokalizację docelową

Obsługiwana konfiguracja

W przypadku konfiguracji każdej zakładki podczas czynności kopiowania przejdź odpowiednio do poniższych sekcji.

Ogólne

Zapoznaj się ze wskazówkami dotyczącymi ustawień ogólnych , aby skonfigurować kartę Ustawienia ogólne .

Źródło

Następujące właściwości są obsługiwane dla folderu na karcie Źródło działania kopiowania.

Zrzut ekranu przedstawiający ustawienia karty Źródło dla folderu.

Wymagane są następujące właściwości:

  • Połączenie: wybierz połączenie folderu z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe łącze do folderu.

  • Typ ścieżki pliku: jako typ ścieżki pliku można wybrać Ścieżka pliku, Filtr pliku, Ścieżka pliku z symbolami wieloznacznymi lub Lista plików. Konfiguracja dla każdego ustawienia to:

    • Ścieżka pliku: wybierz pozycję Przeglądaj , aby wybrać plik, który chcesz skopiować, lub wypełnij ścieżkę ręcznie.

    • Filtr plików: filtr natywny po stronie serwera plików, który zapewnia lepszą wydajność niż filtr wieloznaczny.

      • Ścieżka folderu: określ ścieżkę do folderu.
      • Filtr pliku: służy * do dopasowywania zera lub większej liczby znaków i ? do dopasowywania zera lub pojedynczego znaku. Dowiedz się więcej na temat składni i notatek z uwag w tej sekcji.

    • Ścieżka pliku z symbolami wieloznacznymi: określ ścieżki symboli wieloznacznych.

      • Ścieżki z symbolami wieloznacznymi: określ folder lub ścieżkę pliku z symbolami wieloznacznymi, aby filtrować foldery źródłowe lub pliki.

        Dozwolone wildcardy to: * (pasuje do zera lub większej liczby znaków) i ? (pasuje do zera lub pojedynczego znaku). Użyj ^, aby zrealizować ucieczkę, jeśli nazwa folderu ma symbole wieloznaczne lub znak ucieczki w środku.

        • Ścieżka folderu z symbolami wieloznacznymi: określ ścieżkę folderu z symbolami wieloznacznymi, aby filtrować foldery źródłowe.

        • Nazwa pliku z symbolami wieloznacznymi: określ nazwę pliku z symbolami wieloznacznymi pod określoną ścieżką folderu (lub ścieżką folderu z symbolami wieloznacznymi), aby filtrować pliki źródłowe.

    • Lista plików: wskazuje, że chcesz skopiować dany zestaw plików.

      • Ścieżka folderu: określ ścieżkę do folderu.
      • Ścieżka do listy plików: wskazuje plik tekstowy zawierający listę plików, które chcesz skopiować, jeden plik na wiersz, czyli ścieżkę względną do skonfigurowanej ścieżki pliku.

  • Format pliku: wybierz format pliku zastosowany z listy rozwijanej. Wybierz pozycję Ustawienia , aby skonfigurować format pliku. Aby zapoznać się z ustawieniami różnych formatów plików, zapoznaj się z artykułami w obsługiwanym formacie.

Następujące właściwości są opcjonalne:

  • Rekursywnie: określ, czy dane są odczytywane rekursywnie z podfolderów, czy tylko z określonego folderu. Ta właściwość jest domyślnie zaznaczona i nie ma zastosowania podczas konfigurowania listy plików.
  • Usuń pliki po zakończeniu: wskazuje, czy pliki binarne są usuwane z magazynu źródłowego po pomyślnym przeniesieniu do magazynu docelowego. Usunięcie pliku jest przeprowadzane dla każdego pliku z osobna. Ta właściwość jest prawidłowa tylko w scenariuszu kopiowania plików binarnych.

W obszarze Zaawansowane można określić następujące pola:

  • Filtruj według ostatniej modyfikacji: pliki są filtrowane na podstawie dat ostatniej modyfikacji. Ta właściwość nie ma zastosowania podczas konfigurowania typu ścieżki pliku jako Listy plików.

    • Godzina rozpoczęcia (UTC): pliki są wybierane, jeśli ich czas ostatniej modyfikacji jest większy lub równy skonfigurowanemu czasowi.

    • Godzina zakończenia (UTC): Pliki są wybierane, jeśli czas ostatniej modyfikacji jest krótszy niż skonfigurowany czas.

    Gdy godzina rozpoczęcia (UTC) ma wartość daty/godziny, ale godzina zakończenia (UTC) ma wartość NULL, oznacza to, że pliki, których ostatnio zmodyfikowany atrybut jest większy lub równy wartości daty/godziny, zostaną wybrane. Jeśli godzina zakończenia (UTC) ma wartość daty/godziny, ale godzina rozpoczęcia (UTC) ma wartość NULL, oznacza to, że pliki, których ostatnio zmodyfikowany atrybut jest mniejszy niż wartość daty/godziny, zostanie wybrana. Właściwości mogą mieć wartość NULL, co oznacza, że do danych nie zostanie zastosowany filtr atrybutu pliku.

  • Włącz odnajdywanie partycji: określ, czy przeanalizować partycje ze ścieżki pliku i dodać je jako dodatkowe kolumny źródłowe. Jest on domyślnie niezaznaczony i nie jest obsługiwany w przypadku korzystania z formatu pliku binarnego.

    • Ścieżka główna partycji: po włączeniu odnajdywania partycji określ bezwzględną ścieżkę główną, aby odczytywać podzielone na partycje foldery jako kolumny danych.

      Jeśli nie zostanie określone, to domyślnie

      • Jeśli używasz ścieżki pliku lub listy plików w źródle, ścieżka główna partycji jest ścieżką skonfigurowaną.
      • W przypadku używania filtru z symbolami wieloznacznymi dla folderów, ścieżka główna partycji obejmuje podścieżkę przed pierwszym symbolem wieloznacznym.

  • Maksymalna liczba połączeń współbieżnych: ta właściwość wskazuje górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

Destynacja

Następujące właściwości są obsługiwane dla folderu na karcie Miejsce docelowe działania kopiowania.

Zrzut ekranu przedstawiający konfigurację karty Miejsce docelowe dla folderu.

Wymagane są następujące właściwości:

  • Połączenie: wybierz połączenie folderu z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe łącze do folderu.

  • Ścieżka pliku: wybierz pozycję Przeglądaj , aby wybrać plik, który chcesz skopiować lub wypełnić ścieżkę ręcznie.

  • Format pliku: wybierz format pliku zastosowany z listy rozwijanej. Wybierz pozycję Ustawienia , aby skonfigurować format pliku. Aby zapoznać się z ustawieniami różnych formatów plików, zapoznaj się z artykułami w obsługiwanym formacie.

Następujące właściwości są opcjonalne:

W obszarze Zaawansowane można określić następujące pola:

  • Zachowanie kopiowania: definiuje zachowanie kopiowania, gdy źródłem są pliki z magazynu danych opartego na plikach. Możesz wybrać zachowanie z listy rozwijanej.

    • Hierarchia spłaszczana: wszystkie pliki z folderu źródłowego znajdują się na pierwszym poziomie folderu docelowego. Pliki docelowe mają automatycznie wygenerowane nazwy.
    • Połącz pliki: Łączy wszystkie pliki z folderu źródłowego w jeden plik. Jeśli określono nazwę pliku, scalony plik otrzyma tę nazwę. W przeciwnym razie jest to automatycznie wygenerowana nazwa pliku.
    • Zachowaj hierarchię (ustawienie domyślne): zachowuje hierarchię plików w folderze docelowym. Względna ścieżka pliku źródłowego do folderu źródłowego jest identyczna ze względną ścieżką pliku docelowego do folderu docelowego.

  • Maksymalna liczba połączeń współbieżnych: górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

Mapowanie

W celu konfiguracji zakładki Mapowanie przejdź do Konfigurowanie mapowań w zakładce mapowania.

Settings

Aby uzyskać konfigurację karty Ustawienia, przejdź do Konfiguruj pozostałe ustawienia na karcie ustawień.

Podsumowanie tabeli

Poniższe tabele zawierają więcej informacji o działaniu kopiowania w folderze.

Informacje źródłowe

Nazwa Opis Wartość Wymagane Właściwość skryptu JSON
Połączenie Twoja łączność z źródłowym magazynem danych. <Twoje połączenie z folderem> Yes połączenie
Typ ścieżki pliku Typ ścieżki pliku używany do pobierania danych źródłowych. / Yes /
Dla Ścieżka pliku
Ścieżka pliku Folder lub ścieżka pliku, z którego są odczytywane pliki. <Twój folder lub ścieżka pliku> Nie. folderPath
fileName
Filtr plików
ścieżka folderu Określ ścieżkę do folderu. <ścieżka folderu> Nie. folderPath
Filtr plików Filtr natywny po stronie serwera plików. <twój filtr pliku> Nie. fileFilter
W przypadku ścieżki pliku z symbolami wieloznacznymi
Ścieżka z dzikimi kartami Ścieżka folderu z symbolami wieloznacznymi używana do filtrowania folderów źródłowych. <ścieżka folderu z symbolami wieloznacznymi> Nie. wildcardFolderPath
Nazwa pliku z dziką kartą Wzorzec nazw plików wieloznacznych używany do filtrowania plików źródłowych. <nazwa pliku z symbolami wieloznacznymi> Nie. wildcardFileName
Lista plików
ścieżka folderu Określ ścieżkę do folderu. <ścieżka folderu> Nie. folderPath
Ścieżka do listy plików Ścieżka do pliku tekstowego zawierającego listę plików do skopiowania (względem skonfigurowanej ścieżki). <ścieżka listy plików> Nie. fileListPath
Format pliku Format pliku dla danych źródłowych. Aby uzyskać informacje o różnych formatach plików, zapoznaj się z artykułami w obsługiwanym formacie. / Yes /
Rekursywnie Wskazuje, czy dane są odczytywane rekursywnie z podfolderów, czy tylko z określonego folderu. Ta właściwość nie ma zastosowania podczas konfigurowania listy plików. prawda/fałsz Nie. recursive
Usuwanie plików po zakończeniu Wskazuje, czy pliki binarne są usuwane z magazynu źródłowego po pomyślnym przeniesieniu do magazynu docelowego. prawda/fałsz Nie. deleteFilesAfterCompletion
Filtruj według ostatniej modyfikacji Pliki o ostatniej modyfikacji w zakresie [Godzina rozpoczęcia, Godzina zakończenia) będą filtrowane pod kątem dalszego przetwarzania. Czas zostanie ustawiony na strefę czasową UTC w formacie YYYY-MM-DDTHH:mm:ssZ. Te właściwości można pominąć, co oznacza, że nie zostanie zastosowany filtr atrybutu pliku. Ta właściwość nie ma zastosowania podczas konfigurowania typu ścieżki pliku jako Listy plików. <data i czas> Nie. modifiedDatetimeStart
modifiedDatetimeEnd
Włączanie odnajdywania partycji Wskazuje, czy należy przeanalizować partycje ze ścieżki pliku i dodać je jako dodatkowe kolumny źródłowe. prawda/fałsz Nie. enablePartitionDiscovery
ścieżka główna partycji Po włączeniu odnajdywania partycji określ bezwzględną ścieżkę katalogu głównego, aby odczytywać foldery podzielone na partycje jako kolumny danych. <ścieżka główna partycji> Nie. partitionRootPath
Maksymalna liczba połączeń współbieżnych Górny limit nawiązywanych jednocześnie połączeń z magazynem danych podczas wykonywania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne. <liczba całkowita> Nie. maksymalnaLiczbaJednoczesnychPołączeń

Informacje o lokalizacji docelowej

Nazwa Opis Wartość Wymagane Właściwość skryptu JSON
Połączenie Twoje połączenie z docelowym magazynem danych. <Twoje połączenie z folderem> Yes połączenie
Ścieżka pliku Ścieżka folderu, do którego są zapisywane pliki. <ścieżka folderu> Yes folderPath
fileName
Format pliku Format pliku dla danych docelowych. Aby uzyskać informacje o różnych formatach plików, zapoznaj się z artykułami w obsługiwanym formacie. / Yes /
Zachowanie kopiowania Definiuje sposób zapisywania plików w miejscu docelowym. FlattenHierarchy
MergeFiles
PreserveHierarchy (ustawienie domyślne)		 Nie. copyBehavior
Maksymalna liczba połączeń współbieżnych Maksymalna liczba współbieżnych połączeń z magazynem danych. <liczba całkowita> Nie. maksymalnaLiczbaJednoczesnychPołączeń

Treści powiązane

  • Last updated on