Konfigurowanie usługi Azure Files w działaniu kopiowania

W tym artykule opisano sposób używania działania kopiowania w potoku danych do kopiowania danych z i do usługi Azure Files.

Obsługiwany format

Usługa Azure Files obsługuje następujące formaty plików. Zapoznaj się z każdym artykułem, aby zapoznać się z ustawieniami opartymi na formacie.

• Format Avro
• Format binarny
• Format tekstu rozdzielanego
• Format programu Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Obsługiwana konfiguracja

W przypadku konfiguracji każdej karty w działaniu kopiowania przejdź odpowiednio do poniższych sekcji.

• Ogólne
• Source
• Lokalizacja docelowa
• Mapowania
• Ustawienia

Ogólne

Zapoznaj się ze wskazówkami dotyczącymi ustawień ogólnych, aby skonfigurować kartę Ustawienia ogólne.

Źródło

Następujące właściwości są obsługiwane dla usługi Azure Files na karcie Źródło działania kopiowania.

Wymagane są następujące właściwości:

• Typ magazynu danych: wybierz pozycję Zewnętrzne.

• Połączenie ion: wybierz połączenie usługi Azure Files z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie usługi Azure Files, wybierając pozycję Nowy.

• Typ ścieżki pliku: możesz wybrać ścieżkę pliku, prefiks, ścieżkę pliku z symbolami wieloznacznymi, listę plików jako typ ścieżki pliku. Konfiguracja każdego ustawienia to:

  • Ścieżka pliku: w przypadku wybrania tego typu dane można skopiować z określonej ścieżki folderu/pliku.

  • Prefiks: prefiks nazwy pliku w określonym udziale plików do filtrowania plików źródłowych. Wybierane są pliki o nazwie rozpoczynającej się od fileshare_in_connection/this_prefix . Korzysta z filtru po stronie usługi dla usługi Azure Files, który zapewnia lepszą wydajność niż filtr wieloznaczny.

    

  • Ścieżka pliku z symbolami wieloznacznymi: określ folder lub ścieżkę pliku z symbolami wieloznacznymi, aby filtrować foldery źródłowe lub pliki.

    Dozwolone symbole wieloznaczne to * (dopasowywały zero lub więcej znaków) i ? (dopasowywały zero lub pojedynczy znak). Użyj ^ polecenia , aby uniknąć, jeśli nazwa folderu ma symbol wieloznaczny lub znak ucieczki wewnątrz. Aby uzyskać więcej przykładów, przejdź do pozycji Folder i przykłady filtru plików.

    

    Ścieżka folderu z symbolami wieloznacznymi: określ ścieżkę folderu z symbolami wieloznacznymi, aby filtrować foldery źródłowe.

    Nazwa pliku z symbolami wieloznacznymi: określ nazwę pliku z symbolami wieloznacznymi w skonfigurowanej ścieżce folderu/folderu wieloznacznych, aby filtrować pliki źródłowe.

  • Lista plików: wskazuje dany zestaw plików do skopiowania. Na liście Ścieżka do pliku wprowadź lub przejdź do pliku tekstowego zawierającego listę plików, które chcesz skopiować, jeden plik na wiersz, czyli ścieżkę względną do każdego pliku.

    Jeśli używasz tej opcji, nie określaj nazwy pliku. Aby uzyskać więcej przykładów, przejdź do pozycji Przykłady listy plików.

    

    • Ścieżka folderu: określ ścieżkę do folderu. Jest to wymagane.

    • Ścieżka do listy plików: określ ścieżkę pliku tekstowego zawierającego listę plików, które chcesz skopiować.

• Rekursywnie: określ, czy dane są odczytywane rekursywnie z podfolderów, czy tylko z określonego folderu. Należy pamiętać, że w przypadku wybrania opcji Rekursively i miejsce docelowe jest magazynem opartym na plikach, pusty folder lub podfolder nie jest kopiowany ani tworzony w miejscu docelowym. Ta właściwość jest domyślnie zaznaczona i nie ma zastosowania podczas konfigurowania ścieżki do listy plików.

• Format pliku: wybierz format pliku zastosowany z listy rozwijanej. Wybierz Ustawienia, aby skonfigurować format pliku. Aby uzyskać szczegółowe informacje, zobacz artykuły w obsługiwanym formacie .

W obszarze Zaawansowane można określić następujące pola:

• Filtruj według ostatniej modyfikacji: pliki są filtrowane na podstawie dat ostatniej modyfikacji. Ta właściwość nie ma zastosowania podczas konfigurowania typu ścieżki pliku jako Listy plików.

  • Godzina rozpoczęcia (UTC): pliki są wybierane, jeśli ich czas ostatniej modyfikacji jest większy lub równy skonfigurowanemu czasowi.

  • Godzina zakończenia (UTC): Pliki są wybierane, jeśli czas ostatniej modyfikacji jest krótszy niż skonfigurowany czas.

    Gdy godzina rozpoczęcia (UTC) ma wartość daty/godziny, ale godzina zakończenia (UTC) ma wartość NULL, oznacza to, że pliki, których ostatnio zmodyfikowany atrybut jest większy niż lub równy wartości daty/godziny, zostaną wybrane. Jeśli godzina zakończenia (UTC) ma wartość daty/godziny, ale godzina rozpoczęcia (UTC) ma wartość NULL, oznacza to, że pliki, których ostatnio zmodyfikowany atrybut jest mniejszy niż wartość daty/godziny, zostanie wybrana. Właściwości mogą mieć wartość NULL, co oznacza, że do danych nie zostanie zastosowany filtr atrybutu pliku.

• Włącz odnajdywanie partycji: określ, czy przeanalizować partycje ze ścieżki pliku i dodać je jako dodatkowe kolumny źródłowe. Jest on domyślnie niezaznaczony i nie jest obsługiwany w przypadku korzystania z formatu pliku binarnego.

  • Ścieżka główna partycji: po włączeniu odnajdywania partycji określ bezwzględną ścieżkę główną, aby odczytywać podzielone na partycje foldery jako kolumny danych.

    Jeśli nie zostanie określony, domyślnie,

    • Jeśli używasz ścieżki pliku lub listy plików w źródle, ścieżka główna partycji jest ścieżką skonfigurowaną.
    • W przypadku używania filtru folderów wieloznacznych ścieżka główna partycji jest ścieżką podrzędną przed pierwszym symbolem wieloznacznymi.

    Na przykład przy założeniu, że ścieżka jest skonfigurowana jako root/folder/year=2020/month=08/day=27:

    • Jeśli określisz ścieżkę główną partycji jako root/folder/year=2020, działanie kopiowania wygeneruje dwa kolejne kolumny miesiąc i dzień z wartością "08" i "27" odpowiednio, oprócz kolumn wewnątrz plików.
    • Jeśli nie określono ścieżki głównej partycji, nie zostanie wygenerowana żadna dodatkowa kolumna.

  

• Maksymalna liczba połączeń współbieżnych: ta właściwość wskazuje górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

• Dodatkowe kolumny: Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane w przypadku tych ostatnich.

Element docelowy

Następujące właściwości są obsługiwane dla usługi Azure Files na karcie Miejsce docelowe działania kopiowania.

Wymagane są następujące właściwości:

• Typ magazynu danych: wybierz pozycję Zewnętrzne.
• Połączenie ion: Wybierz połączenie usługi Azure Files z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie usługi Azure Files, wybierając pozycję Nowy.
• Ścieżka pliku: wybierz pozycję Przeglądaj , aby wybrać plik, który chcesz skopiować lub wypełnić ścieżkę ręcznie.
• Format pliku: wybierz format pliku zastosowany z listy rozwijanej. Wybierz Ustawienia, aby skonfigurować format pliku. Aby uzyskać szczegółowe informacje, zobacz artykuły w obsługiwanym formacie .

W obszarze Zaawansowane można określić następujące pola:

• Zachowanie kopiowania: definiuje zachowanie kopiowania, gdy źródłem są pliki z magazynu danych opartego na plikach. Możesz wybrać zachowanie z listy rozwijanej.

  

  • Hierarchia spłaszczana: wszystkie pliki z folderu źródłowego znajdują się na pierwszym poziomie folderu docelowego. Pliki docelowe mają automatycznie wygenerowane nazwy.
  • Scal pliki: scala wszystkie pliki z folderu źródłowego do jednego pliku. Jeśli określono nazwę pliku, scalona nazwa pliku jest określoną nazwą. W przeciwnym razie jest to automatycznie wygenerowana nazwa pliku.
  • Zachowaj hierarchię: zachowuje hierarchię plików w folderze docelowym. Względna ścieżka pliku źródłowego do folderu źródłowego jest identyczna ze względną ścieżką pliku docelowego do folderu docelowego.

• Maksymalna liczba połączeń współbieżnych: górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

• Maksymalna liczba wierszy na plik: podczas zapisywania danych w folderze można zapisać w wielu plikach i określić maksymalną liczbę wierszy na plik. Określ maksymalną liczbę wierszy, które mają być zapisywane dla każdego pliku.

Mapowanie

W obszarze Konfiguracja karty Mapowanie przejdź do tematu Konfigurowanie mapowań na karcie mapowania. Jeśli wybierzesz plik binarny jako format pliku, mapowanie nie będzie obsługiwane.

Ustawienia

Aby uzyskać Ustawienia konfiguracji karty, zobacz Konfigurowanie innych ustawień na karcie ustawienia.

Podsumowanie tabeli

Poniższe tabele zawierają więcej informacji na temat działania kopiowania w usłudze Azure Files.

Informacje źródłowe

Nazwa/nazwisko	Opis	Wartość	Wymagania	Właściwość skryptu JSON
Typ magazynu danych	Typ magazynu danych.	Zewnętrzne	Tak	/
Połączenie	Połączenie ze źródłowym magazynem danych.	<połączenie usługi Azure Files>	Tak	połączenie
Typ ścieżki pliku	Typ ścieżki pliku używany do pobierania danych źródłowych.	• Ścieżka pliku •Prefiks • Ścieżka pliku z symbolami wieloznacznymi • Lista plików	Tak	/
W obszarze Ścieżka pliku
Katalogu	Ścieżka do folderu.	<nazwa folderu>	Nie.	folderPath
Nazwa pliku	Nazwa pliku w określonej ścieżce folderu.	<nazwa pliku>	Nie.	fileName
Dla prefiksu
Prefiks	Prefiks nazwy pliku w określonym udziale plików do filtrowania plików źródłowych.	<prefiks>	Nie.	Prefiks
W przypadku ścieżki pliku z symbolami wieloznacznymi
Ścieżka folderu z symbolami wieloznacznymi	Ścieżka folderu z symbolami wieloznacznymi do filtrowania folderów źródłowych.	<ścieżka folderu z symbolami wieloznacznymi>	Nie.	wieloznacznyFolderPath
Nazwa pliku z symbolami wieloznacznymi	Nazwa pliku z symbolami wieloznacznymi w określonej ścieżce folderu/folderu wieloznacznych do filtrowania plików źródłowych.	<nazwa pliku z symbolami wieloznacznymi>	Tak	symbol wieloznacznyFileName
Lista plików
Ścieżka folderu	Ścieżka do folderu.	<nazwa folderu>	Nie.	Folderpath
Ścieżka do listy plików	Wskazuje, aby skopiować dany zestaw plików. Wskaż plik tekstowy zawierający listę plików, które chcesz skopiować, jeden plik na wiersz.	< ścieżka listy plików >	Nie.	fileListPath
Rekursywnie	Przetwarzaj wszystkie pliki w folderze wejściowym i jego podfolderach rekursywnie lub tylko te w wybranym folderze. To ustawienie jest wyłączone po wybraniu pojedynczego pliku.	Zaznaczone lub usuń zaznaczenie	Nie.	Cykliczne
Format pliku	Format pliku dla danych źródłowych. Aby uzyskać informacje o różnych formatach plików, zapoznaj się z artykułami w obsługiwanym formacie , aby uzyskać szczegółowe informacje.	/	Tak	/
Filtruj według ostatniej modyfikacji	Pliki o ostatniej modyfikacji w zakresie [Godzina rozpoczęcia, Godzina zakończenia) będą filtrowane pod kątem dalszego przetwarzania. Czas zostanie zastosowany do strefy czasowej UTC w formacie yyyy-mm-ddThh:mm:ss.fffZ. Te właściwości można pominąć, co oznacza, że nie zostanie zastosowany filtr atrybutu pliku. Ta właściwość nie ma zastosowania podczas konfigurowania typu ścieżki pliku jako Listy plików.	datetime	Nie.	modifiedDatetimeStart modifiedDatetimeEnd
Włączanie odnajdywania partycji	Wskazuje, czy należy przeanalizować partycje ze ścieżki pliku i dodać je jako dodatkowe kolumny źródłowe.	wybrane lub niezaznaczone (ustawienie domyślne)	Nie.	enablePartitionDiscovery: true lub false (wartość domyślna)
Maksymalna liczba połączeń współbieżnych	Górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.	<maksymalna liczba połączeń współbieżnych>	Nie.	maxConcurrent Połączenie ions
Dodatkowe kolumny	Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane w przypadku tych ostatnich.	• Nazwa •Wartość	Nie.	additionalColumns: •Nazwa •Wartość

Informacje o lokalizacji docelowej

Nazwa/nazwisko	Opis	Wartość	Wymagania	Właściwość skryptu JSON
Typ magazynu danych	Typ magazynu danych.	Zewnętrzne	Tak	/
Połączenie	Połączenie z docelowym magazynem danych.	<połączenie>	Tak	połączenie
Ścieżka pliku	Ścieżka folderu/pliku do pliku docelowego.	< folder/ścieżka pliku >	Tak	/
Katalogu	Ścieżka do folderu w określonym zasobniku.	<nazwa folderu>	Nie.	Folderpath
Nazwa pliku	Nazwa pliku w określonym zasobniku i ścieżce folderu.	<nazwa pliku>	Nie.	fileName
Zachowanie kopiowania	Definiuje zachowanie kopiowania, gdy źródłem są pliki z magazynu danych opartego na plikach.	• Hierarchia spłaszczana • Scalanie plików • Zachowaj hierarchię	Nie.	copyBehavior: • FlattenHierarchy • MergeFiles • PreserveHierarchy
Maksymalna liczba połączeń współbieżnych	Górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.	<maksymalna liczba połączeń współbieżnych>	Nie.	maxConcurrent Połączenie ions
Maksymalna liczba wierszy na plik	Podczas zapisywania danych w folderze można zapisać w wielu plikach i określić maksymalną liczbę wierszy na plik. Określ maksymalną liczbę wierszy, które mają być zapisywane dla każdego pliku.	< maksymalna liczba wierszy na plik >	Nie.	maxRowsPerFile

Powiązana zawartość

• Omówienie usługi Azure Files