Konfigurowanie usługi Azure Blob Storage w działaniu kopiowania

W tym artykule opisano sposób używania działania kopiowania w potoku danych do kopiowania danych z i do usługi Azure Blob Storage.

Obsługiwany format

Usługa Azure Blob Storage obsługuje następujące formaty plików. Zapoznaj się z każdym artykułem, aby zapoznać się z ustawieniami opartymi na formacie.

• Format Avro
• Format binarny
• Format tekstu rozdzielanego
• Format programu Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Obsługiwana konfiguracja

W przypadku konfiguracji każdej karty w działaniu kopiowania przejdź odpowiednio do poniższych sekcji.

• Ogólne
• Source
• Lokalizacja docelowa
• Mapowania
• Ustawienia

Ogólne

Zapoznaj się ze wskazówkami dotyczącymi ustawień ogólnych, aby skonfigurować kartę Ustawienia ogólne.

Źródło

Następujące właściwości są obsługiwane w usłudze Azure Blob Storage na karcie Źródło działania kopiowania.

Wymagane są następujące właściwości:

• Typ magazynu danych: wybierz pozycję Zewnętrzne.
• Połączenie ion: wybierz połączenie usługi Azure Blob Storage z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie usługi Azure Blob Storage, wybierając pozycję Nowy.
• Ścieżka pliku: wybierz pozycję Przeglądaj , aby wybrać plik, który chcesz skopiować, lub wypełnij ścieżkę ręcznie.
• Ustawienia pliku: wybierz pozycję Ustawienia pliku, aby skonfigurować format pliku. Aby uzyskać szczegółowe informacje, zobacz artykuły w obsługiwanym formacie .

W obszarze Zaawansowane można określić następujące pola:

• Typ ścieżki pliku: możesz wybrać ścieżkę pliku, prefiks, ścieżkę pliku z symbolami wieloznacznymi, listę plików jako typ ścieżki pliku. Konfiguracja każdego ustawienia to:

  • Ścieżka pliku: w przypadku wybrania tego typu dane można skopiować z określonego wcześniej kontenera lub folderu/ścieżki pliku.

  • Prefiks: prefiks nazwy obiektu blob w ramach danego kontenera skonfigurowanego do filtrowania źródłowych obiektów blob. Obiekty blob, których nazwy zaczynają się od container/this_prefix , są zaznaczone. Korzysta z filtru po stronie usługi dla magazynu obiektów blob.

    Jeśli używasz prefiksu i wybierzesz kopiowanie do miejsca docelowego opartego na plikach z zachowaniem hierarchii, ścieżka podrzędna po ostatnim ciągu "/" w prefiksie zostanie zachowana. Na przykład masz źródło container/folder/subfolder/file.txti skonfiguruj prefiks jako folder/sub, a następnie zachowaną ścieżkę pliku to subfolder/file.txt.

    

  • Ścieżka pliku z symbolami wieloznacznymi: określ folder lub ścieżkę pliku z symbolami wieloznacznymi w danym kontenerze obiektów blob, aby filtrować foldery źródłowe lub pliki.

    Dozwolone symbole wieloznaczne to * (dopasowywały zero lub więcej znaków) i ? (dopasowywały zero lub pojedynczy znak). Użyj ^ polecenia , aby uniknąć, jeśli nazwa folderu ma symbol wieloznaczny lub znak ucieczki wewnątrz. Aby uzyskać więcej przykładów, przejdź do pozycji Folder i przykłady filtru plików.

    

    Ścieżka folderu z symbolami wieloznacznymi: określ ścieżkę folderu z symbolami wieloznacznymi w danym kontenerze, aby filtrować foldery źródłowe.

    Nazwa pliku z symbolami wieloznacznymi: określ nazwę pliku z symbolami wieloznacznymi w ramach danego kontenera i ścieżki folderu (lub ścieżki folderu z symbolami wieloznacznymi) do filtrowania plików źródłowych.

  • Lista plików: wskazuje dany zestaw plików do skopiowania. Na liście Ścieżka do pliku wprowadź lub przejdź do pliku tekstowego zawierającego listę plików, które chcesz skopiować, jeden plik na wiersz, czyli ścieżkę względną do każdego pliku.

    Jeśli używasz tej opcji, nie określaj nazwy pliku. Aby uzyskać więcej przykładów, przejdź do pozycji Przykłady listy plików.

    

• Rekursywnie: jeśli to pole wyboru jest zaznaczone, wszystkie pliki w folderze wejściowym i jego podfoldery są przetwarzane rekursywnie. Jeśli usuniesz zaznaczenie pola wyboru, zostaną przetworzone tylko te w wybranym folderze. To ustawienie jest wyłączone po wybraniu pojedynczego pliku.

• Usuń pliki po zakończeniu: jeśli to pole wyboru jest zaznaczone, pliki binarne zostaną usunięte z magazynu źródłowego po pomyślnym przeniesieniu do magazynu docelowego. Usunięcie pliku jest na plik, więc gdy działanie kopiowania zakończy się niepowodzeniem, zauważysz, że niektóre pliki zostały już skopiowane do miejsca docelowego i usunięte ze źródła, podczas gdy inne nadal pozostają w magazynie źródłowym.

  Uwaga

  Ta właściwość jest prawidłowa tylko w scenariuszu kopiowania plików binarnych.

• Maksymalna liczba połączeń współbieżnych: ta właściwość wskazuje górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

Element docelowy

Następujące właściwości są obsługiwane w usłudze Azure Blob Storage na karcie Miejsce docelowe działania kopiowania.

Wymagane są następujące właściwości:

• Typ magazynu danych: wybierz pozycję Zewnętrzne.
• Połączenie ion: Wybierz połączenie usługi Azure Blob Storage z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie usługi Azure Blob Storage, wybierając pozycję Nowy.
• Ścieżka pliku: wybierz pozycję Przeglądaj , aby wybrać plik, który chcesz skopiować lub wypełnić ścieżkę ręcznie.
• Ustawienia pliku: wybierz pozycję Ustawienia pliku, aby skonfigurować format pliku. Aby uzyskać szczegółowe informacje, zobacz artykuły w obsługiwanym formacie .

W obszarze Zaawansowane można określić następujące pola:

• Zachowanie kopiowania: definiuje zachowanie kopiowania, gdy źródłem są pliki z magazynu danych opartego na plikach. Z listy rozwijanej możesz wybrać pozycję Dodaj zawartość dynamiczną, Brak, FlattenHierarchy lub Zachowaj hierarchię .

  • Dodaj zawartość dynamiczną: aby określić wyrażenie dla wartości właściwości, wybierz pozycję Dodaj zawartość dynamiczną. Ten wybór otwiera konstruktor wyrażeń, w którym można tworzyć wyrażenia z obsługiwanych zmiennych systemowych, danych wyjściowych działań, funkcji i zmiennych lub parametrów określonych przez użytkownika. Aby uzyskać informacje na temat języka wyrażeń, przejdź do pozycji Wyrażenia i funkcje.

  • Brak: wybierz ten wybór, aby nie używać żadnego zachowania kopiowania.

  • Hierarchia spłaszczana: wszystkie pliki z folderu źródłowego znajdują się na pierwszym poziomie folderu docelowego. Pliki docelowe mają automatycznie wygenerowane nazwy.

  • Zachowaj hierarchię: zachowuje hierarchię plików w folderze docelowym. Względna ścieżka pliku źródłowego do folderu źródłowego jest identyczna ze względną ścieżką pliku docelowego do folderu docelowego.

    

• Maksymalna liczba połączeń współbieżnych: górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

• Rozmiar bloku (MB): określ rozmiar bloku w megabajtach używany do zapisywania danych w blokowych obiektach blob. Aby uzyskać więcej informacji, zobacz About block blobs (Informacje o blokowych obiektach blob).

• Metadane: ustaw niestandardowe metadane podczas kopiowania do miejsca docelowego. Każdy obiekt w tablicy metadata reprezentuje dodatkową kolumnę. Element name definiuje nazwę klucza metadanych i value wskazuje wartość danych tego klucza. Jeśli jest używana funkcja zachowywania atrybutów, określone metadane będą union/overwrite z metadanymi pliku źródłowego.

  Dozwolone wartości danych to:

  • $$LASTMODIFIED: zmienna zarezerwowana wskazuje czas ostatniej modyfikacji plików źródłowych. Zastosuj do źródła opartego na plikach tylko z formatem binarnym.

  • Expression

  • Wartość statyczna

    

Mapowanie

W obszarze Konfiguracja karty Mapowanie przejdź do tematu Konfigurowanie mapowań na karcie mapowania. Jeśli wybierzesz plik binarny jako format pliku, mapowanie nie będzie obsługiwane.

Ustawienia

Aby uzyskać Ustawienia konfiguracji karty, zobacz Konfigurowanie innych ustawień na karcie ustawienia.

Podsumowanie tabeli

Poniższe tabele zawierają więcej informacji o działaniu kopiowania w usłudze Azure Blob Storage.

Informacje źródłowe

Nazwa/nazwisko	Opis	Wartość	Wymagania	Właściwość skryptu JSON
Typ magazynu danych	Typ magazynu danych.	Zewnętrzne	Tak	/
Połączenie	Połączenie ze źródłowym magazynem danych.	<połączenie>	Tak	połączenie
Ścieżka pliku	Ścieżka pliku danych źródłowych.	<ścieżka pliku źródła>	Tak	Kontenera fileName
Typ ścieżki pliku	Typ ścieżki pliku, którego chcesz użyć.	• Ścieżka pliku •Prefiks • Ścieżka folderu z symbolami wieloznacznymi, nazwa pliku z symbolami wieloznacznymi • Lista plików	Nie.	•Prefiks • symbol wieloznacznyFolderPath, symbol wieloznacznyFileName • fileListPath
Rekursywnie	Przetwarzaj wszystkie pliki w folderze wejściowym i jego podfolderach rekursywnie lub tylko te w wybranym folderze. To ustawienie jest wyłączone po wybraniu pojedynczego pliku.	Zaznaczone lub usuń zaznaczenie	Nie.	Cykliczne
Usuwanie plików po zakończeniu	Pliki w źródłowym magazynie danych zostaną usunięte bezpośrednio po przeniesieniu do magazynu docelowego. Usunięcie pliku jest wykonywane według pliku, więc gdy działanie kopiowania nie powiedzie się, można stwierdzić, że niektóre pliki zostały już skopiowane do miejsca docelowego i usunięte ze źródła, podczas gdy inne są nadal w magazynie źródłowym.	Zaznaczone lub usuń zaznaczenie	Nie.	deleteFilesAfterCompletion
Maksymalna liczba połączeń współbieżnych	Górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.	<maksymalna liczba połączeń współbieżnych>	Nie.	maxConcurrent Połączenie ions

Informacje o lokalizacji docelowej

Nazwa/nazwisko	Opis	Wartość	Wymagania	Właściwość skryptu JSON
Typ magazynu danych	Typ magazynu danych.	Zewnętrzne	Tak	/
Połączenie	Połączenie z docelowym magazynem danych.	<połączenie>	Tak	połączenie
Ścieżka pliku	Ścieżka pliku danych docelowych.	Ścieżka pliku źródła	Tak	Kontenera fileName
Zachowanie kopiowania	Definiuje zachowanie podczas kopiowania plików z jednego systemu plików, takiego jak magazyn, do drugiego (na przykład z jednego magazynu obiektów blob do drugiego).	•Brak • Dodawanie zawartości dynamicznej • Hierarchia spłaszczana • Zachowaj hierarchię	Nie.	copyBehavior
Maksymalna liczba połączeń współbieżnych	Górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.	<maksymalna liczba połączeń współbieżnych>	Nie.	maxConcurrent Połączenie ions
Rozmiar bloku (MB)	Określ rozmiar bloku w MB podczas zapisywania danych w usłudze Azure Blob Storage. Dozwolona wartość wynosi od 4 MB do 100 MB.	<rozmiar bloku>	Nie.	blockSizeInMB
Metadane	Ustaw metadane niestandardowe podczas kopiowania do miejsca docelowego.	• $$LASTMODIFIED •Wyrażenie • Wartość statyczna	Nie.	metadane

Powiązana zawartość

• Konfigurowanie połączenia usługi Azure Blob Storage