Format Avro w usłudze Data Factory w usłudze Microsoft Fabric
W tym artykule opisano sposób konfigurowania formatu Avro w potoku danych usługi Data Factory w usłudze Microsoft Fabric.
Obsługiwane możliwości
Format Avro jest obsługiwany w przypadku następujących działań i łączników jako źródła i miejsca docelowego.
| Kategoria | Łącznik/działanie |
|---|---|
| Obsługiwany łącznik | Amazon S3 |
| Zgodność z usługą Amazon S3 | |
| Azure Blob Storage | |
| Usługa Azure Data Lake Storage 1. generacji | |
| Azure Data Lake Storage Gen2 | |
| Azure Files | |
| System plików | |
| FTP | |
| Google Cloud Storage | |
| HTTP | |
| Pliki lakehouse | |
| Oracle Cloud Storage | |
| SFTP | |
| Obsługiwane działanie | działanie Kopiuj (źródło/miejsce docelowe) |
| Działanie Lookup | |
| Działanie GetMetadata | |
| Działanie usuwania |
Format Avro w działaniu kopiowania
Aby skonfigurować format Avro, wybierz połączenie w źródle lub miejscu docelowym działania kopiowania potoku danych, a następnie wybierz pozycję Avro z listy rozwijanej Format pliku. Wybierz pozycję Ustawienia , aby uzyskać dalszą konfigurację tego formatu.
Format Avro jako źródło
Po wybraniu pozycji Ustawienia w sekcji Format pliku w oknie dialogowym Ustawienia formatu pliku zostaną wyświetlone następujące właściwości.
Typ kompresji: wybierz koder-dekoder kompresji używany do odczytywania plików Avro z listy rozwijanej. Możesz wybrać opcję Brak lub deflate. Możesz również wybrać pozycję Dodaj zawartość dynamiczną, aby określić typ w konstruktorze wyrażeń.
Poziom kompresji: określ współczynnik kompresji. Wybierz od 1 do 7. Możesz również wybrać pozycję Dodaj zawartość dynamiczną, aby określić poziom w konstruktorze wyrażeń.
Format Avro jako miejsce docelowe
Po wybraniu pozycji Ustawienia zostaną wyświetlone następujące właściwości w wyskakującym oknie dialogowym Ustawienia formatu pliku.
Typ kompresji: wybierz koder kompresji używany do zapisywania plików Avro na liście rozwijanej. Możesz wybrać opcję Brak lub deflate. Możesz również wybrać pozycję Dodaj zawartość dynamiczną, aby określić typ w konstruktorze wyrażeń.
Poziom kompresji: określ współczynnik kompresji. Wybierz od 1 do 7. Możesz również wybrać pozycję Dodaj zawartość dynamiczną, aby określić poziom w konstruktorze wyrażeń.
W obszarze Ustawienia zaawansowane na karcie Miejsce docelowe zostaną wyświetlone następujące właściwości powiązane z formatem Avro.
- Maksymalna liczba wierszy na plik: podczas zapisywania danych w folderze można zapisać w wielu plikach i określić maksymalną liczbę wierszy na plik.
- Prefiks nazwy pliku: ma zastosowanie, gdy skonfigurowano maksymalną liczbę wierszy na plik . Określ prefiks nazwy pliku podczas zapisywania danych w wielu plikach, co spowodowało następujący wzorzec:
<fileNamePrefix>_00000.<fileExtension>. Jeśli nie zostanie określony, prefiks nazwy pliku jest generowany automatycznie. Ta właściwość nie ma zastosowania, gdy źródło jest magazynem opartym na plikach lub opcją partycji włączonego magazynu danych.
Podsumowanie tabeli
Avro jako źródło
Poniższe właściwości są obsługiwane w sekcji Źródło działania kopiowania w przypadku korzystania z formatu Avro.
| Nazwa/nazwisko | Opis | Wartość | Wymagania | Właściwość skryptu Avro |
|---|---|---|---|---|
| Format pliku | Format pliku, którego chcesz użyć. | Avro | Tak | type (w obszarze datasetSettings):Avro |
| Typ kompresji | Koder koder kompresji używany do odczytywania plików Avro. | Brak Deflate |
Nie. | avroCompressionCodec: Deflate |
| Poziom kompresji | Współczynnik kompresji. | Od 1 do 7 | Nie. | avroCompressionLevel: Od 1 do 7 |
Avro jako miejsce docelowe
Poniższe właściwości są obsługiwane w sekcji Miejsce docelowe działania kopiowania w przypadku korzystania z formatu Avro.
| Nazwa/nazwisko | Opis | Wartość | Wymagania | Właściwość skryptu Avro |
|---|---|---|---|---|
| Format pliku | Format pliku, którego chcesz użyć. | Avro | Tak | type (w obszarze datasetSettings):Avro |
| Typ kompresji | Koder koder kompresji używany do pisania plików Avro. | Brak Deflate |
Nie. | avroCompressionCodec: Deflate |
| Poziom kompresji | Współczynnik kompresji. | Od 1 do 7 | Nie. | avroCompressionLevel: Od 1 do 7 |
| Maksymalna liczba wierszy na plik | Podczas zapisywania danych w folderze można zapisać w wielu plikach i określić maksymalną liczbę wierszy na plik. | < maksymalna liczba wierszy na plik > | Nie. | maxRowsPerFile |
| Prefiks nazwy pliku | Ma zastosowanie w przypadku skonfigurowania maksymalnej liczby wierszy na plik . Określ prefiks nazwy pliku podczas zapisywania danych w wielu plikach, co spowodowało następujący wzorzec: <fileNamePrefix>_00000.<fileExtension>. Jeśli nie zostanie określony, prefiks nazwy pliku jest generowany automatycznie. Ta właściwość nie ma zastosowania, gdy źródło jest magazynem opartym na plikach lub opcją partycji włączonego magazynu danych. |
< prefiks nazwy pliku > | Nie. | fileNamePrefix |