Avro formátum a Data Factoryben a Microsoft Fabricben
Ez a cikk bemutatja, hogyan konfigurálhatja az Avro formátumot a Data Factory adatfolyamában a Microsoft Fabricben.
Támogatott képességek
Az Avro formátumot a következő tevékenységek és összekötők támogatják forrásként és célként.
Kategória | Összekötő/tevékenység |
---|---|
Támogatott összekötő | Amazon S3 |
Amazon S3 kompatibilis | |
Azure Blob Storage | |
1. generációs Azure Data Lake Storage | |
Azure Data Lake Storage Gen2 | |
Azure Files | |
Fájlrendszer | |
FTP | |
Google Cloud Storage | |
HTTP | |
Lakehouse Files | |
Oracle Cloud Storage | |
SFTP | |
Támogatott tevékenység | Copy tevékenység (forrás/cél) |
Keresési tevékenység | |
GetMetadata-tevékenység | |
Tevékenység törlése |
Avro formátum másolási tevékenységben
Az Avro formátum konfigurálásához válassza ki a kapcsolatot az adatfolyam-másolási tevékenység forrásában vagy célhelyén, majd válassza az Avro lehetőséget a Fájlformátum legördülő listájában. A formátum további konfigurálásához válassza a Beállítások lehetőséget .
Avro formátum forrásként
Miután kiválasztotta a Beállítások lehetőséget a Fájlformátum szakaszban, a következő tulajdonságok jelennek meg az előugró Fájlformátum beállításai párbeszédpanelen.
Tömörítés típusa: Válassza ki a legördülő listában az Avro-fájlok olvasásához használt tömörítési kodeket. Választhat a None (Nincs) vagy a Deflate (Nincs) lehetőség közül. A dinamikus tartalom hozzáadása lehetőséget is választhatja a kifejezésszerkesztő típusának megadásához.
Tömörítési szint: Adja meg a tömörítési arányt. 1 és 7 között választhat. A dinamikus tartalom hozzáadása lehetőséget is választhatja a szint megadásához a kifejezésszerkesztőben.
Avro formátum célként
A Beállítások kiválasztása után a következő tulajdonságok jelennek meg az előugró Fájlformátum beállításai párbeszédpanelen.
Tömörítés típusa: Válassza ki a legördülő listában az Avro-fájlok írásához használt tömörítési kodeket. Választhat a None (Nincs) vagy a Deflate (Nincs) lehetőség közül. A dinamikus tartalom hozzáadása lehetőséget is választhatja a kifejezésszerkesztő típusának megadásához.
Tömörítési szint: Adja meg a tömörítési arányt. 1 és 7 között választhat. A dinamikus tartalom hozzáadása lehetőséget is választhatja a szint megadásához a kifejezésszerkesztőben.
A Cél lapon a Speciális beállítások területen a következő Avro-formátumhoz kapcsolódó tulajdonságok jelennek meg.
- Fájlonkénti sorok maximális száma: Ha adatokat ír egy mappába, több fájlba is írhat, és megadhatja a fájlonkénti sorok maximális számát.
- Fájlnév előtagja: Akkor alkalmazható, ha a fájlonkénti sorok maximális száma konfigurálva van. Adja meg a fájlnév előtagot, amikor több fájlba ír adatokat, és a következő mintát eredményezte:
<fileNamePrefix>_00000.<fileExtension>
. Ha nincs megadva, a fájlnév előtagja automatikusan létrejön. Ez a tulajdonság nem érvényes, ha a forrás fájlalapú tároló vagy partícióbeállítás-kompatibilis adattár.
Táblázat összefoglalása
Avro mint forrás
A másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak az Avro formátum használatakor.
Név | Leírás | Érték | Szükséges | Avro-szkripttulajdonság |
---|---|---|---|---|
Fájlformátum | A használni kívánt fájlformátum. | Avro | Igen | típus (alatt datasetSettings ):Avro |
Tömörítés típusa | Az Avro-fájlok olvasásához használt tömörítési kodek. | Egyik sem csökkent |
Nem | avroCompressionCodec: csökkent |
Tömörítési szint | A tömörítési arány. | 1 – 7 | Nem | avroCompressionLevel: 1–7 |
Avro mint cél
A másolási tevékenység Cél szakaszában az alábbi tulajdonságok támogatottak az Avro formátum használatakor.
Név | Leírás | Érték | Szükséges | Avro-szkripttulajdonság |
---|---|---|---|---|
Fájlformátum | A használni kívánt fájlformátum. | Avro | Igen | típus (alatt datasetSettings ):Avro |
Tömörítés típusa | Az Avro-fájlok írásához használt tömörítési kodek. | Egyik sem csökkent |
Nem | avroCompressionCodec: csökkent |
Tömörítési szint | A tömörítési arány. | 1 – 7 | Nem | avroCompressionLevel: 1–7 |
Sorok maximális száma fájlonként | Ha adatokat ír egy mappába, több fájlba is írhat, és megadhatja a fájlonkénti maximális sorokat. | < a maximális sorok száma fájlonként > | Nem | maxRowsPerFile |
Fájlnév előtagja | Akkor alkalmazható, ha a fájlonkénti sorok maximális száma van konfigurálva. Adja meg a fájlnév előtagot, amikor több fájlba ír adatokat, és a következő mintát eredményezte: <fileNamePrefix>_00000.<fileExtension> . Ha nincs megadva, a fájlnév előtagja automatikusan létrejön. Ez a tulajdonság nem érvényes, ha a forrás fájlalapú tároló vagy partícióbeállítás-kompatibilis adattár. |
< a fájlnév előtagja > | Nem | fileNamePrefix |
Kapcsolódó tartalom
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: