Formát Avro v službe Data Factory v službe Microsoft Fabric
Tento článok popisuje konfiguráciu formátu Avro v kanáli údajov služby Data Factory v službe Microsoft Fabric.
Formát Avro je podporovaný pre nasledujúce aktivity a konektory ako zdroj a cieľ.
Kategória | Konektor/aktivita |
---|---|
Podporovaný konektor | Amazon S3 |
Amazon S3 Kompatibilné | |
Ukladací priestor objektov BLOB na platforme Azure | |
Azure Data Lake Storage 1. generácie | |
Azure Data Lake Storage Gen2 | |
Súbory Azure | |
Systém súborov | |
FTP | |
Google Cloud Storage | |
HTTP (http) | |
Lakehouse Files | |
Oracle Cloud Storage | |
SFTP | |
Podporovaná aktivita | Kopírovať aktivitu (zdroj/cieľ) |
Aktivita vyhľadávania | |
Aktivita GetMetadata | |
Odstránenie aktivity |
Ak chcete nakonfigurovať formát Avro, vyberte pripojenie v zdroji alebo cieli aktivity kopírovania kanála údajov a potom v rozbaľovacom zozname Formát súboru vyberte položku Avro. Vyberte položku Nastavenia pre ďalšiu konfiguráciu tohto formátu.
Po výbere položky Nastavenia v časti Formát súboru sa v kontextovom okne Nastavenia formátu súboru zobrazia nasledujúce vlastnosti.
Typ kompresie: Vyberte kompresný kodek používaný na čítanie súborov Avro v rozbaľovacom zozname. Môžete si vybrať možnosť Žiadne alebo deflate. Ak chcete určiť typ v zostavovači výrazov, môžete vybrať možnosť Pridať dynamický obsah .
Úroveň kompresie: Zadajte kompresný pomer. Vyberte si možnosť od 1 do 7. Ak chcete určiť úroveň v zostavovači výrazov, môžete vybrať možnosť Pridať dynamický obsah .
Po výbere položky Nastavenia sa v kontextovom okne Nastavenia formátu súboru zobrazia nasledujúce vlastnosti.
Typ kompresie: Vyberte kompresný kodek používaný na zápis súborov Avro v rozbaľovacom zozname. Môžete si vybrať možnosť Žiadne alebo deflate. Ak chcete určiť typ v zostavovači výrazov, môžete vybrať možnosť Pridať dynamický obsah .
Úroveň kompresie: Zadajte kompresný pomer. Vyberte si možnosť od 1 do 7. Ak chcete určiť úroveň v zostavovači výrazov, môžete vybrať možnosť Pridať dynamický obsah .
V časti Rozšírené nastavenia na karte Cieľ sa zobrazujú nasledujúce vlastnosti formátu Avro.
- Maximálny počet riadkov na súbor: Pri písaní údajov do priečinka môžete vybrať možnosť zapisovania do viacerých súborov a určenia maximálnych riadkov na súbor.
- Predpona názvu súboru: Použiteľné, keď je nakonfigurovaný maximálny počet riadkov na súbor . Pri písaní údajov do viacerých súborov zadajte predponu názvu súboru, výsledkom čoho bude tento vzor:
<fileNamePrefix>_00000.<fileExtension>
. Ak parameter nie je zadaný, automaticky sa vygeneruje predpona názvu súboru. Táto vlastnosť sa nevzťahuje, keď je zdrojom súbor na báze úložiska alebo oblasti povoleného úložiska údajov.
Pri používaní formátu Avro sú podporované nasledujúce vlastnosti v časti Kopírovať zdroj aktivity.
Názov | Popis | Value | Požaduje sa | Vlastnosť skriptu Avro |
---|---|---|---|---|
Formát súboru | Formát súboru, ktorý chcete použiť. | Avro | Áno | type (do datasetSettings ):Avro |
Typ kompresie | Kompresný kodek slúžiaci na čítanie súborov Avro. | Žiadny vyfúknuť |
No | avroCompressionCodec: vyfúknuť |
Úroveň kompresie | Kompresný pomer. | 1 až 7 | No | avroCompressionLevel: 1 až 7 |
Pri použití formátu Avro sú v časti Cieľ aktivity kopírovania podporované nasledujúce vlastnosti.
Názov | Popis | Value | Požaduje sa | Vlastnosť skriptu Avro |
---|---|---|---|---|
Formát súboru | Formát súboru, ktorý chcete použiť. | Avro | Áno | type (do datasetSettings ):Avro |
Typ kompresie | Kompresný kodek slúžiaci na zápis súborov Avro. | Žiadny vyfúknuť |
No | avroCompressionCodec: vyfúknuť |
Úroveň kompresie | Kompresný pomer. | 1 až 7 | No | avroCompressionLevel: 1 až 7 |
Maximálny počet riadkov na súbor | Pri zapisovaní údajov do priečinka môžete vybrať možnosť zapisovania do viacerých súborov a určenia maximálneho počtu riadkov na súbor. | < maximálny počet riadkov na súbor > | No | maxRowsPerFile |
Predpona názvu súboru | Vhodné, ak je nakonfigurovaný maximálny počet riadkov na súbor . Pri písaní údajov do viacerých súborov zadajte predponu názvu súboru, výsledkom čoho bude tento vzor: <fileNamePrefix>_00000.<fileExtension> . Ak parameter nie je zadaný, automaticky sa vygeneruje predpona názvu súboru. Táto vlastnosť sa nevzťahuje, keď je zdrojom súbor na báze úložiska alebo oblasti povoleného úložiska údajov. |
< predpona názvu súboru > | No | fileNamePrefix |