Snowflake konfigurálása másolási tevékenységben
Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az adatfolyamban az adatok Snowflake-ből és Snowflake-be történő másolásához.
Támogatott konfiguráció
A másolási tevékenység alatt lévő lapok konfigurációjához tekintse meg a következő szakaszokat.
Általános
Az Általános beállítások lap konfigurálásához tekintse meg az Általános beállításokat ismertető útmutatót.
Forrás
A Snowflake a másolási tevékenység Forrás lapján az alábbi tulajdonságokat támogatja.
A következő tulajdonságok szükségesek:
- Adattár típusa: Válassza a Külső lehetőséget.
- Kapcsolat: Válasszon egy Snowflake-kapcsolatot a kapcsolatlistából. Ha a kapcsolat nem létezik, hozzon létre egy új Snowflake-kapcsolatot az Új lehetőség kiválasztásával.
- Adatbázis: Az alapértelmezett adatbázis, amelyet a csatlakozás után kell használni. Egy meglévő adatbázisnak kell lennie, amelyhez a megadott szerepkör jogosultságokkal rendelkezik.
- Lekérdezés használata: Használhatja a Tábla vagy a Lekérdezés lehetőséget. Az alábbi lista az egyes beállítások konfigurációját ismerteti.
- Táblázat: Válassza ki az adatbázisban lévő táblát a legördülő listából. Vagy jelölje be a Szerkesztés jelölőnégyzetet a táblanév manuális megadásához.
- Lekérdezés: Adja meg azt az SQL-lekérdezést, amely adatokat olvas be a Snowflake-ből. Ha a séma, a tábla és az oszlopok neve kisbetűt tartalmaz, idézzük a lekérdezés objektumazonosítóját, például.
select * from "schema"."myTable"
A Speciális területen a következő mezőket adhatja meg:
Tárolási integráció: Adja meg a Snowflake-ben létrehozott tárolási integráció nevét. A tárolási integráció használatának előfeltételeiről a Snowflake-tárolóintegráció konfigurálásával kapcsolatban olvashat.
További snowflake másolási beállítások: Adjon meg további Snowflake másolási beállításokat, amelyeket a Snowflake COPY utasítás használ az adatok betöltéséhez. A további másolási lehetőségek a kulcs-érték párok szótáraként érhetők el. Példák: MAX_FILE_SIZE, FELÜLÍRÁS. További információ: Snowflake Copy Options.
További Hópehelyformátum-beállítások: Adjon meg további Snowflake formátumbeállításokat, amelyeket a Snowflake COPY utasítás használ az adatok betöltéséhez. A COPY parancs további fájlformátum-beállításai kulcs-érték párok szótáraként érhetők el. Példák: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. További információ: Snowflake Format Type Options.
Közvetlen másolat a Snowflake-ből
Ha a céladattár és a formátum megfelel az ebben a szakaszban ismertetett feltételeknek, a Copy tevékenység használatával közvetlenül másolhatja a Snowflake-ből a célhelyre. A szolgáltatás ellenőrzi a beállításokat, és meghiúsul a Copy tevékenység futtatása, ha a következő feltételek nem teljesülnek:
Ha a forrásban a Storage-integrációt adja meg: A céladattár az Az Azure Blob Storage, amelyet a Snowflake külső szakaszában említett. Az adatok másolása előtt az alábbi lépéseket kell elvégeznie:
Hozzon létre egy Azure Blob Storage-kapcsolatot a cél Azure Blob Storage-hoz bármilyen támogatott hitelesítési típussal.
Adjon legalább Storage Blob Data Contributor szerepkört a Snowflake szolgáltatásnévnek a cél Azure Blob Storage Hozzáférés-vezérlés (IAM) szolgáltatásban.
Ha nem adja meg a Storage-integrációt a forrásban:
A célkapcsolat az Azure Blob Storage közös hozzáférésű jogosultságkód-hitelesítéssel. Ha a következő támogatott formátumban szeretne közvetlenül adatokat másolni az Azure Data Lake Storage Gen2-be, létrehozhat egy Azure Blob Storage-kapcsolatot SAS-hitelesítéssel az Azure Data Lake Storage Gen2-fiókjával, hogy elkerülje a Snowflake-ből származó szakaszos másolat használatát.
A céladat formátuma Parquet, DelimitedText vagy JSON , a következő konfigurációkkal:
- Parquet formátum esetén a tömörítési kodek Nincs, Snappy vagy Lzo.
- Tagolt szövegformátum esetén:
- A sorelválasztó \ r\n, vagy bármely karakter.
- A tömörítés típusa lehet Nincs, gzip, bzip2 vagy deflátum.
- A kódolás alapértelmezettként van megadva, vagy UTF-8 értékre van állítva.
- Az idézőjel a Dupla idézőjel, az Egy idézőjel vagy a Nincs idézőjel.
- JSON-formátum esetén a közvetlen másolás csak azt az esetet támogatja, hogy a Snowflake-tábla vagy lekérdezés eredménye csak egyetlen oszlopból áll, és az oszlop adattípusa VARIANT, OBJECT vagy ARRAY.
- A tömörítés típusa lehet Nincs, gzip, bzip2 vagy deflátum.
- A kódolás alapértelmezettként van megadva, vagy UTF-8 értékre van állítva.
- A másolási tevékenység célhelyén a fájlminta alapértelmezettként van megadva, vagy objektumkészletre van állítva.
A másolási tevékenység forrásában nincs megadva további oszlop .
Nincs megadva oszlopleképezés.
Szakaszos másolat a Snowflake-ből
Ha a céladattár vagy -formátum natív módon nem kompatibilis a Snowflake COPY paranccsal, ahogyan azt az előző szakaszban említettük, engedélyezze a beépített szakaszos példányt egy köztes Azure Blob Storage-példány használatával. A szakaszos másolási funkció jobb átviteli sebességet is biztosít. A szolgáltatás adatokat exportál a Snowflake-ből az átmeneti tárolóba, majd átmásolja az adatokat a célhelyre, és végül törli az ideiglenes adatokat az átmeneti tárolóból.
A funkció használatához hozzon létre egy Azure Blob Storage-kapcsolatot , amely köztes előkészítésként hivatkozik az Azure Storage-fiókra. Ezután lépjen a Beállítások lapra az előkészítési beállítások konfigurálásához. Az Azure Blob Storage átmeneti kapcsolatának konfigurálásához ki kell választania a Külső lehetőséget.
Ha a forrásban a Storage-integrációt adja meg, az átmeneti Azure Blob Storage-nak kell lennie a Snowflake külső szakaszában hivatkozottnak. Győződjön meg arról, hogy bármilyen támogatott hitelesítéssel létrehoz egy Azure Blob Storage-kapcsolatot , és legalább Storage Blob Data Közreműködői szerepkört biztosít a Snowflake szolgáltatásnévnek az átmeneti Azure Blob Storage-hozzáférés-vezérlésben (IAM). A Beállítások lapon az Előkészítési beállítások alatt található Tárolási elérési út megadása kötelező.
Ha nem adja meg a Storage-integrációt a forrásban, az átmeneti Azure Blob Storage-kapcsolatnak közös hozzáférésű jogosultságkód-hitelesítést kell használnia a Snowflake COPY parancsnak megfelelően. Győződjön meg arról, hogy megfelelő hozzáférési engedélyt ad a Snowflake-nek az átmeneti Azure Blob Storage-ban. Erről a cikkből tudhat meg többet.
Cél
A Snowflake esetében a következő tulajdonságok támogatottak a másolási tevékenység Cél lapján.
A következő tulajdonságok szükségesek:
- Adattár típusa: Válassza a Külső lehetőséget.
- Kapcsolat: Válasszon egy Snowflake-kapcsolatot a kapcsolatlistából. Ha a kapcsolat nem létezik, hozzon létre egy új Snowflake-kapcsolatot az Új lehetőség kiválasztásával.
- Adatbázis: Az alapértelmezett adatbázis, amelyet a csatlakozás után kell használni. Egy meglévő adatbázisnak kell lennie, amelyhez a megadott szerepkör jogosultságokkal rendelkezik.
- Táblázat: Válassza ki az adatbázisban lévő táblát a legördülő listából. Vagy jelölje be a Szerkesztés jelölőnégyzetet a táblanév manuális megadásához.
A Speciális területen a következő mezőket adhatja meg:
Előre másolt szkript: Adjon meg egy szkriptet a másolási tevékenység végrehajtásához, mielőtt adatokat írna a céltáblába minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat.
Tárolási integráció: Adja meg a Snowflake-ben létrehozott tárolási integráció nevét. A tárolási integráció használatának előfeltételeiről a Snowflake-tárolóintegráció konfigurálásával kapcsolatban olvashat.
További snowflake másolási beállítások: Adjon meg további Snowflake másolási beállításokat, amelyeket a Snowflake COPY utasítás használ az adatok betöltéséhez. A további másolási lehetőségek a kulcs-érték párok szótáraként érhetők el. Példák: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. További információ: Snowflake Copy Options.
További Hópehelyformátum-beállítások: Adjon meg további Snowflake formátumbeállításokat, amelyeket a Snowflake COPY utasítás használ az adatok betöltéséhez. A COPY parancs további fájlformátum-beállításai kulcs-érték párok szótáraként érhetők el. Példák: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. További információ: Snowflake Format Type Options.
Közvetlen másolat a Snowflake-be
Ha a forrásadattár és a formátum megfelel az ebben a szakaszban leírt feltételeknek, a Copy tevékenység használatával közvetlenül másolhat a forrásból a Snowflake-be. A szolgáltatás ellenőrzi a beállításokat, és meghiúsul a Copy tevékenység futtatása, ha a következő feltételek nem teljesülnek:
Ha a tárolóintegrációt adja meg a célhelyen:
A forrásadattár a Snowflake külső szakaszában hivatkozott Azure Blob Storage. Az adatok másolása előtt az alábbi lépéseket kell elvégeznie:
Hozzon létre egy Azure Blob Storage-kapcsolatot a forrás Azure Blob Storage-hoz bármilyen támogatott hitelesítési típussal.
Adjon legalább Storage Blob Data Reader szerepkört a Snowflake szolgáltatásnévnek a forrás Azure Blob Storage Hozzáférés-vezérlés (IAM) szolgáltatásban.
Ha nem adja meg a tárolóintegrációt a célhelyen:
A forráskapcsolat az Azure Blob Storage, közös hozzáférésű jogosultságkód-hitelesítéssel. Ha a következő támogatott formátumban szeretne közvetlenül adatokat másolni az Azure Data Lake Storage Gen2-ből, létrehozhat egy Azure Blob Storage-kapcsolatot SAS-hitelesítéssel az Azure Data Lake Storage Gen2-fiókjával, hogy elkerülje a Snowflake-be történő szakaszos másolást.
A forrásadat formátuma Parquet, DelimitedText vagy JSON, a következő konfigurációkkal:
Parquet formátum esetén a tömörítési kodek Nincs vagy Snappy.
Tagolt szövegformátum esetén:
- A sorelválasztó \ r\n, vagy bármely karakter. Ha a sorelválasztó nem "\r\n", akkor a fejlécként megadott első sor nincs kijelölve, a sorok számának kihagyása pedig nincs megadva.
- A tömörítés típusa lehet Nincs, gzip, bzip2 vagy deflátum.
- A kódolás alapértelmezettként marad, vagy "UTF-8", "UTF-16" értékre van állítva, "UTF-16BE", "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255".
- Az idézőjel a Dupla idézőjel, az Egy idézőjel vagy a Nincs idézőjel.
JSON-formátum esetén a közvetlen másolás csak azt az esetet támogatja, hogy a cél Snowflake tábla csak egyetlen oszlopból áll, és az oszlop adattípusa VARIANT, OBJECT vagy ARRAY.
- A tömörítés típusa lehet Nincs, gzip, bzip2 vagy deflátum.
- A kódolás alapértelmezettként van megadva, vagy UTF-8 értékre van állítva.
- Nincs megadva oszlopleképezés.
A Copy tevékenység forrásban:
- Nincs megadva további oszlop .
- Ha a forrás egy mappa, akkor a Rekurzív elem van kiválasztva.
- Az előtag, a kezdési idő (UTC) és a befejezési idő (UTC) nincs megadva a szűrőben a legutóbbi módosítással , és nincs megadva a partíciófelderítés engedélyezése.
Szakaszos másolat a Snowflake-be
Ha a forrásadattár vagy -formátum natív módon nem kompatibilis a Snowflake COPY paranccsal, ahogyan azt az előző szakaszban említettük, engedélyezze a beépített szakaszos példányt egy köztes Azure Blob Storage-példány használatával. A szakaszos másolási funkció jobb átviteli sebességet is biztosít. A szolgáltatás automatikusan átalakítja az adatokat, hogy megfeleljenek a Snowflake adatformátum-követelményeinek. Ezután meghívja a COPY parancsot az adatok Snowflake-be való betöltéséhez. Végül törli az ideiglenes adatokat a blobtárolóból.
A funkció használatához hozzon létre egy Azure Blob Storage-kapcsolatot , amely köztes előkészítésként hivatkozik az Azure Storage-fiókra. Ezután lépjen a Beállítások lapra az előkészítési beállítások konfigurálásához. Az Azure Blob Storage átmeneti kapcsolatának konfigurálásához ki kell választania a Külső lehetőséget.
Ha a célhelyen a Storage-integrációt adja meg, az átmeneti Azure Blob Storage-nak kell lennie a Snowflake külső szakaszában hivatkozottnak. Győződjön meg arról, hogy bármilyen támogatott hitelesítéssel létrehoz egy Azure Blob Storage-kapcsolatot, és legalább Storage Blob Data Reader szerepkört biztosít a Snowflake szolgáltatásnévnek az átmeneti Azure Blob Storage-hozzáférés-vezérlésben (IAM). A Beállítások lapon az Előkészítési beállítások alatt található Tárolási elérési út megadása kötelező.
Ha nem adja meg a tárolóintegrációt a célhelyen, az átmeneti Azure Blob Storage-kapcsolatnak a Snowflake COPY parancs által megkövetelt közös hozzáférésű jogosultságkód-hitelesítést kell használnia.
Hozzárendelés
A Leképezés lap konfigurálásához válassza a Leképezés lap leképezési beállításainak konfigurálását.
Beállítások
A Beállítások lap konfigurációjához válassza a Beállítások lap egyéb beállításainak konfigurálását.
Táblázat összefoglalása
Az alábbi táblázatok további információkat tartalmaznak a Snowflake másolási tevékenységéről.
Forrás
| Név | Leírás | Érték | Szükséges | JSON-szkripttulajdonság |
|---|---|---|---|---|
| Adattár típusa | Az adattár típusa. | Külső | Igen | / |
| Kapcsolat | A forrásadattárhoz való kapcsolódás. | < a kapcsolat > | Igen | kapcsolat |
| Adatbázis | A forrásként használt adatbázis. | < az adatbázis > | Igen | adatbázis |
| Lekérdezés használata | A Snowflake adatainak olvasásának módja. | •Asztal •Lekérdezés |
Nem | •asztal •lekérdezés |
| Tábla | Az adatokat beolvasni kívánt tábla neve. | < a forrástábla neve> | Igen | séma table |
| Lekérdezés | A Snowflake-ből adatokat beolvasni kívánt SQL-lekérdezés. | < a forrás lekérdezés neve> | Igen | Lekérdezés |
| Tárolóintegráció | Adja meg a Snowflake-ben létrehozott tárolási integráció nevét. A tárolási integráció használatának előfeltételeiről a Snowflake-tárolóintegráció konfigurálásával kapcsolatban olvashat. | < a tárolóintegráció > | Nem | storageIntegration |
| További Snowflake másolási lehetőségek | További másolási lehetőségek, kulcs-érték párok szótáraként. Példák: MAX_FILE_SIZE, FELÜLÍRÁS. További információ: Snowflake Copy Options. | •Név •Érték |
Nem | additionalCopyOptions |
| További Snowflake formátumbeállítások | A COPY parancshoz kulcs-érték párok szótáraként megadott további fájlformátum-beállítások. Példák: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. További információ: Snowflake Format Type Options. | •Név •Érték |
Nem | additionalFormatOptions |
Cél
Feljegyzés
Bár a nem Azure-beli Snowflake-példányok támogatottak a forráshoz, jelenleg csak az Azure Snowflake-példányok támogatottak a Snowflake-helyeken (más néven az Azure Data Factory fogadóiban).
| Név | Leírás | Érték | Szükséges | JSON-szkripttulajdonság |
|---|---|---|---|---|
| Adattár típusa | Az adattár típusa. | Külső | Igen | / |
| Kapcsolat | A céladattárhoz való kapcsolódás. | < a kapcsolat > | Igen | kapcsolat |
| Adatbázis | A célként használt adatbázis. | < az adatbázis> | Igen | / |
| Tábla | A céladattábla. | < a céltábla neve> | Igen | •séma •asztal |
| Szkript előzetes másolása | Sql-lekérdezés a Copy tevékenység számára, mielőtt adatokat írna a Snowflake-be minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat. | < az előmásolási szkript> | NEM | preCopyScript |
| Tárolóintegráció | Adja meg a Snowflake-ben létrehozott tárolási integráció nevét. A tárolási integráció használatának előfeltételeiről a Snowflake-tárolóintegráció konfigurálásával kapcsolatban olvashat. | < a tárolóintegráció > | Nem | storageIntegration |
| További Snowflake másolási lehetőségek | További másolási lehetőségek, kulcs-érték párok szótáraként. Példák: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. További információ: Snowflake Copy Options. | •Név •Érték |
Nem | additionalCopyOptions |
| További Snowflake formátumbeállítások | További fájlformátum-beállítások a COPY parancshoz, kulcs-érték párok szótáraként. Példák: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. További információ: Snowflake Format Type Options. | •Név •Érték |
Nem | additionalFormatOptions |