Adatok másolása másolási tevékenység használatával

A Data Pipeline-ban a Copy tevékenység használatával másolhat adatokat a felhőben található adattárakba.

Az adatok másolása után más tevékenységeket is használhat az adatok további átalakítására és elemzésére. Az Copy tevékenység az üzleti intelligencia (BI) és az alkalmazáshasználat átalakítási és elemzési eredményeinek közzétételére is használható.

Ha adatokat szeretne másolni egy forrásból egy célhelyre, a Copy tevékenység futtató szolgáltatás végrehajtja az alábbi lépéseket:

  1. Adatokat olvas be egy forrásadattárból.
  2. Szerializálást/deszerializálást, tömörítést/dekompressziót, oszlopleképezést és így tovább. Ezeket a műveleteket a konfiguráció alapján hajtja végre.
  3. Adatokat ír a céladattárba.

Előfeltételek

Első lépésként el kell végeznie a következő előfeltételeket:

  • Aktív előfizetéssel rendelkező Microsoft Fabric-bérlői fiók. Fiók ingyenes létrehozása.

  • Győződjön meg arról, hogy rendelkezik Microsoft Fabric-kompatibilis munkaterületekkel.

Másolási tevékenység hozzáadása másolási segéd használatával

A másolási tevékenység másolási segéd használatával történő beállításához kövesse az alábbi lépéseket.

Kezdje a másolási asszisztenssel

  1. Nyisson meg egy meglévő adatfolyamot, vagy hozzon létre egy új adatfolyamot.

  2. Az első lépésekhez válassza az Adatok másolása a vásznon lehetőséget a Másolási segéd eszköz megnyitásához. Vagy válassza a Másolási segéd használata lehetőséget a menüszalag Tevékenységek lapJának Adatok másolása legördülő listájában.

    Screenshot showing options for opening the copy assistant.

A forrás konfigurálása

  1. Válasszon egy adatforrástípust a kategóriából. Példaként az Azure Blob Storage-t fogja használni. Válassza az Azure Blob Storage lehetőséget, majd a Tovább gombot.

    Screenshot of Choose data source screen.

    Screenshot showing where to select the correct data source.

  2. Hozzon létre kapcsolatot az adatforrással az Új kapcsolat létrehozása lehetőséget választva.

    Screenshot showing where to select New connection.

    Miután kiválasztotta az Új kapcsolat létrehozása lehetőséget, töltse ki a szükséges kapcsolatadatokat, majd válassza a Tovább gombot. Az egyes adatforrástípusok kapcsolatlétrehozásának részleteiért tekintse meg az egyes összekötőkről szóló cikkeket.

    Ha rendelkezik meglévő kapcsolatokkal, kiválaszthatja a Meglévő kapcsolatot , és kiválaszthatja a kapcsolatot a legördülő listából.

    Screenshot showing the existing connection.

  3. Válassza ki a forráskonfigurációs lépésben másolandó fájlt vagy mappát, majd válassza a Tovább gombot.

    Screenshot showing where to select the data to be copied.

A célhely konfigurálása

  1. Válasszon egy adatforrástípust a kategóriából. Példaként az Azure Blob Storage-t fogja használni. Válassza az Azure Blob Storage lehetőséget, majd a Tovább gombot.

    Screenshot showing how to select Azure Blob Storage.

  2. Létrehozhat egy új kapcsolatot, amely egy új Azure Blob Storage-fiókra hivatkozik az előző szakaszban leírt lépések követésével, vagy használhat egy meglévő kapcsolatot a kapcsolat legördülő listájából. A Kapcsolat tesztelése és a Szerkesztés funkció minden kiválasztott kapcsolathoz elérhető.

    Screenshot showing data connection options.

  3. A forrásadatok konfigurálása és leképezése a célhelyre. Ezután válassza a Tovább lehetőséget a célkonfigurációk befejezéséhez.

    Screenshot of Map to destination screen.

    Screenshot of Connect to data destination.

A másolási tevékenység áttekintése és létrehozása

  1. Tekintse át a másolási tevékenység beállításait az előző lépésekben, és kattintson az OK gombra a befejezéshez. Vagy visszatérhet az előző lépésekhez a beállítások szerkesztéséhez, ha szükséges az eszközben.

    Screenshot showing the Review and create screen.

Ha végzett, a másolási tevékenység hozzá lesz adva az adatfolyam-vászonhoz. A másolási tevékenységhez tartozó összes beállítás, beleértve a speciális beállításokat is, a lapfülek alatt érhető el a kijelöléskor.

Screenshot showing a copy activity on the data pipeline canvas.

Most mentheti az adatfolyamot ezzel az egyetlen másolási tevékenységgel, vagy folytathatja az adatfolyam tervezését.

Másolási tevékenység hozzáadása közvetlenül

A másolási tevékenység közvetlen hozzáadásához kövesse az alábbi lépéseket.

Másolási tevékenység hozzáadása

  1. Nyisson meg egy meglévő adatfolyamot, vagy hozzon létre egy új adatfolyamot.

  2. Másolási tevékenység hozzáadásához válassza a Folyamattevékenység> hozzáadása lehetőséget Copy tevékenység vagy válassza az Adatok>másolása a vászonra lehetőséget a Tevékenységek lap alatt.

    Screenshot showing two ways to add a copy activity.

Az általános beállítások konfigurálása az Általános lapon

Az általános beállítások konfigurálásáról az Általános témakörben olvashat.

A forrás konfigurálása a forrás lapon

  1. Válassza az Csatlakozás ion melletti + Új lehetőséget az adatforráshoz való kapcsolat létrehozásához.

    Screenshot showing where to select New.

    1. Válassza ki az adatforrás típusát az előugró ablakban. Példaként az Azure SQL Database-t fogja használni. Válassza az Azure SQL Database lehetőséget, majd válassza a Folytatás lehetőséget.

      Screenshot showing how to select the data source.

    2. Ekkor megnyitja a kapcsolatlétrehozási lapot. Töltse ki a szükséges kapcsolati adatokat a panelen, majd válassza a Létrehozás lehetőséget. Az egyes adatforrástípusok kapcsolatlétrehozásának részleteiért tekintse meg az egyes összekötőkről szóló cikkeket.

      Screenshot showing New connection page.

    3. A kapcsolat sikeres létrehozása után visszaviszi az adatfolyam lapjára. Ezután válassza a Frissítés lehetőséget a létrehozott kapcsolat lekéréséhez a legördülő listából. Ha korábban már létrehozta, választhat egy meglévő Azure SQL Database-kapcsolatot is a legördülő listából. A Kapcsolat tesztelése és a Szerkesztés funkció minden kiválasztott kapcsolathoz elérhető. Ezután válassza az Azure SQL Database-t Csatlakozás ion típusban.

      Screenshot showing where to refresh your connection.

  2. Adjon meg egy másolandó táblát. Válassza az Adatok előnézete lehetőséget a forrástábla előnézetének megtekintéséhez. A lekérdezés és a tárolt eljárás használatával adatokat is beolvashat a forrásból.

    Screenshot showing source table settings options.

  3. Speciális beállításokért bontsa ki a Speciális elemet.

    Screenshot of advanced settings.

Cél konfigurálása a céllap alatt

  1. Válassza ki a céltípust. Ez lehet a munkaterület belső első osztályú adattára, például a Lakehouse vagy a külső adattárak. Példaként a Lakehouse-t fogja használni.

    Screenshot showing where to select destination type.

  2. Válassza ki, hogy a Lakehouse-t használja-e a Workspace adattártípusban. Válassza az + Új lehetőséget, és a Lakehouse létrehozási oldalára navigál. Adja meg a Lakehouse nevét, majd válassza a Létrehozás lehetőséget.

    Screenshot showing Lakehouse creation.

  3. A kapcsolat sikeres létrehozása után visszaviszi az adatfolyam lapjára. Ezután válassza a Frissítés lehetőséget a létrehozott kapcsolat lekéréséhez a legördülő listából. Ha korábban már létrehozta, választhat egy meglévő Lakehouse-kapcsolatot is a legördülő listából.

    Screenshot showing selecting connection.

  4. Adjon meg egy táblát, vagy állítsa be a fájl elérési útját a fájl vagy mappa célként való definiálásához. Itt válassza a Táblák lehetőséget, és adjon meg egy táblát az adatok írásához.

    Screenshot showing where to find Table settings.

  5. Speciális beállításokért bontsa ki a Speciális elemet.

    Screenshot of Advanced options.

Most mentheti az adatfolyamot ezzel az egyetlen másolási tevékenységgel, vagy folytathatja az adatfolyam tervezését.

A leképezések konfigurálása a leképezési lapon

Ha az alkalmazott összekötő támogatja a leképezést, a leképezés konfigurálásához lépjen a Leképezés lapra.

  1. Válassza a Sémák importálása lehetőséget az adatséma importálásához.

    Screenshot of mapping settings 1.

  2. Láthatja, hogy megjelenik az automatikus leképezés. Adja meg a Forrás oszlopot és a Cél oszlopot. Ha új táblát hoz létre a célhelyen, itt testre szabhatja a Cél oszlop nevét. Ha adatokat szeretne írni a meglévő céltáblába, nem módosíthatja a meglévő céloszlop nevét. Megtekintheti a forrás- és céloszlopok típusát is.

    Screenshot of mapping settings 2.

Emellett választhatja az + Új leképezés lehetőséget az új leképezés hozzáadásához, a Törlés lehetőséget az összes leképezési beállítás törléséhez, és az Alaphelyzetbe állítás lehetőséget az összes leképezési forrásoszlop alaphelyzetbe állításához.

A típuskonvertálás konfigurálása

Bontsa ki a típuskonvertálási beállításokat , hogy szükség esetén konfigurálja a típuskonvertálást.

Screenshot of mapping type conversion.

A beállítás részleteiért tekintse meg az alábbi táblázatot.

Beállítás Leírás
Adat csonkolásának engedélyezése Az adatok csonkolásának engedélyezése a forrásadatok más típusú célhelyre konvertálásakor a másolás során. Például decimálistól egész számig, DatetimeOffset és Datetime között.
A logikai érték számként való kezelése A logikai értéket számként kezelje. Kezelje például az igaz értéket 1-ként.
DateTime formátum Sztring formázása időzóna eltolás nélküli dátumok és sztringek közötti konvertáláskor. Például: "yyyy-MM-dd HH:mm:ss.fff".
DateTimeOffset formátum Sztring formázása az időzóna eltolásával és sztringekkel rendelkező dátumok közötti konvertáláskor. Például: "yyyy-MM-dd HH:mm:ss.fff zzz".
TimeSpan formátum Sztring formázása időszakok és sztringek közötti konvertáláskor. Például: "dd.hh:mm:ss".
Kultúra A típusok konvertálásához használandó kulturális információk. Például: "en-us", "fr-fr".

Egyéb beállítások konfigurálása a Beállítások lapon

A Gépház lap a teljesítmény, az előkészítés stb. beállításait tartalmazza.

Screenshot of Settings tab.

Az egyes beállítások leírását az alábbi táblázat ismerteti.

Beállítás Leírás
Intelligens átviteli sebesség optimalizálása Adja meg az átviteli sebesség optimalizálását. A következő lehetőségek közül választhat:
Automatikus
Standard
Kiegyensúlyozott
Maximális
Az Automatikus beállítás kiválasztásakor a rendszer dinamikusan alkalmazza az optimális beállítást a forrás-cél pár és az adatminta alapján. Testre is szabhatja az átviteli sebességet, az egyéni érték pedig 2–256 lehet, míg a magasabb érték több nyereséget jelent.
Másolási párhuzamosság foka Adja meg az adatbetöltés által használandó párhuzamosság mértékét.
Hibatűrés Ha ezt a lehetőséget választja, figyelmen kívül hagyhat néhány hibát, amely a másolási folyamat közepén történt. Például inkompatibilis sorok a forrás- és céltároló között, a fájl törlése az adatáthelyezés során stb.
Naplózás engedélyezése Ha ezt a lehetőséget választja, naplózhatja a másolt fájlokat, a kihagyott fájlokat és a sorokat
Előkészítés engedélyezése Adja meg, hogy az adatokat ideiglenes átmeneti tárolón keresztül szeretné-e másolni. Csak a hasznos forgatókönyvek esetében engedélyezze az előkészítést.
Átmeneti fiókkapcsolat Az Előkészítés engedélyezése lehetőség kiválasztásakor adja meg egy Azure Storage-adatforrás kapcsolatát átmeneti átmeneti tárolóként. Ha nem rendelkezik ezzel, válassza az + Új lehetőséget egy átmeneti kapcsolat létrehozásához.

Paraméterek konfigurálása másolási tevékenységben

A paraméterekkel szabályozható egy folyamat és tevékenységeinek viselkedése. A dinamikus tartalom hozzáadása funkcióval paramétereket adhat meg a másolási tevékenység tulajdonságaihoz. Vegyük példaként a Lakehouse/Data Warehouse/KQL Database használatát.

  1. A forrásban vagy a célhelyen, miután kiválasztotta a Munkaterületet adattártípusként, és a Lakehouse/Data Warehouse/KQL-adatbázist munkaterület-adattártípusként tekinti meg, válassza a Dinamikus tartalom hozzáadása lehetőséget a Lakehouse vagy az Adattárház vagy a KQL-adatbázis legördülő listájában.

  2. Az előugró Dinamikus tartalom hozzáadása panel Paraméterek lapján válassza a lehetőséget +.

    Screenshot showing the Add dynamic content page.

  3. Adja meg a paraméter nevét, és adja meg az alapértelmezett értéket, ha szeretné, vagy megadhatja a paraméter értékét a Futtatás a folyamatban lehetőség választása után.

    Screenshot shows creating a new parameter.

    Vegye figyelembe, hogy a paraméter értékének a Lakehouse/Data Warehouse/KQL Database objektumazonosítónak kell lennie. A Lakehouse/Data Warehouse/KQL-adatbázis objektumazonosítójának lekéréséhez nyissa meg a Lakehouse/Data Warehouse/KQL-adatbázist a munkaterületen, és az azonosító az URL-cím után /lakehouses/vagy /datawarehouses//databases/ az URL-címében található.

    • Lakehouse objektumazonosító:

      Screenshot showing the Lakehouse object ID.

    • Adattárház objektumazonosítója:

      Screenshot showing the Data Warehouse object ID.

    • KQL-adatbázis objektumazonosítója:

      Screenshot showing the KQL Database object ID.

  4. A Mentés gombra kattintva visszatérhet a Dinamikus tartalom hozzáadása panelre. Ezután válassza ki a paramétert, hogy megjelenjen a kifejezésmezőben. Ezután válassza az OK gombra. Visszatér a folyamat lapjára, és láthatja, hogy a paraméterkifejezés a Lakehouse objektumazonosítója után van megadva, a KQL-adatbázis objektumazonosítója/ után./

    Screenshot showing selecting parameter.