Megosztás a következőn keresztül:

Adatok migrálása a data lake-ből vagy adattárházból az Azure-ba az Azure Data Factory használatával

  • Cikk

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ha a data lake-t vagy a vállalati adattárházat (EDW) a Microsoft Azure-ba szeretné migrálni, fontolja meg az Azure Data Factory használatát. Az Azure Data Factory a következő forgatókönyvekhez ideális:

  • Big data számítási feladatok migrálása az Amazon Simple Storage Service-ből (Amazon S3) vagy egy helyszíni Hadoop Elosztott fájlrendszerből (HDFS) az Azure-ba
  • EDW-migrálás az Oracle Exadatából, a Netezza-ból, a Teradata-ból vagy az Amazon Redshiftből az Azure-ba

Az Azure Data Factory képes a data lake-migráláshoz szükséges petabájt (PB) és több tíz terabájt (TB) adat áthelyezésére az adattárház-migráláshoz.

Miért használható az Azure Data Factory az adatmigráláshoz?

  • Az Azure Data Factory könnyedén felskálázhatja a feldolgozási teljesítményt, hogy kiszolgáló nélküli módon, nagy teljesítményű, rugalmas és méretezhető módon helyezze át az adatokat. És csak azért fizet, amit használ. Vegye figyelembe a következőket is:
    • Az Azure Data Factory nem korlátozza az adatmennyiséget vagy a fájlok számát.
    • Az Azure Data Factory teljes mértékben használhatja a hálózati és tárolási sávszélességet a lehető legnagyobb adatátviteli sebesség eléréséhez a környezetben.
    • Az Azure Data Factory használatalapú fizetéses módszert használ, így csak arra az időre kell fizetnie, amellyel ténylegesen futtathatja az adatmigrálást az Azure-ba.
  • Az Azure Data Factory egyszeri előzményterhelést és ütemezett növekményes terhelést is képes végrehajtani.
  • Az Azure Data Factory az Azure integration runtime (IR) használatával helyezi át az adatokat a nyilvánosan elérhető data lake és a raktárvégpontok között. Emellett használhatja a saját üzemeltetésű integrációs modult is a data lake- és a raktárvégpontok adatainak áthelyezéséhez az Azure Virtual Networkben (VNet) vagy tűzfal mögött.
  • Az Azure Data Factory nagyvállalati szintű biztonsággal rendelkezik: Használhatja a Windows Installert (MSI) vagy a Service Identityet a szolgáltatások közötti biztonságos integrációhoz, vagy használhatja az Azure Key Vaultot a hitelesítő adatok kezeléséhez.
  • Az Azure Data Factory kód nélküli szerzői élményt és gazdag, beépített monitorozási irányítópultot biztosít. 

Online és offline adatmigrálás

Az Azure Data Factory egy szabványos online adatmigrálási eszköz, amely hálózaton (interneten, ER- vagy VPN-en) keresztül továbbít adatokat. Míg offline adatmigrálás esetén a felhasználók fizikailag továbbítják az adatátviteli eszközöket a szervezetükből egy Azure Data Centerbe.

Az online és az offline migrálási megközelítés között három fő szempont közül választhat:

  • Az áttelepítendő adatok mérete
  • Hálózati sávszélesség
  • Migrálási ablak

Tegyük fel például, hogy az Azure Data Factory használatával szeretné elvégezni az adatmigrálást két héten belül (a migrálási időszakon belül). Figyelje meg a rózsaszín/kék vágási vonalat az alábbi táblázatban. Az adott oszlop legalacsonyabb rózsaszín cellája azt az adatméretet/hálózati sávszélesség-párosítást mutatja, amelynek migrálási ideje a legközelebbi, de kevesebb mint két hét. (A kék cellában lévő bármilyen méret-/sávszélesség-párosítás több mint két hét online áttelepítési időszakkal rendelkezik.)

online és offline Ez a táblázat segít meghatározni, hogy az adatok mérete és a rendelkezésre álló hálózati sávszélesség alapján meg tudja-e felelni a kívánt migrálási időszaknak az online migrálással (Azure Data Factory). Ha az online migrálási időszak több mint két hét, akkor offline migrálást kell használnia.

Feljegyzés

Az online migrálással az előzményadatok betöltése és a növekményes hírcsatornák teljes körű elérése egyetlen eszközzel érhető el. Ezzel a módszerrel az adatok szinkronizálhatók a meglévő tároló és az új tároló között a teljes migrálási időszak alatt. Ez azt jelenti, hogy frissített adatokkal újraépítheti az ETL-logikát az új tárolóban.

Kapcsolódó tartalom