Adatok áthelyezése az Azure-ba és az Azure-ból

  • Cikk

Az adatok azure-ba és azure-ból történő átvitelére az igényeitől függően számos lehetőség áll rendelkezésre.

Fizikai átvitel

Ha fizikai hardvert használ az adatok Azure-ba való átviteléhez, az a következő esetekben jó választás:

  • A hálózat lassú vagy megbízhatatlan.
  • A nagyobb hálózati sávszélesség használata költségmentes.
  • A biztonsági vagy szervezeti szabályzatok nem engedélyezik a kimenő kapcsolatokat bizalmas adatok kezelésekor.

Ha az elsődleges szempont, hogy mennyi ideig tart az adatok átvitele, érdemes lehet egy tesztet futtatni annak ellenőrzésére, hogy a hálózati átvitel lassabb-e, mint a fizikai átvitel.

Az adatok Azure-ba való fizikai átvitelének két fő lehetősége van:

Az Azure Import/Export szolgáltatás

Az Azure Import/Export szolgáltatás lehetővé teszi nagy mennyiségű adat biztonságos átvitelét Azure Blob Storage vagy Azure Files, ha belső SATA HDD-ket vagy SDD-ket szállít egy Azure-adatközpontba. Ezzel a szolgáltatással adatokat is továbbíthat az Azure Storage-ból a merevlemez-meghajtókra, és a meghajtókat elküldheti Önnek a helyszíni betöltéshez.

Azure Data Box

Az Azure Data Box egy Microsoft által biztosított berendezés, amely az Import/Export szolgáltatáshoz hasonlóan működik. A Data Box segítségével a Microsoft egy saját fejlesztésű, biztonságos és illetéktelen módosításnak ellenálló átviteli berendezést szállít Önnek, és kezeli a végpontok közötti logisztikát, amelyet a portálon keresztül nyomon követhet. A Data Box szolgáltatás egyik előnye a könnyű használat. Nem kell több merevlemezt vásárolnia, előkészítenie és átvinnie a fájlokat mindegyikbe. A Data Boxot számos iparágvezető Azure-partner támogatja, hogy a termékeikből zökkenőmentesen használhassa a felhőbe irányuló offline átvitelt.

Parancssori eszközök és API-k

Vegye figyelembe ezeket a beállításokat, ha szkriptelt és programozott adatátvitelt szeretne:

  • Az Azure CLI egy platformfüggetlen eszköz, amellyel kezelheti az Azure-szolgáltatásokat, és adatokat tölthet fel a Storage-ba.

  • AzCopy. Windows vagyLinux rendszerű parancssorból az AzCopy használatával egyszerűen másolhat adatokat a Blob Storage-ba, az Azure File Storage-ba és az Azure Table Storage-ba optimális teljesítménnyel. Az AzCopy támogatja az egyidejűséget és a párhuzamosságot, valamint lehetővé teszi a másolási műveletek folytatását egy esetleges megszakítás esetén. Az AzCopyval adatokat másolhat az AWS-ből az Azure-ba. A programozott hozzáféréshez a Microsoft Azure Storage Data Movement Library az AzCopyt működtető alapvető keretrendszer. .NET Core-kódtárként van megadva.

  • A PowerShell használatával a Start-AzureStorageBlobCopy PowerShell-parancsmag a PowerShellhez használt Windows-rendszergazdák számára használható.

  • Az AdlCopy lehetővé teszi, hogy adatokat másoljon a Blob Storage-ból Azure Data Lake Storage. Két Data Lake Storage fiók adatainak másolására is használható. Azonban nem használható adatok másolására Data Lake Storage a Blob Storage-ba.

  • A Distcp használatával adatokat másolhat egy HDInsight-fürttárolóba (WASB) egy Data Lake Storage-fiókba.

  • A Sqoop egy Apache-projekt, amely a Hadoop-ökoszisztéma része. Minden HDInsight-fürtön előre telepítve van. Lehetővé teszi a HDInsight-fürt és a relációs adatbázisok, például az SQL, az Oracle, a MySQL stb. közötti adatátvitelt. A Sqoop kapcsolódó eszközök gyűjteménye, beleértve az importálási és exportálási eszközöket. A Sqoop a HDInsight-fürtökkel blobtárolóval vagy Data Lake Storage csatlakoztatott tárolóval működik.

  • A PolyBase egy olyan technológia, amely a T-SQL-nyelven keresztül fér hozzá az adatbázison kívüli adatokhoz. A 2016-os SQL Server lehetővé teszi, hogy lekérdezéseket futtasson külső adatokon a Hadoopban, vagy adatokat importáljon vagy exportáljon a Blob Storage-ból. Az Azure Synapse Analyticsben adatokat importálhat vagy exportálhat a Blob Storage-ból és Data Lake Storage. Jelenleg a PolyBase a leggyorsabb módszer az adatok importálására Azure Synapse Analyticsbe.

  • A Hadoop parancssort akkor használja, ha egy HDInsight-fürt átjárócsomópontján található adatokkal rendelkezik. Az paranccsal átmásolhatja ezeket az hadoop -copyFromLocal adatokat a fürt csatolt tárolójához, például a Blob Storage-ba vagy Data Lake Storage. A Hadoop parancs használatához először csatlakoznia kell az átjárócsomóponthoz. A csatlakozás után feltölthet egy fájlt a tárolóba.

Grafikus felület

Fontolja meg a következő beállításokat, ha csak néhány fájlt vagy adatobjektumot továbbít, és nem kell automatizálnia a folyamatot.

  • Azure Storage Explorer egy platformfüggetlen eszköz, amely lehetővé teszi az Azure-tárfiókok tartalmának kezelését. Segítségével feltöltheti, letöltheti és kezelheti a blobokat, fájlokat, üzenetsorokat, táblákat, valamint az Azure Cosmos DB-entitásokat. A Blob Storage használatával kezelheti a blobokat és mappákat, valamint feltölthet és letölthet blobokat a helyi fájlrendszer és a Blob Storage, illetve a tárfiókok között.

  • Azure Portal. A Blob Storage és a Data Lake Storage is webalapú felületet biztosít a fájlok felfedezéséhez és az új fájlok feltöltéséhez. Ez a lehetőség akkor hasznos, ha nem szeretne eszközöket telepíteni vagy parancsokat kiadni a fájlok gyors feltárásához, vagy ha néhány újat szeretne feltölteni.

Adatszinkronizálás és folyamatok

  • Azure Data Factory egy felügyelt szolgáltatás, amely alkalmas a fájlok rendszeres átvitelére számos Azure-szolgáltatás, helyszíni rendszer vagy a kettő kombinációja között. A Data Factory használatával olyan, folyamatnak nevezett, adatvezérelt munkafolyamatokat hozhat létre és ütemezhet, amelyek különböző adattárakból betöltenek adatokat. A Data Factory képes feldolgozni és átalakítani az adatokat olyan számítási szolgáltatások használatával, mint az Azure HDInsight Hadoop, a Spark, az Azure Data Lake Analytics és az Azure Machine Learning. Adatvezérelt munkafolyamatokat hozhat létre az adatáthelyezés és adatátalakítás vezénylése és automatizálása érdekében.

  • A Data Factory és a Azure Synapse Analytics folyamatainak és tevékenységeinek használatával végpontok közötti adatvezérelt munkafolyamatokat hozhat létre az adatáthelyezési és adatfeldolgozási forgatókönyvekhez. Az Azure Data Factory integrációs modul emellett adatintegrációs képességeket biztosít a különböző hálózati környezetekben.

  • Az Azure Data Box Gateway adatokat továbbít az Azure-ba és onnan az Azure-ba, de ez egy virtuális berendezés, nem pedig merevlemez. A helyszíni hálózatban található virtuális gépek adatokat írnak a Data Box Gatewaybe az NFS- és SMB-protokollok használatával. Az eszköz ezután átviszi az adatokat az Azure-ba.

Kulcskijelölési feltételek

Adatátviteli forgatókönyvek esetén válassza ki az igényeinek megfelelő rendszert az alábbi kérdések megválaszolásával:

  • Nagy mennyiségű adatot kell átadnia, ahol az internetkapcsolaton keresztüli művelet túl sokáig tartana, megbízhatatlanná vagy túl költségessé válna? Ha igen, fontolja meg a fizikai átvitelt.

  • Inkább szkripteli az adatátviteli feladatokat, hogy újra felhasználhatók legyenek? Ha igen, válassza ki a parancssori beállítások vagy a Data Factory egyikét.

  • Nagy mennyiségű adatot kell átvinnie egy hálózati kapcsolaton keresztül? Ha igen, válasszon egy big data-ra optimalizált beállítást.

  • Át kell vinnie az adatokat egy relációs adatbázisba vagy onnan? Ha igen, válasszon egy vagy több relációs adatbázist támogató beállítást. Ezen lehetőségek némelyikéhez Hadoop-fürtre is szükség van.

  • Szüksége van automatizált adatfolyamra vagy munkafolyamat-vezénylésre? Ha igen, fontolja meg a Data Factoryt.

Képességmátrix

Az alábbi táblázatok összefoglalják a képességek fő különbségeit.

Fizikai átvitel

Képesség Az Importálás/exportálás szolgáltatás Data Box
Űrlaptényező Belső SATA HDD-k vagy SDD-k Biztonságos, illetéktelen módosításbiztos, egyetlen hardveres berendezés
A Microsoft kezeli a szállítási logisztikát Nem Igen
Integrálás partnertermékekkel Nem Igen
Egyéni berendezés Nem Igen

Parancssori eszközök

Hadoop/HDInsight:

Képesség Distcp Sqoop Hadoop parancssori felület
Big Data-adatokra optimalizálva Igen Igen Igen
Másolás relációs adatbázisba Nem Igen Nem
Másolás relációs adatbázisból Nem Igen Nem
Másolás a Blob Storage-ba Igen Igen Igen
Másolás a Blob Storage-ból Igen Igen Nem
Másolás Data Lake Storage Igen Igen Igen
Másolás Data Lake Storage Igen Igen Nem

Más:

Képesség Azure CLI AzCopy PowerShell AdlCopy PolyBase
Kompatibilis platformok Linux, OS X, Windows Linux, Windows Windows Linux, OS X, Windows SQL Server, Azure Synapse Analytics
Big Data-adatokra optimalizálva Nem Igen Nem Igen 1 Igen 2
Másolás relációs adatbázisba Nem Nem Nem Nem Igen
Másolás relációs adatbázisból Nem Nem Nem Nem Igen
Másolás a Blob Storage-ba Igen Igen Igen Nem Igen
Másolás a Blob Storage-ból Igen Igen Igen Igen Igen
Másolás Data Lake Storage Nem Igen Igen Igen Igen
Másolás Data Lake Storage Nem Nem Igen Igen Igen

[1] Az AdlCopy a big data átvitelére van optimalizálva, amikor Data Lake Analytics-fiókkal használják.

[2] A PolyBase teljesítménye növelhető a Számítás a Hadoopba való leküldésével és a PolyBase vertikális felskálázási csoportjainak használatával az SQL Server példányok és a Hadoop-csomópontok közötti párhuzamos adatátvitel engedélyezéséhez.

Grafikus felületek, adatszinkronizálás és adatfolyamok

Képesség Azure Storage Explorer Azure Portal * Data Factory Data Box Gateway
Big Data-adatokra optimalizálva Nem Nem Igen Igen
Másolás relációs adatbázisba Nem Nem Igen Nem
Másolás relációs adatbázisból Nem Nem Igen Nem
Másolás a Blob Storage-ba Igen Nem Igen Igen
Másolás a Blob Storage-ból Igen Nem Igen Nem
Másolás Data Lake Storage Nem Nem Igen Nem
Másolás Data Lake Storage Nem Nem Igen Nem
Feltöltés a Blob Storage-ba Igen Igen Igen Igen
Feltöltés Data Lake Storage Igen Igen Igen Igen
Adatátvitelek vezénylálása Nem Nem Igen Nem
Egyéni adatátalakítások Nem Nem Igen Nem
Díjszabási modell Ingyenes Ingyenes Használatalapú fizetés Fizetés egységenként

* Azure Portal ebben az esetben a Blob Storage és a Data Lake Storage webes feltárási eszközeit jelöli.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző:

Következő lépések