Megosztás a következőn keresztül:

Adatok áthelyezése az Azure-ba és az Azure-ból

  • Cikk

Az azure-ba és az azure-ból történő adatátadásnak számos lehetősége van az igényeitől függően.

Fizikai átvitel

Ha fizikai hardvert használ az adatok Azure-ba való átviteléhez, az a következő esetekben jó választás:

  • A hálózat lassú vagy megbízhatatlan.
  • A nagyobb hálózati sávszélesség költséges.
  • A biztonsági vagy szervezeti szabályzatok nem engedélyezik a kimenő kapcsolatokat bizalmas adatok kezelésekor.

Ha az elsődleges szempont az adatok átvitelének időtartama, érdemes lehet egy tesztet futtatni annak ellenőrzésére, hogy a hálózati átvitel lassabb-e, mint a fizikai átvitel.

Az adatok Azure-ba való fizikai átvitelének két fő lehetősége van:

Az Azure Import/Export szolgáltatás

Az Azure Import/Export szolgáltatás lehetővé teszi nagy mennyiségű adat biztonságos átvitelét az Azure Blob Storage-ba vagy az Azure Filesba belső SATA-merevlemez-meghajtók (HDD-k) vagy SDD-k azure-adatközpontba történő szállításával. Ezzel a szolgáltatással adatokat is továbbíthat az Azure Storage-ból a merevlemez-meghajtókra, és a meghajtókat a helyszíni betöltéshez kézbesítheti Önnek.

Azure Data Box

Az Azure Data Box egy Microsoft által biztosított berendezés, amely az Import/Export szolgáltatáshoz hasonlóan működik. A Data Box segítségével a Microsoft egy védett, biztonságos és illetéktelen beavatkozásnak ellenálló átviteli berendezést szállít Önnek, és kezeli a végpontok közötti logisztikát, amelyet a portálon keresztül nyomon követhet. A Data Box szolgáltatás egyik előnye a könnyű használat. Nem kell több merevlemezt vásárolnia, előkészítenie és mindegyikbe átvinnie a fájlokat. A Data Boxot számos iparági vezető Azure-partner támogatja, hogy egyszerűbb legyen zökkenőmentesen használni az offline átvitelt a felhőbe a termékeikből.

Parancssori eszközök és API-k

Vegye figyelembe ezeket a beállításokat, ha szkriptes és programozott adatátvitelt szeretne:

  • Az Azure CLI egy platformfüggetlen eszköz, amely lehetővé teszi az Azure-szolgáltatások kezelését és az adatok storage-ba való feltöltését.

  • AzCopy. Windows vagy Linux rendszerű parancssorból származó AzCopy használatával egyszerűen másolhat adatokat a Blob Storage-ba, az Azure File Storage-ba és az Azure Table Storage-ba optimális teljesítménnyel. Az AzCopy támogatja az egyidejűséget és a párhuzamosságot, valamint lehetővé teszi a másolási műveletek folytatását egy esetleges megszakítás esetén. Az AzCopy használatával adatokat is másolhat az AWS-ből az Azure-ba. A programozott hozzáféréshez a Microsoft Azure Storage adatáthelyezési kódtár az AzCopyt működtető alapvető keretrendszer. .NET Core-kódtárként van megadva.

  • A PowerShell használatával a Start-AzureStorageBlobCopy PowerShell-parancsmag a PowerShellhez használt Windows-rendszergazdák számára is használható.

  • Az AdlCopy lehetővé teszi, hogy adatokat másoljon a Blob Storage-ból az Azure Data Lake Storage-ba. Két Data Lake Storage-fiók közötti adatmásolásra is használható. Azonban nem használható adatok másolására a Data Lake Storage-ból a Blob Storage-ba.

  • A Distcp használatával adatokat másolhat egy HDInsight-fürttárolóba (WASB) egy Data Lake Storage-fiókba.

  • A Sqoop egy Apache-projekt, amely a Hadoop-ökoszisztéma része. Minden HDInsight-fürtön előre telepítve van. Lehetővé teszi a HDInsight-fürt és a relációs adatbázisok, például az SQL, az Oracle, a MySQL stb. közötti adatátvitelt. A Sqoop a kapcsolódó eszközök gyűjteménye, beleértve az importálási és exportálási eszközöket. A Sqoop a HDInsight-fürtökkel a Blob Storage vagy a Data Lake Storage csatlakoztatott tároló használatával működik.

  • A PolyBase egy olyan technológia, amely a T-SQL-nyelven keresztül fér hozzá az adatbázison kívüli adatokhoz. Az SQL Server 2016-ban lekérdezéseket futtathat külső adatokon a Hadoopban, vagy adatokat importálhat vagy exportálhat a Blob Storage-ból. Az Azure Synapse Analyticsben adatokat importálhat vagy exportálhat a Blob Storage-ból és a Data Lake Storage-ból. Jelenleg a PolyBase a leggyorsabb módszer az adatok Azure Synapse Analyticsbe való importálására.

  • A Hadoop parancssort akkor használja, ha HDInsight-fürtfejcsomóponton található adatokkal rendelkezik. A parancs használatával ezeket az hadoop -copyFromLocal adatokat átmásolhatja a fürt csatolt tárhelyére, például a Blob Storage-ba vagy a Data Lake Storage-ba. A Hadoop parancs használatához először csatlakoznia kell a fő csomóponthoz. Miután csatlakozott, feltölthet egy fájlt a tárolóba.

Grafikus felület

Vegye figyelembe a következő beállításokat, ha csak néhány fájlt vagy adatobjektumot továbbít, és nem kell automatizálnia a folyamatot.

  • Az Azure Storage Explorer egy platformfüggetlen eszköz, amely lehetővé teszi az Azure Storage-fiókok tartalmának kezelését. Segítségével feltöltheti, letöltheti és kezelheti a blobokat, fájlokat, üzenetsorokat, táblákat, valamint az Azure Cosmos DB-entitásokat. A Blob Storage használatával kezelheti a blobokat és mappákat, valamint feltöltheti és letöltheti a blobokat a helyi fájlrendszer és a Blob Storage, illetve a tárfiókok között.

  • Azure Portal. A Blob Storage és a Data Lake Storage egyaránt webes felületet biztosít a fájlok feltárására és új fájlok feltöltésére. Ez a lehetőség akkor jó, ha nem szeretne eszközöket telepíteni vagy parancsokat kiadni a fájlok gyors felderítéséhez, vagy ha néhány újat szeretne feltölteni.

Adatszinkronizálás és folyamatok

  • Az Azure Data Factory egy felügyelt szolgáltatás, amely alkalmas a fájlok rendszeres átvitelére számos Azure-szolgáltatás, helyszíni rendszer vagy a kettő kombinációja között. A Data Factory használatával létrehozhat és ütemezhet adatvezérelt munkafolyamatokat, úgynevezett folyamatokat, amelyek különböző adattárakból származó adatokat használnak be. A Data Factory olyan számítási szolgáltatások használatával tudja feldolgozni és átalakítani az adatokat, mint az Azure HDInsight Hadoop, a Spark, az Azure Data Lake Analytics és az Azure Machine Learning. Adatvezérelt munkafolyamatokat hozhat létre az adatáthelyezés és adatátalakítás vezénylése és automatizálása érdekében.

  • A Data Factoryben és az Azure Synapse Analyticsben futó folyamatok és tevékenységek a végpontok közötti adatvezérelt munkafolyamatok létrehozására használhatók az adatáthelyezési és adatfeldolgozási forgatókönyvekhez. Emellett az Azure Data Factory integrációs modulja különböző hálózati környezetekben biztosít adatintegrációs képességeket.

  • Az Azure Data Box Gateway adatokat továbbít az Azure-ba és onnan, de ez egy virtuális berendezés, nem pedig merevlemez. A helyszíni hálózatban található virtuális gépek adatokat írnak a Data Box Gatewaybe a hálózati fájlrendszer (NFS) és az SMB protokollok használatával. Az eszköz ezután átviszi az adatokat az Azure-ba.

Kulcsválasztási feltételek

Adatátviteli forgatókönyvek esetén válassza ki az igényeinek megfelelő rendszert az alábbi kérdések megválaszolásával:

  • Nagy mennyiségű adatot kell továbbítania, ahol az internetkapcsolaton keresztüli műveletek túl sokáig tartana, megbízhatatlanok vagy túl drágák lennének? Ha igen, fontolja meg a fizikai átvitelt.

  • Inkább szkripteli az adatátviteli feladatokat, hogy újra felhasználhatók legyenek? Ha igen, válassza ki a parancssori beállítások vagy a Data Factory egyikét.

  • Nagy mennyiségű adatot kell továbbítania egy hálózati kapcsolaton keresztül? Ha igen, válasszon egy big data-ra optimalizált lehetőséget.

  • Át kell vinnie az adatokat egy relációs adatbázisba vagy onnan? Ha igen, válasszon egy vagy több relációs adatbázist támogató lehetőséget. Ezen lehetőségek némelyikéhez Hadoop-fürtre is szükség van.

  • Szüksége van automatizált adatfolyamra vagy munkafolyamat-vezénylésre? Ha igen, fontolja meg a Data Factoryt.

Képességmátrix

Az alábbi táblázatok összefoglalják a képességek főbb különbségeit.

Fizikai átvitel

Funkció Az Importálás/exportálás szolgáltatás Data Box
Űrlaptényező Belső SATA HDD-k vagy SDD-k Biztonságos, illetéktelen illetéktelen hozzáférésű, egy hardveres berendezés
A Microsoft kezeli a szállítási logisztikát Nem Igen
Integrálható a partnertermékekkel Nem Igen
Egyéni berendezés Nem Igen

Parancssori eszközök

Hadoop/HDInsight:

Funkció DistCp Sqoop Hadoop parancssori felület
Big Data-adatokra optimalizálva Igen Igen Igen
Másolás relációs adatbázisba Nem Igen Nem
Másolás relációs adatbázisból Nem Igen Nem
Másolás a Blob Storage-ba Igen Igen Igen
Másolás a Blob Storage-ból Igen Igen Nem
Másolás a Data Lake Storage-ba Igen Igen Igen
Másolás a Data Lake Storage-ból Igen Igen Nem

Egyéb:

Funkció Azure CLI AzCopy PowerShell AdlCopy PolyBase
Kompatibilis platformok Linux, OS X, Windows Linux, Windows Windows Linux, OS X, Windows SQL Server, Azure Synapse Analytics
Big Data-adatokra optimalizálva Nem Igen Nem Igen 1 Igen 2
Másolás relációs adatbázisba Nem Nem Nem Nem Igen
Másolás relációs adatbázisból Nem Nem Nem Nem Igen
Másolás a Blob Storage-ba Igen Igen Igen Nem Igen
Másolás a Blob Storage-ból Igen Igen Igen Igen Igen
Másolás a Data Lake Storage-ba Nem Igen Igen Igen Igen
Másolás a Data Lake Storage-ból Nem Nem Igen Igen Igen

[1] Az AdlCopy big data átvitelére van optimalizálva, amikor egy Data Lake Analytics-fiókkal használják.

[2] A PolyBase teljesítménye növelhető a számítások Hadoopba való leküldésével és a PolyBase horizontális felskálázási csoportjainak használatával az SQL Server-példányok és a Hadoop-csomópontok közötti párhuzamos adatátvitel engedélyezéséhez.

Grafikus felületek, adatszinkronizálás és adatfolyamok

Funkció Azure Storage Explorer Azure Portal * Data Factory Data Box Gateway
Big Data-adatokra optimalizálva Nem Nem Igen Igen
Másolás relációs adatbázisba Nem Nem Igen Nem
Másolás relációs adatbázisból Nem Nem Igen Nem
Másolás a Blob Storage-ba Igen Nem Igen Igen
Másolás a Blob Storage-ból Igen Nem Igen Nem
Másolás a Data Lake Storage-ba Nem Nem Igen Nem
Másolás a Data Lake Storage-ból Nem Nem Igen Nem
Feltöltés a Blob Storage-ba Igen Igen Igen Igen
Feltöltés a Data Lake Storage-ba Igen Igen Igen Igen
Adatátvitelek vezénylálása Nem Nem Igen Nem
Egyéni adatátalakítások Nem Nem Igen Nem
Díjszabási modell Ingyenes Ingyenes Használatalapú fizetés Fizetés egységenként

Ebben az esetben az Azure Portal a Blob Storage és a Data Lake Storage webes felderítési eszközeit jelöli.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző:

Következő lépések