Delen via

Gegevens verplaatsen naar en van Azure

  • Artikel

Er zijn verschillende opties voor het overdragen van gegevens naar en van Azure, afhankelijk van uw behoeften.

Fysieke overdracht

Het gebruik van fysieke hardware om gegevens over te dragen naar Azure is een goede optie wanneer:

  • Uw netwerk is traag of onbetrouwbaar.
  • Het verkrijgen van meer netwerkbandbreedte is kostbaar.
  • Beveiligings- of organisatiebeleid staat geen uitgaande verbindingen toe bij het omgaan met gevoelige gegevens.

Als uw belangrijkste probleem is hoe lang het duurt om uw gegevens over te dragen, kunt u een test uitvoeren om te controleren of de netwerkoverdracht langzamer is dan fysiek transport.

Er zijn twee hoofdopties voor het fysiek transporteren van gegevens naar Azure:

De Azure Import/Export-service

Met de Azure Import/Export-service kunt u veilig grote hoeveelheden gegevens overdragen naar Azure Blob Storage of Azure Files door interne SATA-harde schijven (HDD's) of SDD's naar een Azure-datacenter te verzenden. U kunt deze service ook gebruiken om gegevens van Azure Storage over te dragen naar harde schijven en de stations naar u te laten verzenden voor het laden van on-premises.

Azure Data Box

Azure Data Box is een door Microsoft geleverd apparaat dat vergelijkbaar is met de Import/Export-service. Met Data Box verzendt Microsoft u een eigen, veilig en manipulatiebestendig overdrachtsapparaat en verwerkt u de end-to-end logistiek die u via de portal kunt volgen. Een voordeel van de Data Box-service is gebruiksgemak. U hoeft geen verschillende harde schijven aan te schaffen, ze voor te bereiden en bestanden over te dragen naar elk station. Data Box wordt ondersteund door veel toonaangevende Azure-partners om het eenvoudiger te maken om offline transport vanuit hun producten naadloos naar de cloud te gebruiken.

Opdrachtregelprogramma's en API's

Houd rekening met deze opties wanneer u script- en programmatische gegevensoverdracht wilt:

  • De Azure CLI is een platformoverschrijdend hulpprogramma waarmee u Azure-services kunt beheren en gegevens kunt uploaden naar Storage.

  • AzCopy. Gebruik AzCopy vanaf een Windows - of Linux-opdrachtregel om eenvoudig gegevens te kopiëren van en naar Blob Storage, Azure File Storage en Azure Table Storage met optimale prestaties. AzCopy biedt ondersteuning voor gelijktijdigheid en parallellisme, en de mogelijkheid om kopieerbewerkingen te hervatten als deze worden onderbroken. U kunt AzCopy ook gebruiken om gegevens van AWS naar Azure te kopiëren. Voor programmatische toegang is de Microsoft Azure Storage Data Movement Library het kernframework dat AzCopy mogelijk maakt. Het wordt geleverd als een .NET Core-bibliotheek.

  • Met PowerShell is de PowerShell-cmdlet Start-AzureStorageBlobCopy een optie voor Windows-beheerders die worden gebruikt voor PowerShell.

  • Met AdlCopy kunt u gegevens uit Blob Storage kopiëren naar Azure Data Lake Storage. Het kan ook worden gebruikt om gegevens tussen twee Data Lake Storage-accounts te kopiëren. Het kan echter niet worden gebruikt om gegevens van Data Lake Storage naar Blob Storage te kopiëren.

  • Distcp wordt gebruikt voor het kopiëren van gegevens naar en van een HDInsight-clusteropslag (WASB) naar een Data Lake Storage-account.

  • Sqoop is een Apache-project en maakt deel uit van het Hadoop-ecosysteem. Deze is vooraf geïnstalleerd op alle HDInsight-clusters. Het maakt gegevensoverdracht mogelijk tussen een HDInsight-cluster en relationele databases, zoals SQL, Oracle, MySQL, enzovoort. Sqoop is een verzameling gerelateerde hulpprogramma's, waaronder import- en exporthulpprogramma's. Sqoop werkt met HDInsight-clusters met behulp van blobopslag of aan Data Lake Storage gekoppelde opslag.

  • PolyBase is een technologie die toegang heeft tot gegevens buiten een database via de T-SQL-taal. In SQL Server 2016 kunt u query's uitvoeren op externe gegevens in Hadoop of gegevens importeren of exporteren uit Blob Storage. In Azure Synapse Analytics kunt u gegevens importeren of exporteren uit Blob Storage en Data Lake Storage. Momenteel is PolyBase de snelste methode voor het importeren van gegevens in Azure Synapse Analytics.

  • Gebruik de Hadoop-opdrachtregel wanneer u gegevens hebt die zich op een hoofdknooppunt van een HDInsight-cluster bevinden. U kunt de hadoop -copyFromLocal opdracht gebruiken om die gegevens te kopiëren naar de gekoppelde opslag van uw cluster, zoals Blob Storage of Data Lake Storage. Als u de Hadoop-opdracht wilt gebruiken, moet u eerst verbinding maken met het hoofdknooppunt. Nadat u verbinding hebt gemaakt, kunt u een bestand uploaden naar de opslag.

Grafische interface

Houd rekening met de volgende opties als u slechts een paar bestanden of gegevensobjecten overdraagt en het proces niet hoeft te automatiseren.

  • Azure Storage Explorer is een platformoverschrijdend hulpprogramma waarmee u de inhoud van uw Azure-opslagaccounts kunt beheren. Het stelt u in staat om blobs, bestanden, wachtrijen en tabellen, en Azure Cosmos DB-entiteiten te uploaden, downloaden en beheren. Gebruik deze met Blob Storage om blobs en mappen te beheren en blobs te uploaden en te downloaden tussen uw lokale bestandssysteem en Blob Storage, of tussen opslagaccounts.

  • Azure-portal. Zowel Blob Storage als Data Lake Storage bieden een webinterface voor het verkennen van bestanden en het uploaden van nieuwe bestanden. Deze optie is een goede optie als u geen hulpprogramma's wilt installeren of opdrachten wilt uitvoeren om snel uw bestanden te verkennen of als u een aantal nieuwe bestanden wilt uploaden.

Gegevenssynchronisatie en pijplijnen

  • Azure Data Factory is een beheerde service die het meest geschikt is voor het regelmatig overdragen van bestanden tussen veel Azure-services, on-premises systemen of een combinatie van de twee. Met Behulp van Data Factory kunt u gegevensgestuurde werkstromen maken en plannen, pijplijnen die gegevens opnemen uit verschillende gegevensarchieven. Data Factory kan de gegevens verwerken en transformeren met behulp van rekenservices zoals Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics en Azure Machine Learning. U kunt gegevensgestuurde werkstromen maken voor het organiseren en automatiseren van gegevensverplaatsing en gegevenstransformatie.

  • Pijplijnen en activiteiten in Data Factory en Azure Synapse Analytics kunnen worden gebruikt om end-to-end gegevensgestuurde werkstromen te maken voor uw scenario's voor gegevensverplaatsing en gegevensverwerking. Daarnaast wordt de Azure Data Factory-integratieruntime gebruikt om mogelijkheden voor gegevensintegratie in verschillende netwerkomgevingen te bieden.

  • Azure Data Box Gateway draagt gegevens over naar en van Azure, maar het is een virtueel apparaat, geen harde schijf. Virtuele machines die zich in uw on-premises netwerk bevinden, schrijven gegevens naar Data Box Gateway met behulp van de NFS-protocollen (Network File System) en SMB. Het apparaat draagt uw gegevens vervolgens over naar Azure.

Criteria voor sleutelselectie

Kies voor scenario's voor gegevensoverdracht het juiste systeem voor uw behoeften door deze vragen te beantwoorden:

  • Moet u grote hoeveelheden gegevens overdragen, waarbij dit te lang duurt via een internetverbinding, onbetrouwbaar of te duur is? Zo ja, overweeg dan fysieke overdracht.

  • Wilt u liever taken voor gegevensoverdracht uitvoeren, zodat ze herbruikbaar zijn? Zo ja, selecteert u een van de opdrachtregelopties of Data Factory.

  • Moet u een grote hoeveelheid gegevens overdragen via een netwerkverbinding? Als dit het probleem is, selecteert u een optie die is geoptimaliseerd voor big data.

  • Moet u gegevens overdragen naar of van een relationele database? Zo ja, kies dan een optie die ondersteuning biedt voor een of meer relationele databases. Voor sommige van deze opties is ook een Hadoop-cluster vereist.

  • Hebt u een geautomatiseerde gegevenspijplijn of werkstroomindeling nodig? Zo ja, overweeg Data Factory.

Mogelijkheidsmatrix

De volgende tabellen bevatten een overzicht van de belangrijkste verschillen in mogelijkheden.

Fysieke overdracht

Mogelijkheid De import-/exportservice Data Box
Formulierfactor Interne SATA-HDD's of SDD's Veilig, manipulatiebestendig, enkel hardwareapparaat
Microsoft beheert verzendingslogistiek Nr. Ja
Integreert met partnerproducten Nr. Ja
Aangepast apparaat Nr. Ja

Opdrachtregelprogramma's

Hadoop/HDInsight:

Mogelijkheid Distcp Sqoop Hadoop CLI
Geoptimaliseerd voor big data Ja Ja Ja
Kopiëren naar relationele database Nr. Ja Nr.
Kopiëren uit relationele database Nr. Ja Nr.
Kopiëren naar Blob Storage Ja Ja Ja
Kopiëren vanuit Blob Storage Ja Ja Nr.
Kopiëren naar Data Lake Storage Ja Ja Ja
Kopiëren vanuit Data Lake Storage Ja Ja Nr.

Overige:

Mogelijkheid Azure-CLI AzCopy Powershell AdlCopy PolyBase
Compatibele platforms Linux, OS X, Windows Linux, Windows Windows Linux, OS X, Windows SQL Server, Azure Synapse Analytics
Geoptimaliseerd voor big data Nr. Ja Nr. Ja 1 Ja 2
Kopiëren naar relationele database Nee No No No Ja
Kopiëren uit relationele database Nee No No No Ja
Kopiëren naar Blob Storage Ja Ja Ja No Ja
Kopiëren vanuit Blob Storage Ja Ja Ja Ja Ja
Kopiëren naar Data Lake Storage Nr. Ja Ja Ja Ja
Kopiëren vanuit Data Lake Storage Nee No Ja Ja Ja

[1] AdlCopy is geoptimaliseerd voor het overdragen van big data wanneer deze wordt gebruikt met een Data Lake Analytics-account.

[2] PolyBase-prestaties kunnen worden verhoogd door berekeningen naar Hadoop te pushen en polybase-uitschaalgroepen te gebruiken om parallelle gegevensoverdracht tussen SQL Server-exemplaren en Hadoop-knooppunten mogelijk te maken.

Grafische interfaces, gegevenssynchronisatie en gegevenspijplijnen

Mogelijkheid Azure Storage Explorer Azure Portal * Data Factory Data Box Gateway
Geoptimaliseerd voor big data Nee No Ja Ja
Kopiëren naar relationele database Nee No Ja Nr.
Kopiëren uit relationele database Nee No Ja Nr.
Kopiëren naar Blob Storage Ja No Ja Ja
Kopiëren vanuit Blob Storage Ja No Ja Nr.
Kopiëren naar Data Lake Storage Nee No Ja Nr.
Kopiëren vanuit Data Lake Storage Nee No Ja Nr.
Uploaden naar Blob Storage Ja Ja Ja Ja
Uploaden naar Data Lake Storage Ja Ja Ja Ja
Gegevensoverdracht organiseren Nee No Ja Nr.
Aangepaste gegevenstransformaties Nee No Ja Nr.
Prijsmodel Gratis Gratis Betalen per gebruik Betalen per eenheid

* Azure Portal in dit geval vertegenwoordigt de op het web gebaseerde verkenningshulpprogramma's voor Blob Storage en Data Lake Storage.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

Volgende stappen