Wanneer u de Azure Data Box-serie gebruikt
Apparaten van de Azure Data Box-serie zijn niet de enige manier om gegevens naar Azure te verplaatsen. Voor uw autonome voertuiggegevens wilt u ervoor zorgen dat Data Box Disk uw beste keuze is voordat u een bestelling plaatst.
In deze les leert u wanneer u een Data Box-apparaat gebruikt en wanneer u een andere oplossing gebruikt.
Gebruiksvoorbeelden voor Data Box-apparaten
Data Box is ideaal voor het overdragen van terabytes aan gegevens in scenario's met beperkte of geen netwerkconnectiviteit. De gegevensverplaatsing kan eenmalig, periodiek of een eerste bulkgegevensoverdracht zijn, gevolgd door periodieke overdrachten.
Hier volgen de verschillende scenario's waarin u Data Box-apparaten kunt gebruiken om gegevens te importeren in Azure.
Eenmalige migratie : wanneer een grote hoeveelheid on-premises gegevens naar Azure wordt verplaatst.
- Verplaatsen van een mediabibliotheek van offline tapes naar Azure, voor het maken van een online mediabibliotheek.
- Uw VM-farm, SQL-server en toepassingen migreren naar Azure.
- Historische gegevens verplaatsen naar Azure voor uitgebreide analyse en rapportage met BEHULP van HDInsight.
Eerste bulkoverdracht: wanneer een eerste bulkoverdracht wordt uitgevoerd met Data Box (seed), gevolgd door incrementele overdrachten via het netwerk.
Periodieke uploads : wanneer er periodiek een grote hoeveelheid gegevens wordt gegenereerd en naar Azure moet worden verplaatst. Bijvoorbeeld: in energieverkenning, waarbij video-inhoud wordt gegenereerd op olieplatforms en windmolenboerderijen.
Hier volgen de verschillende scenario's waarin u Data Box kunt gebruiken om gegevens uit Azure te exporteren. Data Box Disk en Data Box Heavy bieden geen ondersteuning voor het exporteren van gegevens uit Azure.
Herstel na noodgevallen : wanneer een kopie van de gegevens van Azure wordt hersteld naar een on-premises netwerk. In een typisch noodherstelscenario wordt een grote hoeveelheid Azure-gegevens geëxporteerd naar een Data Box. Microsoft stuurt deze Data Box vervolgens door en de gegevens worden in korte tijd op uw locatie hersteld.
Beveiligingsvereisten : wanneer u gegevens uit Azure moet kunnen exporteren vanwege overheids- of beveiligingsvereisten. Bijvoorbeeld: Azure Storage is beschikbaar in us Secret and Top Secret clouds, and you can use Data Box to export data out of Azure.
Migreer terug naar on-premises of naar een andere cloudserviceprovider: wanneer u alle gegevens weer naar on-premises of naar een andere cloudserviceprovider wilt verplaatsen, kunt u gegevens exporteren via Data Box om de workloads te migreren.
Opties voor offlineoverdracht
De offlineopties voor het verplaatsen van uw gegevens naar Azure omvatten Data Box-apparaten en Azure Import/Export.
Data Box-apparaten
Als u gegevens naar Azure wilt verplaatsen, kunt u de gegevens in fysieke apparaten laten en vervolgens naar een Azure-datacenter verzenden. Daar worden de gegevens gekopieerd naar uw Azure-abonnement. Zoals u in les 2 hebt gezien, zijn er drie Data Box-producten die op deze manier werken:
- Data Box
- Data Box Disk
- Data Box Heavy
Als u zich niet in een regio bevindt waarvoor ondersteuning wordt geboden door de Azure Data Box-serie, kunt u eventueel gebruikmaken van Azure Import/Export om gegevens in Azure te importeren.
Azure Import/Export
Een andere service die gebruikmaakt van fysieke apparaten voor het overdragen van gegevens in Azure is Azure Import/Export. Met Azure Import/Export kunt u gebruikmaken van uw eigen schijven. U kunt offline overdrachten van gegevens uitvoeren vanuit Blob-opslag naar schijven. Azure Import/Export exporteert ook gegevens van Azure terug naar uw eigen datacentrums en maakt het mogelijk om internationale grenzen te overschrijden.
De installatieprocedure voor het importeren van gegevens met Azure Import/Export is moeilijker dan met de Azure Data Box-serie. U moet alle verzendprocedures en apparaatvoorbereiding zelf uitvoeren. U wordt aangeraden Azure Data Box te gebruiken, een service op maat waarmee u veilig en goedkoop en met de minste moeite enorme volumes aan gegevens naar Azure kunt verplaatsen.
Opties voor netwerkoverdracht
Een andere manier om gegevens in Azure op te halen, is door deze via internet te verzenden. Er zijn verschillende hulpprogramma's die u kunt gebruiken om gegevens over het netwerk over te dragen.
Data Box Gateway
Zoals besproken in les 2, is Data Box Gateway een virtueel apparaat. Het is gebaseerd op een virtuele machine die u inricht in uw on-premises omgeving. U schrijft gegevens naar het virtuele apparaat met behulp van de NFS- en SMB-protocollen. Het apparaat draagt uw gegevens vervolgens over naar Azure blok-blob, pagina-blob of Azure Files.
Azure Storage Explorer
Azure Storage Explorer is een gratis te downloaden toepassing die u onder Windows, Linux of op de Mac kunt uitvoeren. Het biedt een Graphical User Interface (GUI), die u kunt gebruiken voor het bekijken van blobs, bestanden, wachtrijen en tabellen in Azure-opslagaccounts. Als u slechts een paar bestanden tegelijk overbrengt en u geen overdrachten hoeft te automatiseren, is Storage Explorer een ideale oplossing.
Als u geen toepassing wilt installeren, maar u een browser hebt, kunt u de pagina Storage Explorer in Azure Portal gebruiken om bestanden over te dragen.
Azure Stack Edge
Azure Stack Edge maakt ook gebruik van fysieke apparaten om gegevens over te dragen naar Azure. In tegenstelling tot Data Box-apparaten bieden Azure Stack Edge-apparaten Azure-mogelijkheden, zoals compute, opslag, netwerken en hardware-versnelde machine learning op elke edge-locatie. Gebruik een Azure Stack Edge-apparaat voor de volgende scenario's:
Deductie met Azure Machine Learning : ML-modellen uitvoeren om snelle resultaten te krijgen waarop u kunt reageren voordat de gegevens naar de cloud worden verzonden. U kunt desgewenst de volledige gegevensset overdragen om uw ML-modellen opnieuw te trainen en te verbeteren.
Gegevens voorbewerken: transformeer gegevens voordat deze naar Azure worden verzonden via compute-opties zoals containerwerkbelastingen en virtuele machines om een meer op maat gemaakte gegevensset te maken. U kunt preprocessing gebruiken voor het volgende:
- Gegevens samen te voegen.
- Gegevens wijzigen; Bijvoorbeeld om persoonlijke gegevens te verwijderen.
- Subsetgegevens voor het optimaliseren van opslag en bandbreedte of voor verdere analyse.
- IoT-gebeurtenissen te analyseren en erop te reageren.
Gegevens overdragen via een netwerk naar Azure : eenvoudig en snel gegevens overdragen naar Azure om verdere berekeningen en analyses uit te voeren of voor archiveringsdoeleinden.
Azure Data Factory
Azure Data Factory is een service waarmee u grote hoeveelheden gegevens uit veel verschillende bronnen kunt organiseren, verplaatsen en transformeren. In Data Factory kunt u gegevenspijplijnen maken die gegevens opnemen uit relationele databases, NoSQL-databases en andere systemen. U kunt Azure Machine Learning, Hadoop, Spark en andere services gebruiken om die gegevens te verwerken en te transformeren. Aan het einde van de pijplijn kunt u de getransformeerde gegevens publiceren naar Azure SQL Data Warehouse, Azure SQL Database, Azure Cosmos DB en Azure Storage.
U kunt deze service gebruiken als u complexe gegevenstransformatiebehoeften hebt, maar geen scripts wilt schrijven of code wilt compileren.
Overdracht met scripts of via programmacode
Microsoft biedt een reeks geoptimaliseerde opdrachtregelprogramma's die u kunt aanroepen met afzonderlijke opdrachten of in scripts kunt samenvoegen, en waarmee u gegevens naar Azure kunt verplaatsen. Tot deze hulpmiddelen behoren onder meer:
- AzCopy. U kunt dit opdrachtregelprogramma vanuit elk script aanroepen om blobs of bestanden over te dragen naar een Azure-opslagaccount.
- Azure PowerShell. PowerShell is een scriptinterface en taal waarmee beheerders complexe taken kunnen automatiseren door bepaalde opdrachten, de zogenaamde cmdlets, uit te voeren. De Azure PowerShell-module biedt een groot aantal cmdlets die met Azure kunnen worden gebruikt. Dit zijn onder andere cmdlets die u kunt gebruiken om gegevens te uploaden in Azure-opslagaccounts, Azure SQL Database, Azure Cosmos DB en andere bestemmingen. Als u bijvoorbeeld een bestand wilt uploaden naar een Azure Storage-blob, gebruikt u de
Set-AzStorageBlobContentcmdlet. - Azure CLI. De Azure CLI is een opdrachtregelprogramma dat u vanuit PowerShell- en Bash-scripts kunt aanroepen om met Azure te werken. Het bevat opties waarmee u gegevens kunt verplaatsen naar Azure-locaties. U gebruikt bijvoorbeeld de
az storage blob uploadopdracht om een bestand te uploaden naar een Azure Storage-blob.
Scripthulpprogramma's zijn eenvoudig voor beheerders en niet-ontwikkelde gebruikers. Als er personen zijn met ontwikkelaarsvaardigheden die gecompileerde code kunnen schrijven, kunt u overwegen programmeertalen te gebruiken om gegevensoverdracht in Azure te integreren. De code moet de Representational State Transfer (REST) Application Programming Interfaces (API's) van Azure Storage kunnen aanroepen. De REST API's zijn een set webservices die u kunt aanroepen vanuit een groot aantal verschillende programmeertalen. Ontwikkelaars kunnen .NET-talen, Java, Python, Node.js, C++en PHP gebruiken om deze API's aan te roepen. Ontwikkelaars kunnen de taal kiezen waarmee ze het meest bekend zijn.
Een methode voor gegevensoverdracht kiezen
Als u een overdrachtsmethode wilt kiezen uit een van deze systemen, moet u rekening houden met de volgende vragen:
- Wat is de gegevensgrootte?
- Hoe vaak wil ik gegevens overdragen?
- Hoeveel netwerkbandbreedte is er beschikbaar?
Als u af en toe enkele bestanden wilt overdragen, kunt u Azure Storage Explorer kiezen of Azure Portal gebruiken.
Als de netwerkbandbreedte laag of duur is om te gebruiken en u een grote hoeveelheid gegevens hebt, kunt u een fysiek apparaat gebruiken om gegevens over te dragen. Als u uw eigen schijven wilt gebruiken, kiest u Azure Import/Export. Als u de voorkeur geeft aan het gebruik van Microsoft-hardware, kiest u een Azure Data Box-product. U kunt kiezen uit Data Box, Data Box Disk en Data Box Heavy op basis van hun maximale gegevensvolumes.
Als u voldoende netwerkbandbreedte hebt en u gegevens regelmatig of continu wilt overdragen, kunt u een netwerkoverdrachtsmethode kiezen. Als u de gegevens wilt transformeren terwijl u deze overdraagt zonder code te gebruiken, kunt u Azure Data Factory overwegen. Als u de tijd kunt investeren en de vaardigheden hebt om code te schrijven, kunt u scripthulpprogramma's gebruiken of gecompileerde code ontwikkelen op basis van de REST API's. Als u grote gegevenssets via het netwerk wilt overdragen en u een hoge beschikbare bandbreedte hebt, kunt u Data Box Gateway of een Azure Stack Edge-apparaat kiezen.
Gegevensoverdracht voor autonome voertuigen
In uw organisatie wilt u telemetriegegevens van autonome voertuigen uploaden naar Azure op een snelle, relatief goedkope en veilige manier zonder het netwerk op te graven. Dit scenario is een belangrijke use case voor Azure Data Box Disk.
U kunt Azure Data Box Disk gebruiken voor verschillende soorten scenario's voor gegevensoverdracht. Azure Data Box Disk is geschikt voor eenmalige migraties, zoals het verplaatsen van maximaal 35 TB aan gegevens van offlinetapes naar statische Azure-opslag. Als u meer dan 35 TB wilt uploaden, kunt u extra orders maken. Bekijk de andere opties in de Data Box-serie waarmee u in de eerste les hebt kennisgemaakt. Er kan namelijk een geschiktere kandidaat zijn. Incrementele overdrachten werken ook goed. Data Box Disk wordt gebruikt om de eerste, grote seed aan te bieden, waarna er stapsgewijs meer gegevens worden gekopieerd met behulp van standaardnetwerktechnieken.