Datenübertragung für große Datasets mit mittlerer bis hoher Netzwerkbandbreite

Dieser Artikel bietet einen Überblick über die Datenübertragungslösungen, wenn Sie in Ihrer Umgebung eine mittlere bis hohe Netzwerkbandbreite nutzen und planen, große Datasets zu übertragen. Der Artikel beschreibt auch die empfohlenen Datenübertragungsoptionen sowie die jeweilige Schlüsselfunktionsmatrix für dieses Szenario.

Eine Übersicht über alle verfügbaren Datenübertragungsoptionen finden Sie unter Auswählen einer Azure-Datenübertragungslösung.

Beschreibung des Szenarios

Große Datasets beziehen sich auf Datengrößen im TB- bis PB-Bereich. Mittlere bis hohe Netzwerkbandbreite bezieht sich auf 100 MBit/s bis 10 GBit/s.

Die in diesem Szenario empfohlenen Optionen hängen davon ab, ob Sie eine mittlere Netzwerkbandbreite oder eine hohe Netzwerkbandbreite nutzen.

Mittlere Netzwerkbandbreite (100 MBit/s bis 1 GBit/s)

Bei mittlerer Netzwerkbandbreite müssen Sie die Zeit für die Datenübertragung über das Netzwerk projizieren.

Schätzen Sie anhand der folgenden Tabelle die Zeit, und wählen Sie danach zwischen einer Offlineübertragung oder einer Übertragung über das Netzwerk. Die Tabelle zeigt die voraussichtliche Zeit für die Übertragung von Daten über das Netzwerk für verschiedene verfügbare Netzwerkbandbreiten (bei einer Auslastung von 90 %).

Netzwerkübertragung oder Offlineübertragung

  • Wenn die Netzwerkübertragung als zu langsam eingestuft wird, sollten Sie ein physisches Gerät verwenden. Die empfohlenen Optionen in diesem Fall sind die Offlineübertragungsgeräte aus der Azure Data Box-Produktfamilie oder Azure Import/Export mit eigenen Datenträgern.

    • Azure Data Box-Produktfamilie für Offlineübertragungen: Verwenden Sie von Microsoft bereitgestellte Data Box-Geräte, um große Datenmengen an Azure zu übertragen, wenn Sie aufgrund von Zeit, Netzwerkverfügbarkeit oder Kosten eingeschränkt sind. Kopieren Sie lokale Daten mithilfe von Tools wie Robocopy. Abhängig von der für die Übertragung vorgesehenen Datengröße können Sie zwischen Data Box Disk, Data Box oder Data Box Heavy wählen.
    • Azure Import/Export: Verwenden Sie den Azure Import/Export-Dienst, indem Sie Ihre eigenen Festplattenlaufwerke versenden, um große Datenmengen sicher in Azure Blob Storage und Azure Files zu importieren. Sie können diesen Dienst auch zum Übertragen von Daten aus Azure Blob Storage auf Festplattenlaufwerke und zum Versand an lokale Standorte nutzen.
  • Wenn die Netzwerkübertragung als sinnvoll erachtet wird, können Sie eines der folgenden Tools verwenden, die unter Hohe Netzwerkbandbreite beschrieben werden.

Hohe Netzwerkbandbreite (1 GBit/s bis 100 GBit/s)

Wenn die verfügbare Netzwerkbandbreite hoch ist, verwenden Sie eines der folgenden Tools.

  • AzCopy: Verwenden Sie dieses Befehlszeilentool, um Daten einfach und schnell in und aus Azure Blobs, Files und Table Storage mit optimaler Leistung zu kopieren. AzCopy unterstützt Nebenläufigkeit und Parallelität sowie die Fortsetzung unterbrochener Kopiervorgänge.
  • Azure Storage REST-APIs/SDKs: Beim Erstellen einer Anwendung können Sie die Anwendung mithilfe von Azure Storage REST-APIs entwickeln und die in mehreren Sprachen angebotenen Azure SDKs verwenden.
  • Azure Data Box-Produktfamilie für Onlineübertragungen: Azure Stack Edge und Data Box Gateway sind Onlinenetzwerkgeräte, die Daten in und aus Azure übertragen können. Verwenden Sie das physische Azure Stack Edge-Gerät, wenn gleichzeitig eine kontinuierliche Erfassung und Vorverarbeitung der Daten vor dem Hochladen erforderlich ist. Data Box Gateway ist eine virtuelle Version des Geräts mit den gleichen Datenübertragungsfunktionen. In jedem Fall wird die Datenübertragung vom Gerät verwaltet.
  • Azure Data Factory: Data Factory sollte verwendet werden, um einen Übertragungsvorgang aufzuskalieren, und wenn es Bedarf für Orchestrierung und Überwachungsfunktionen auf Unternehmensebene gibt. Verwenden Sie Data Factory, um regelmäßig Dateien zwischen mehreren Azure-Diensten, lokal oder in einer Kombination aus beidem zu übertragen. Mit Data Factory können Sie datengesteuerte Workflows (sogenannte Pipelines) erstellen und planen, die Daten aus unterschiedlichen Datenspeichern erfassen und die Datenbewegung und Datentransformation automatisieren.

Vergleich der Schlüsselfunktionen

In den folgenden Tabellen werden die Unterschiede bei den Schlüsselfunktionen für die empfohlenen Optionen zusammengefasst.

Mittlere Netzwerkbandbreite

Wenn Sie die Offlinedatenübertragung nutzen, verwenden Sie die folgende Tabelle, um die Unterschiede in den Schlüsselfunktionen zu verstehen.

Data Box Disk Data Box Data Box Heavy Importieren/Exportieren
Datengröße Bis zu 35 TB Bis zu 80 TB pro Gerät Bis zu 800 TB pro Gerät Variable
Datentyp Azure-Blobs
Azure Files*
Azure-Blobs
Azure Files
Azure-Blobs
Azure Files
Azure-Blobs
Azure Files
Formfaktor 5 SSDs pro Auftrag 1 x 22,7 kg Gerät in Desktopgröße pro Auftrag 1 x ca. 226,8 kg großes Gerät pro Auftrag Bis zu 10 HDDs/SSDs pro Auftrag
Für Ersteinrichtung benötigte Zeit Niedrig
(15 Min.)
Niedrig bis mittel
(< 30 Minuten)
Moderat
(1 bis 2 Stunden)
Mittel bis schwierig
(variabel)
Senden von Daten an Azure Ja Ja Ja Ja
Exportieren von Daten aus Azure Nein Nein Nein Ja
Verschlüsselung AES 128-Bit AES 256-Bit AES 256-Bit AES 128-Bit
Hardware Von Microsoft bereitgestellt Von Microsoft bereitgestellt Von Microsoft bereitgestellt Vom Kunden bereitgestellt
Netzwerkschnittstelle USB 3.1/SATA RJ 45, SFP+ RJ45, QSFP+ SATA II/SATA III
Partnerintegration Einige Hoch Hoch Einige
Versand Von Microsoft verwaltet Von Microsoft verwaltet Von Microsoft verwaltet Vom Kunden verwaltet
Verwendung bei Datenbewegungen Innerhalb einer kommerziellen Grenze Innerhalb einer kommerziellen Grenze Innerhalb einer kommerziellen Grenze Über geografische Grenzen hinweg, z.B. aus den USA in die EU
Preise Preise Preise Preise Preise

* Data Box Disk unterstützt keine großen Dateifreigaben und behält keine Dateimetadaten bei

Bei Nutzung von Onlinedatenübertragung verwenden Sie die Tabelle im folgenden Abschnitt für hohe Netzwerkbandbreite.

Hohe Netzwerkbandbreite

Tools AzCopy,
Azure PowerShell,
Azure CLI
Azure Storage REST-APIs, SDKs Data Box Gateway oder Azure Stack Edge Azure Data Factory
Datentyp Azure-Blobs, Azure Files, Azure Tables Azure-Blobs, Azure Files, Azure Tables Azure-Blobs, Azure Files Unterstützt mehr als 70 Datenconnectors für Datenspeicher und Formate
Formfaktor Befehlszeilentools Programmgesteuerte Schnittstelle Microsoft stellt ein virtuelles
oder physisches Gerät bereit
Dienst im Azure-Portal
Einmalige Ersteinrichtung Einfach Moderat Einfach (< 30 Minuten) bis mittel (1–2 Stunden) Umfangreich
Datenvorverarbeitung Nein Nein Ja (mit Edge-Compute) Ja
Übertragung aus anderen Clouds Nein Nein Nein Ja
Benutzertyp IT-Profi oder Entwickler Entwicklung IT-Profi IT-Profi
Preise Kostenlos, Gebühren für Datenerfassung fallen an Kostenlos, Gebühren für Datenerfassung fallen an Azure Stack Edge – Preise
Azure Data Box – Preise
Preise

Nächste Schritte