Freigeben über

Skalierungs- und Leistungsziele für Azure Storage Mover

Die Leistung eines Speichermigrationsdiensts ist ein wichtiger Aspekt für jede Migration. In diesem Artikel teilen wir Leistungstestergebnisse, da Azure Storage Mover jedoch ein neuer Dienst ist, kann Ihre Erfahrung variieren.

Skalierungsziele

Azure Storage Mover wird mit 500 Millionen Namespaceelementen (Dateien und Ordnern) getestet, die von einer unterstützten Quelle zu einem unterstützten Ziel in Azure migriert werden.

So testen wir

Azure Storage Mover ist ein Hybrid-Clouddienst. Hybriddienste verfügen über eine Clouddienstkomponente und eine Infrastrukturkomponente, die der Administrator des Diensts in ihrer Unternehmensumgebung ausführt. Bei Storage Mover ist diese Hybridkomponente ein Migrations-Agent. Agents sind virtuelle Computer, die auf einem Host in der Nähe des Quellspeichers ausgeführt werden.

Ein Diagramm, das den Pfad einer Migration veranschaulicht, indem zwei Pfeile angezeigt werden. Der erste Pfeil stellt Daten dar, die von der Quelle oder dem Agent zu einem Speicherkonto gelangen, und ein zweiter Pfeil stellt nur die Verwaltungs- oder Kontrollinformationen für die Speicherverschiebungsressource oder den Speicherdienst dar.

Nur der Agent ist ein relevanter Bestandteil des Diensts für Leistungstests. Um Datenschutz- und Leistungsbedenken auszulassen, werden Daten direkt vom Storage Mover-Agent zum Zielspeicher in Azure übertragen. Nur Steuerungs- und Telemetrienachrichten werden an den Clouddienst gesendet.

Leistungskennlinien

Diese Testergebnisse werden unter idealen Bedingungen erstellt. Sie sind als Basisplan der Komponenten gedacht, die der Storage Mover-Dienst und Agent direkt beeinflussen können. Unterschiede bei Quellgeräten, Datenträgern und Netzwerkverbindungen werden in diesem Test nicht berücksichtigt. Die Leistung in der realen Welt variiert.

Die Migration von der SMB-Bereitstellung zu Azure-Dateifreigabetests wurde wie folgt ausgeführt:

In der folgenden Tabelle werden die Merkmale der Testumgebungen beschrieben, die die Leistungstestergebnisse von einer SMB-Einbindung zu einer Azure-Dateifreigabe erzeugt haben.

Test Nr. Nein. von Dateien Gesamtgewicht der Dateien Dateigröße Ordnerstruktur
1 12 Millionen 12 GB Jeweils 1 KB 12 Ordner mit jeweils 100 Unterordnern mit 10.000 Dateien
2 30 20 GB 1 Ordner
3 1 Million 100 GB 100 KB pro 1.000 Ordner mit jeweils 1.000 Dateien
4 1 4 TB
5 117 Millionen 117 GB Jeweils 1 KB 117 Ordner mit jeweils 100 Unterordnern mit 10.000 Dateien
6 1 1 TB (Terabyte)
7 3,3 Millionen 45 GB Jeweils 13 KB 200.000 Ordner, jede enthält 16\17 Dateien
8 50 Millionen 1 TB (Terabyte) Jeweils 20 KB 2.940.000 Ordner, jede enthält 17 Dateien
9 100 Mio. 2 TB Jeweils 20 KB 5.880.000 Ordner, jede enthält 17 Dateien

Verschiedene Agentressourcenkonfigurationen werden auf SMB-Endpunkten getestet:

  1. Minspec: 4 CPU / 8 GB RAM 4 virtuelle CPU-Kerne bei jeweils 2,7 GHz und 8 GiB Arbeitsspeicher (RAM) ist die Mindestspezifikation für einen Azure Storage Mover-Agent.

    Test Nr. Ausführungszeit Scanzeit
    6 16 Min., 42 Sek. 1.2 Sek.
    7 55 Min., 4 Sek. 1 Min., 17 Sek.
    8
    9

  2. Bootspec: 8 CPU / 16 GiB RAM 8 virtuelle CPU-Kerne bei jeweils 2,7 GHz und 16 GiB Arbeitsspeicher (RAM) ist die Mindestspezifikation für einen Azure Storage Mover-Agent.

    Ergebnisse: Standardspeicherkonto

    Test Nr. Ausführungszeit Scanzeit
    1 15 Stunden, 59 Min. 2 Stunden, 36 Min., 34 Sek.
    2 1 Min., 54 Sek. 3.34 Sek.
    3 1 Std., 19 Min., 27 Sek. 57,62 Sek.
    4 1 Std., 5 Min., 57 Sek. 2.89 Sek.

    Ergebnisse: Standardspeicherkonto mit aktivierten großen Dateien

    Test Nr. Ausführungszeit Scanzeit
    1 3 Stunden, 51 Min., 31 Sek. 41 Min. und 45 Sek.
    5 25 Stunden, 47 Min. 23 Stunden, 35 Min.
    6 11 Min., 11 Sek. 0,7 Sek.
    7 55 Min., 10 Sek. 1 Min., 3 Sek.
    8
    9

    Ergebnisse: Premium-Speicherkonto

    Test Nr. Ausführungszeit Scanzeit
    1 2 Stunden, 35 Min., 14 Sek. 24 Min., 46 Sek.
    5 23 Stunden, 34 Min. 21 Stunden, 34 Min.

Überprüfen Sie die empfohlenen Agentressourcen für Ihren Migrationsumfang im Artikel zur Agentbereitstellung.

Warum die Migrationsleistung unterschiedlich ist

Grundsätzlich wirken sich die Netzwerkqualität und die Fähigkeit zum Verarbeiten von Dateien, Ordnern und deren Metadaten auf Ihre Migrationsgeschwindigkeit aus.

In den beiden Kernbereichen des Netzwerks und der Berechnung haben mehrere Aspekte Auswirkungen:

  • Migrationsszenario
    Das Kopieren in ein leeres Ziel ist im Vergleich zu einem Ziel mit Inhalt schneller. Dieses Verhalten liegt daran, dass das Migrationsmodul nicht nur die Quelle auswertet, sondern auch das Ziel, Kopierentscheidungen zu treffen.
  • Namespaceelementanzahl
    Das Migrieren von 1 GiB kleiner Dateien dauert mehr Zeit als das Migrieren von 1 GiB größerer Dateien.
  • Namespaceform
    Eine breite Ordnerhierarchie eignet sich für mehr parallele Verarbeitung als eine schmale oder tiefe Verzeichnisstruktur. Das Datei-zu-Ordner-Verhältnis spielt auch eine Rolle.
  • Namespace-Fluktuation
    Wie viele Dateien, Ordner und Metadaten ändern sich zwischen zwei Kopiervorgängen von derselben Quelle zu demselben Ziel?
  • Netzwerk
    • Bandbreite und Latenz zwischen Quell- und Migrations-Agent
    • Bandbreite und Latenz zwischen Dem Migrations-Agent und dem Ziel in Azure
  • Migrations-Agent-Ressourcen
    Die Menge des Arbeitsspeichers (RAM), die Anzahl der Computekerne und sogar die verfügbare Menge der lokalen Datenträgerkapazität für den Migrations-Agent kann einen tiefgreifenden Einfluss auf die Migrationsgeschwindigkeit haben. Weitere Computeressourcen helfen, die Nutzung der verfügbaren Bandbreite zu optimieren, insbesondere, wenn große Mengen kleinerer Dateien in einer Migration verarbeitet werden müssen.

Eine herkömmliche Migration erfordert beispielsweise eine Strategie, um Ausfallzeiten der Workload zu minimieren, die vom zu migrierenden Speicher abhängt. Azure Storage Mover unterstützt diese Strategie, die als konvergente n-Pass-Migration bezeichnet wird.

In dieser Strategie kopieren Sie mehrmals von der Quelle zum Ziel. Während dieser Kopieriterationen bleibt die Quelle für Lese- und Schreibzugriff auf die Workload verfügbar. Unmittelbar vor der endgültigen Kopierversion nehmen Sie die Quelle offline. Die letzte Kopie wird voraussichtlich schneller abgeschlossen als die erste Kopie, die Sie erstellen, und dauert ungefähr so lange wie die, die unmittelbar davor liegt. Nach dem letzten Kopiervorgang wird für den Workload ein Failover ausgeführt, um den erneut zur Verfügung stehenden neuen Zielspeicher in Azure zu verwenden.

Während der ersten Kopie von Quelle zu Ziel ist das Ziel wahrscheinlich leer, und alle Quellinhalte müssen zum Ziel übertragen werden. Daher ist die erste Kopie wahrscheinlich durch die verfügbaren Netzwerkressourcen am meisten eingeschränkt.

Gegen Ende einer Migration, nachdem Sie die Quelle bereits mehrmals zum Ziel kopiert haben, werden nur wenige Dateien, Ordner und Metadaten nach dem letzten Kopiervorgang geändert. In dieser letzten Kopieriteration werden jede Datei in der Quelle und im Ziel verglichen, um festzustellen, ob sie aktualisiert werden müssen. Dabei werden mehr Computerressourcen und weniger Netzwerkressourcen benötigt. Kopiervorgänge wird in dieser späten Phase einer Migration häufig eingeschränkter. Die ordnungsgemäße Ressourcenbereitstellung des Storage Mover-Agents wird immer wichtiger.

Nächste Schritte

Die folgenden Artikel können bei einer erfolgreichen Azure Storage Mover-Bereitstellung helfen.