Skalierungs- und Leistungsziele für Azure Storage Mover
Die Leistung eines Speichermigrationsdiensts ist ein wichtiger Aspekt für jede Migration. In diesem Artikel teilen wir Leistungstestergebnisse, da Azure Storage Mover jedoch ein neuer Dienst ist, kann Ihre Erfahrung variieren.
Skalierungsziele
Azure Storage Mover wird mit 100 Millionen Namespaceelementen (Dateien und Ordnern) getestet, die von einer unterstützten Quelle zu einem unterstützten Ziel in Azure migriert werden.
Testablauf
Azure Storage Mover ist ein Hybrid-Clouddienst. Hybriddienste verfügen über eine Clouddienstkomponente und eine Infrastrukturkomponente, die der Administrator des Diensts in seiner Unternehmensumgebung ausführt. Bei Storage Mover ist diese Hybridkomponente ein Migrations-Agent. Agents sind virtuelle Computer, die auf einem Host in der Nähe des Quellspeichers ausgeführt werden.
Bei einem Leistungstest ist nur der Agent ein relevanter Teil des Diensts. Um Datenschutz- und Leistungsbedenken auszuräumen, nehmen die Daten in Azure den direkten Weg vom Storage Mover-Agent in den Zielspeicher. Nur Steuerungs- und Telemetrienachrichten werden an den Clouddienst gesendet.
Leistungsbaselines
Diese Testergebnisse kommen unter idealen Bedingungen zustande. Sie sind als Basisplan der Komponenten gedacht, die der Storage Mover-Dienst und er Agent direkt beeinflussen können. Unterschiede in den Quellgeräten, Datenträgern und Netzwerkverbindungen werden in diesem Test nicht berücksichtigt. Die Leistung in der realen Welt variiert.
Die Migration von der SMB-Bereitstellung zu Azure-Dateifreigabetests wurde wie folgt ausgeführt:
In der folgenden Tabelle werden die Merkmale der Testumgebungen beschrieben, die die Leistungstestergebnisse aus einer SMB-Bereitstellung in einer Azure-Dateifreigabe erzeugt haben.
| Test Nein. | Nein. von Dateien | Gesamtgewichtung der Dateien | Dateigröße | Ordnerstruktur |
|---|---|---|---|---|
| 1 | 12 Millionen | 12 GB | Jeweils 1 KB | 12 Ordner mit jeweils 100 Unterordnern mit 10.000 Dateien |
| 2 | 30 | 20 GB | 1 Ordner | |
| 3 | 1 Mio. | 100 GB | 100 KB pro | 1.000 Ordner mit jeweils 1.000 Dateien |
| 4 | 1 | 4 TB | ||
| 5 | 117 Millionen | 117 GB | Jeweils 1 KB | 117 Ordner mit jeweils 100 Unterordnern mit 10.000 Dateien |
| 6 | 1 | 1 TB | ||
| 7 | 3,3 Millionen | 45 GB | Jeweils 13 KB | 200.000 Ordner, jede enthält 16\17 Dateien |
| 8 | 50 Mio. | 1 TB | Jeweils 20 KB | 2.940.000 Ordner, jede enthält 17 Dateien |
| 9 | 100 Mio. | 2 TB | Jeweils 20 KB | 5.880.000 Ordner, jede enthält 17 Dateien |
Verschiedene Agentressourcenkonfigurationen werden auf SMB-Endpunkten getestet:
Minspec: 4 CPU / 8 GB RAM 4 virtuelle CPU-Kerne bei jeweils 2,7 GHz und 8 GiB Arbeitsspeicher (RAM) ist die Mindestspezifikation für einen Azure Storage Mover-Agent.
Test Nein. Ausführungszeit Scanzeit 6 16 Min., 42 Sek. 1.2 Sek. 7 55 Min., 4 Sek. 1 Min., 17 Sek. 8 9 Bootspec: 8 CPU / 16 GiB RAM 8 virtuelle CPU-Kerne bei jeweils 2,7 GHz und 16 GiB Arbeitsspeicher (RAM) ist die Mindestspezifikation für einen Azure Storage Mover-Agent.
Ergebnisse: Standardspeicherkonto
Test Nein. Ausführungszeit Scanzeit 1 15 Stunden, 59 Min. 2 Stunden, 36 Min., 34 Sek. 2 1 Min., 54 Sek. 3.34 Sek. 3 1 Std., 19 Min., 27 Sek. 57,62 Sek. 4 1 Std., 5 Min., 57 Sek. 2.89 Sek. Ergebnisse: Standardspeicherkonto mit aktivierten großen Dateien
Test Nein. Ausführungszeit Scanzeit 1 3 Stunden, 51 Min., 31 Sek. 41 Min. und 45 Sek. 5 25 Stunden, 47 Min. 23 Stunden, 35 Min. 6 11 Min., 11 Sek. 0,7 Sek. 7 55 Min., 10 Sek. 1 Min., 3 Sek. 8 9 Ergebnisse: Premium-Speicherkonto
Test Nein. Ausführungszeit Scanzeit 1 2 Stunden, 35 Min., 14 Sek. 24 Min., 46 Sek. 5 23 Stunden, 34 Min. 21 Stunden, 34 Min.
Sehen Sie sich die empfohlenen Agentressourcen für Ihren Migrationsbereich im Agentbereitstellungsartikel an.
Gründe für die unterschiedliche Migrationsleistung
Grundsätzlich wirken sich die Netzwerkqualität und die Fähigkeit zum Verarbeiten von Dateien, Ordnern und deren Metadaten auf Ihre Migrationsgeschwindigkeit aus.
In den beiden Kernbereichen Netzwerk und Compute wirken sich mehrere Aspekte aus:
- Migrationsszenario
Das Kopieren in ein leeres Ziel ist im Vergleich zu einem Ziel mit Inhalt schneller. Dieses Verhalten liegt daran, dass das Migrationsmodul nicht nur die Quelle auswertet, sondern auch das Ziel, Kopierentscheidungen zu treffen. - Anzahl der Namespaceelemente
Das Migrieren von 1 GiB kleiner Dateien dauert mehr Zeit als das Migrieren von 1 GiB größerer Dateien. - Namespaceform
Eine breite Ordnerhierarchie bietet mehr parallele Verarbeitung als eine schmale oder tiefe Verzeichnisstruktur. Das Datei-zu-Ordner-Verhältnis spielt ebenfalls eine Rolle. - Namespace-Churn
Wie viele Dateien, Ordner und Metadaten haben sich zwischen zwei Kopierläufen von derselben Quelle zum selben Ziel geändert. - Network
- Bandbreite und Latenz zwischen Quell- und Migrations-Agent
- Bandbreite und Latenz zwischen Migrations-Agent und Ziel in Azure
- Migrations-Agent-Ressourcen
Die Menge des Arbeitsspeichers (RAM), die Anzahl der Computekerne und sogar die Menge der verfügbaren lokalen Datenträgerkapazität für den Migrations-Agent können eine tiefgreifende Auswirkung auf die Migrationsgeschwindigkeit haben. Durch weitere Computeressourcen lässt sich die Nutzung der verfügbaren Bandbreite optimieren, insbesondere wenn bei einer Migration große Mengen an kleineren Dateien verarbeitet werden müssen.
Beispielsweise erfordert eine herkömmliche Migration eine Strategie, um Ausfallzeiten der Arbeitsauslastung zu minimieren, die von dem Speicher abhängt, der migriert werden soll. Azure Storage Mover unterstützt solch eine Strategie. Sie wird als konvergente Migration mit mehreren Übertragungsvorgängen bezeichnet.
Bei dieser Strategie kopieren Sie mehrmals von der Quelle ans Ziel. Während dieser Kopieriterationen bleibt die Quelle für Lese- und Schreibzugriff auf die Workload verfügbar. Direkt vor der letzten Kopieriteration schalten Sie die Quelle offline. Es wird davon ausgegangen, dass die endgültige Kopie schneller abgeschlossen ist, als z. B. die erste Kopie, die Sie jemals gemacht haben, und dass sie ungefähr so lange dauert, wie die unmittelbar vorangegangene Kopie. Nach dem letzten Kopiervorgang wird für den Workload ein Failover ausgeführt, um den erneut zur Verfügung stehenden neuen Zielspeicher in Azure zu verwenden.
Während des ersten Kopiervorgangs von der Quelle zum Ziel ist das Ziel wahrscheinlich leer, und der gesamte Quellinhalt muss zum Ziel gelangen. Infolgedessen ist es wahrscheinlich, dass die erste Kopie durch die verfügbaren Netzwerkressourcen eingeschränkt ist.
Gegen Ende einer Migration, wenn Sie die Quelle bereits mehrmals in das Ziel kopiert haben, haben sich seit dem letzten Kopiervorgang nur wenige Dateien, Ordner und Metadaten geändert. In dieser letzten Kopieriteration erfordert der Vergleich jeder Datei an der Quelle und im Ziel, um zu sehen, ob sie aktualisiert werden muss, mehr Computeressourcen und weniger Netzwerkressourcen. Kopiervorgänge wird in dieser späten Phase einer Migration häufig eingeschränkter. Die ordnungsgemäße Resourcing des Storage Mover-Agents wird immer wichtiger.
Nächste Schritte
Die folgenden Artikel können Ihnen bei einer erfolgreichen Azure Storage Mover-Bereitstellung helfen.