Migrieren von HPC-Daten zu Azure

Ein wichtiger Aspekt Ihrer High-Performance-Computing-Migration ist die Sicherstellung einer nahtlosen Datenmigration. Das Verschieben von Daten näher an die Computeknoten der Cloudumgebung ist unerlässlich, um den Anforderungen von Durchsatz und IOPS gerecht zu werden. Nahtlose Datenmigration erfordert einen strategischen Ansatz sowie zuverlässige Dienstprogramme, um sie sicher und zuverlässig durchzuführen.

Ihre Datenmigrationsstrategie sollte folgende Voraussetzungen erfüllen:

Beibehalten aller vorhandenen Datei- und Verzeichnisstrukturen von Quelle zu Ziel
Beibehalten aller Metadaten im Zusammenhang mit den Dateien, einschließlich Benutzer- und Gruppenbesitz, Berechtigungen, Änderungszeit und Zugriffszeit
Bericht zu den Ergebnissen des Datenmigrations- oder Kopiertools.
Implementieren eines Neustartprozesses für die Datenmigration

In diesem Teil des Leitfadens werden die Anforderungen, Tools, Dienste und Best Practices im Zusammenhang mit der Datenmigration behandelt.

Definieren der Anforderungen an die Datenmigration

Datenintegrität:
- Stellen Sie sicher, dass alle Dateien und Verzeichnisse während des Migrationsprozesses ihre ursprünglichen Strukturen und Metadaten beibehalten.
Sicherheit:
- Verwalten Sie die Datensicherheit während des gesamten Migrationsprozesses, indem Sie verschlüsselte Übertragungsmethoden und sichere Zugriffssteuerungen verwenden.
Leistung:
- Optimieren Sie den Datenmigrationsprozess, um große Datenmengen effizient zu verarbeiten und Downtime und Unterbrechungen zu minimieren.

Tools und Dienste

Azure Data Box:
- Verwenden Sie Azure Data Box für umfangreiche Offlinedatenübertragungen.
- Stellen Sie die Data Box-Appliance bereit, um große Datenmengen schnell und sicher an Azure zu übertragen.
- Verwenden Sie das Azure-Portal zum Einrichten und Verwalten von Datenübertragungen.
AzCopy:
- Verwenden Sie AzCopy für die Datenübertragung über die Befehlszeile.
- Führen Sie eine leistungsstarke, zuverlässige Datenübertragung zwischen lokalem Speicher und Azure Blob Storage, Azure Files und Azure Table Storage durch.
- Unterstützen Sie synchrone und asynchrone Übertragungsmodi.

Rsync:

Verwenden Sie rsync für eine effiziente und sichere Datenübertragung zwischen lokalem Speicher und Azure Storage.
Behalten Sie die Datei- und Verzeichnisstruktur und Dateimetadaten während der Übertragung bei.
Verwenden Sie rsync-Optionen, um die Datenintegrität und Übertragungseffizienz sicherzustellen.

Bewährte Methoden für die Datenmigration

Planen und Testen:
- Planen Sie Ihre Datenmigrationsstrategie sorgfältig, einschließlich der Auswahl von Tools (AzCopy, rsync) und Zielspeicher (Blob Storage, Azure NetApp Files, Azure Managed Lustre).
- Führen Sie Testmigrationen mit einer Teilmenge von Daten durch, um den Prozess zu überprüfen und sicherzustellen, dass die Tools und Konfigurationen wie erwartet funktionieren.
Aufrechterhalten der Datenintegrität:
- Verwenden Sie Optionen in AzCopy und rsync, die Dateimetadaten (Berechtigungen, Zeitstempel, Besitz) beibehalten.
- Überprüfen Sie die Integrität der migrierten Daten, indem Sie Prüfsummen vergleichen oder integrierte Überprüfungstools verwenden.
Optimieren der Leistung:
- Komprimieren Sie Daten während der Übertragung (mithilfe der rsync-Option -z), um die Bandbreitennutzung zu verringern.
- Verwenden Sie parallele Übertragungen in AzCopy, um den Durchsatz zu erhöhen und die Migrationszeit zu reduzieren.
Sichere Datenübertragungen:
- Verschlüsseln Sie Daten während der Übertragung, um sie vor unbefugtem Zugriff zu schützen. Verwenden Sie Optionen für die sichere Übertragung in AzCopy und rsync.
- Stellen Sie sicher, dass Zugriffssteuerungen und -berechtigungen sowohl in der Quell- als auch in der Zielumgebung ordnungsgemäß eingerichtet sind.
Überwachen und Melden:
- Überwachen Sie den Datenmigrationsprozess kontinuierlich, um Probleme frühzeitig zu erkennen.
- Generieren und überprüfen Sie detaillierte Berichte von AzCopy und rsync, um sicherzustellen, dass alle Daten erfolgreich migriert wurden, und um Fehler oder Abweichungen zu identifizieren.

Beispielschritte für die Datenmigration

In diesem Abschnitt werden die Schritte für die Verwendung von Azure Data Box, AzCopy und rsync zum Übertragen von Daten aus dem lokalen Speicher in Azure beschrieben. Er enthält detaillierte Anweisungen zum Bereitstellen und Konfigurieren von Azure Data Box, zum Installieren und Verwenden von AzCopy für die Datenübertragung sowie zum Einrichten und Verwenden von rsync, um eine sichere und effiziente Datenmigration sicherzustellen.

Verwenden von Azure Data Box:
- Bereitstellen von Azure Data Box:
  - Navigieren Sie zum Azure-Portal, und bestellen Sie Azure Data Box.
  - Befolgen Sie die Anweisungen zum Einrichten der Data Box-Appliance an Ihrem lokalen Standort.
  - Kopieren Sie die Daten auf die Data Box, und senden Sie sie zurück an Azure.
- Konfigurieren der Datenübertragung:
  - Sobald die Data Box im Azure-Rechenzentrum eintrifft, werden die Daten in Ihr angegebenes Speicherkonto hochgeladen.
  - Überprüfen Sie den Status und die Integrität der Datenübertragung über das Azure-Portal.
Verwenden von AzCopy:
- Installieren von AzCopy:
  - Laden Sie AzCopy auf Ihrem On-Premises-Server herunter und installieren Sie es.
  - Konfigurieren Sie AzCopy mit den erforderlichen Berechtigungen für den Zugriff auf Ihr Azure-Speicherkonto.
- Ausführen der Datenübertragung:
  - Verwenden Sie AzCopy-Befehle, um Daten aus dem lokalen Speicher in Azure Blob Storage zu übertragen.
  - Beispielbefehl für die Datenübertragung:
```
azcopy copy 'https://<storage_account>.blob.core.windows.net/<container>/<path>' '<local_path>' --recursive
```
Hinweis

Ausführliche Informationen zu AzCopy finden Sie unter Erste Schritte mit AzCopy.
Verwenden von rsync:
- Installieren von rsync:
  - Stellen Sie sicher, dass rsync auf Ihrem lokalen Server installiert ist. Die meisten Linux-Distributionen enthalten standardmäßig rsync.
  - Installieren Sie rsync auf Ihrem Server, sofern noch nicht geschehen:
```
sudo apt-get install rsync  # For Debian-based systems
sudo yum install rsync      # For Red Hat-based systems
```
- Ausführen der Datenübertragung:
  - Verwenden Sie rsync, um Daten aus dem lokalen Speicher in Azure-Speicher zu übertragen.
  - Beispielbefehl für die Datenübertragung:
```
rsync -avz /path/to/local/data/ user@remote:/path/to/azure/data/
```
  - Erläuterung der Optionen:
    - -a: Archivmodus: Speichert Berechtigungen, Zeitstempel, symbolische Verknüpfungen und andere Metadaten.
    - -v: Ausführlicher Modus: Bietet eine detaillierte Ausgabe des Übertragungsprozesses.
    - -z: Komprimiert Daten während der Übertragung, um die Bandbreitennutzung zu reduzieren.
  Hinweis
  
  Beispiele zur Verwendung von Rsync finden Sie in rsync-Beispielen.

Implementierungsbeispiel für die Datenmigration

Datenmigrationsskript mit AzCopy:

#!/bin/bash

# Define storage account and container
storage_account="<storage_account_name>"
container_name="<container_name>"
local_path="<local_path>"

# Perform data transfer using AzCopy
azcopy copy "https://$storage_account.blob.core.windows.net/$container_name" "$local_path" --recursive

# Verify transfer and generate report
azcopy jobs show --latest > migration_report.txt

Datenmigrationsskript mit rsync:

#!/bin/bash

# Define variables
local_path="/path/to/local/data"
remote_user="user"
remote_host="remote"
remote_path="/path/to/azure/data/"

# Perform data transfer using rsync
rsync -avz $local_path $remote_user@$remote_host:$remote_path

# Verify transfer and generate report
rsync -avz --dry-run $local_path $remote_user@$remote_host:$remote_path > migration_report.txt

Ressourcen

Feedback

War diese Seite hilfreich?

Last updated on 2026-02-25