Transfer dużych zestawów danych w przypadku umiarkowanej lub wysokiej przepustowości sieci
Ten artykuł zawiera omówienie rozwiązań do transferu danych, gdy masz umiarkowaną lub wysoką przepustowość sieci w środowisku i planujesz transfer dużych zestawów danych. W tym scenariuszu opisano również zalecane opcje transferu danych oraz odpowiednią macierz możliwości klucza.
Aby zapoznać się z omówieniem wszystkich dostępnych opcji transferu danych, przejdź do artykułu Wybieranie rozwiązania do transferu danych platformy Azure.
Opis scenariusza
Duże zestawy danych odnoszą się do rozmiarów danych w kolejności odB do baz danych. Średnia do dużej przepustowości sieci odnosi się do 100 Mb/s do 10 Gb/s.
Zalecane opcje
Opcje zalecane w tym scenariuszu zależą od tego, czy przepustowość sieci jest średnia, czy wysoka.
Średnia przepustowość sieci (100 Mb/s–1 Gb/s)
W przypadku umiarkowanej przepustowości sieci należy zaprojektować czas transferu danych za pośrednictwem sieci.
Poniższa tabela służy do szacowania czasu i na podstawie tego wyboru między transferem w trybie offline lub transferem sieciowym. W tabeli przedstawiono przewidywany czas transferu danych sieciowych dla różnych dostępnych przepustowości sieci (przy założeniu 90% wykorzystania).
Jeśli przewidywany jest zbyt wolny transfer sieciowy, należy użyć urządzenia fizycznego. Zalecane opcje w tym przypadku to urządzenia do transferu w trybie offline z rodziny azure Data Box lub usługi Azure Import/Export przy użyciu własnych dysków.
- Rodzina urządzeń Azure Data Box na potrzeby transferów w trybie offline — używaj urządzeń dostarczanych przez firmę Microsoft z urządzeń Data Box, aby przenosić duże ilości danych na platformę Azure w przypadku ograniczenia czasu, dostępności sieci lub kosztów. Kopiuj dane lokalne za pomocą narzędzi takich jak Robocopy. W zależności od rozmiaru danych, które mają zostać przesłane, wybierz urządzenie Data Box Disk, Data Box lub Data Box Heavy.
- Azure Import/Export — użyj usługi Azure Import/Export, wysyłając własne dyski, aby bezpiecznie importować duże ilości danych do usługi Azure Blob Storage i Azure Files. Ta usługa może również służyć do transferu danych z usługi Azure Blob Storage na stacje dysków wysyłane do lokacji lokalnych.
Jeśli przewidywany jest transfer sieciowy, można użyć dowolnego z poniższych narzędzi opisanych w artykule Wysoka przepustowość sieci.
Wysoka przepustowość sieci (1 Gb/s–100 Gb/s)
Jeśli dostępna przepustowość sieci jest wysoka, użyj jednego z następujących narzędzi.
- AzCopy — to narzędzie wiersza polecenia umożliwia łatwe kopiowanie danych do i z usług Azure Blobs, Files i Table Storage z optymalną wydajnością. Narzędzie AzCopy obsługuje współbieżność i równoległość oraz umożliwia wznawianie operacji kopiowania, gdy zostaną przerwane.
- Interfejsy API REST usługi Azure Storage/zestawy SDK — podczas tworzenia aplikacji można opracowywać aplikację względem interfejsów API REST usługi Azure Storage i korzystać z zestawów SDK platformy Azure oferowanych w wielu językach.
- Rodzina usług Azure Data Box do transferów online — Usługi Azure Stack Edge i Data Box Gateway to urządzenia sieciowe online, które mogą przenosić dane na platformę Azure i z platformy Azure. Użyj urządzenia fizycznego Azure Stack Edge, gdy istnieje jednoczesne zapotrzebowanie na ciągłe pozyskiwanie i wstępne przetwarzanie danych przed przekazaniem. Data Box Gateway jest wirtualną wersją urządzenia z takimi samymi możliwościami transferu danych. W każdym przypadku za zarządzanie transferem danych odpowiada urządzenie.
- Azure Data Factory — usługa Data Factory powinna służyć do skalowania operacji transferu w poziomie, a jeśli istnieje potrzeba orkiestracji i funkcji monitorowania klasy korporacyjnej. Użyj usługi Data Factory do regularnego przesyłania plików pomiędzy kilkoma usługami platformy Azure, w środowisku lokalnym lub gdy konieczne jest połączenie tych dwóch wymagań. Za pomocą usługi Data Factory można tworzyć oparte na danych przepływy pracy (nazywane potokami) i ustalać ich harmonogram. Te przepływy pracy pozyskują dane z wielu różnych magazynów danych i automatyzują przenoszenie i przekształcanie danych.
Porównanie kluczowych możliwości
W poniższych tabelach podsumowano różnice w kluczowych możliwościach zalecanych opcji.
Umiarkowana przepustowość sieci
W przypadku korzystania z transferu danych w trybie offline skorzystaj z poniższej tabeli, aby zrozumieć różnice w kluczowych możliwościach.
| Data Box Disk | Data Box | Data Box Heavy | Import/Export | |
|---|---|---|---|---|
| Rozmiar danych | Maksymalnie 35 MB | Maksymalnie 80 MB na urządzenie | Maksymalnie 800 TB na urządzenie | Zmienna |
| Typ danych | Obiekty blob platformy Azure Azure Files* |
Obiekty blob platformy Azure Azure Files |
Obiekty blob platformy Azure Azure Files |
Obiekty blob platformy Azure Azure Files |
| Faktor | 5 dysków SSD na zamówienie | 1 X 50-lbs. urządzenie o rozmiarze pulpitu na zamówienie | 1 X ~500-lbs. duże urządzenie na zamówienie | Maksymalnie 10 dysków HDD/SSD na zamówienie |
| Czas początkowej konfiguracji | Niski (15 minut) |
Niski do umiarkowany (<30 minut) |
Umiarkowane (1–2 godziny) |
Umiarkowane do trudnego (zmienna) |
| Wysyłanie danych na platformę Azure | Tak | Tak | Tak | Tak |
| Eksportowanie danych z platformy Azure | Nie | Nie | Nie | Tak |
| Szyfrowanie | AES 128-bitowy | AES 256-bitowy | AES 256-bitowy | AES 128-bitowy |
| Sprzęt | Dostarczone przez firmę Microsoft | Dostarczone przez firmę Microsoft | Dostarczone przez firmę Microsoft | Dostarczona przez klienta |
| Interfejs sieciowy | USB 3.1/SATA | RJ 45, SFP+ | RJ45, QSFP+ | SATA II/SATA III |
| Integracja z partnerami | Niektórzy | Wysoki | Wysoki | Niektórzy |
| Wysyłka | Zarządzane przez firmę Microsoft | Zarządzane przez firmę Microsoft | Zarządzane przez firmę Microsoft | Zarządzane przez klienta |
| Używanie podczas przesuwania danych | W granicach handlowych | W granicach handlowych | W granicach handlowych | Między granicami geograficznymi, np. STANY ZJEDNOCZONE do UE |
| Cennik | Cennik | Cennik | Cennik | Cennik |
* Data Box Disk nie obsługuje dużych udziałów plików i nie zachowuje metadanych pliku
W przypadku korzystania z transferu danych online użyj tabeli w poniższej sekcji, aby uzyskać wysoką przepustowość sieci.
Wysoka przepustowość sieci
| Narzędzia AzCopy, Azure PowerShell, Interfejs wiersza polecenia platformy Azure |
Interfejsy API REST usługi Azure Storage, zestawy SDK | Data Box Gateway lub Azure Stack Edge | Azure Data Factory | |
|---|---|---|---|---|
| Typ danych | Azure Blobs, Azure Files, Azure Tables | Azure Blobs, Azure Files, Azure Tables | Azure Blobs, Azure Files | Obsługuje ponad 70 łączników danych dla magazynów danych i formatów |
| Faktor | Narzędzia wiersza polecenia | Interfejs programowy | Firma Microsoft dostarcza wirtualną lub urządzenie fizyczne |
Usługa w Azure Portal |
| Początkowa jednorazowa konfiguracja | Łatwe | Umiarkowane | Łatwe (<30 minut) do umiarkowanego (1–2 godziny) | Szerokie |
| Przetwarzanie wstępne danych | Nie | Nie | Tak (za pomocą obliczeń usługi Edge) | Tak |
| Transfer z innych chmur | Nie | Nie | Nie | Tak |
| Typ użytkownika | It Pro lub dev | Deweloperskie | Informatyk | Informatyk |
| Cennik | Bezpłatne opłaty za ruch wychodzący danych | Bezpłatne opłaty za ruch wychodzący danych | Cennik usługi Azure Stack Edge Cennik usługi Data Box Gateway |
Cennik |
Następne kroki
Dowiedz się, jak transferować dane za pomocą funkcji Import/Export.
Dowiedz się, jak:
Dowiedz się, jak przesyłać dane za pomocą Azure Data Factory.
Transfer danych za pomocą interfejsów API REST: