Sdílet prostřednictvím


Škálování a výkonnostní cíle služby Azure Storage Mover

Výkon služby migrace úložiště je klíčovým aspektem jakékoli migrace. V tomto článku sdílíme výsledky testů výkonnosti, protože Azure Storage Mover je nová služba, vaše prostředí se může lišit.

Cíle škálování

Azure Storage Mover se testuje s 100 miliony položek oboru názvů (souborů a složek) migrovaných z podporovaného zdroje do podporovaného cíle v Azure.

Jak testujeme

Azure Storage Mover je hybridní cloudová služba. Hybridní služby mají komponentu cloudové služby a komponentu infrastruktury, která správce služby běží v podnikovém prostředí. Pro službu Storage Mover je tato hybridní komponenta agentem migrace. Agenti jsou virtuální počítače, které běží na hostiteli poblíž zdrojového úložiště.

A diagram illustrating a migration's path by showing two arrows. The first arrow represents data traveling to a storage account from the source or agent and a second arrow represents only the management or control info to the storage mover resource or service.

Pouze agent je relevantní součástí služby pro testování výkonu. Pokud chcete vynechat obavy z ochrany osobních údajů a výkonu, data putují přímo z agenta Storage Mover do cílového úložiště v Azure. Do cloudové služby se odesílají jenom zprávy o řízení a telemetrii.

Standardní hodnoty výkonu

Tyto výsledky testů se vytvářejí za ideálních podmínek. Jsou určené jako základní hodnoty komponent, které může služba Storage Mover a agent přímo ovlivnit. Rozdíly ve zdrojových zařízeních, discích a síťových připojeních se v tomto testu nepovažují. Skutečný výkon se liší.

Migrace z připojení SMB do testů sdílených složek Azure se spustila takto:

Následující tabulka popisuje charakteristiky testovacích prostředí, která vytvořila výsledky testu výkonnosti z připojení SMB ke sdílené složce Azure.

Test Ne. Č. souborů Celková hmotnost souborů Velikost souboru Struktura složek
1 12 milionů 12 GB 1 kB každý 12 složek, z nichž každý obsahuje 100 podsložek obsahujících 10 000 souborů
2 30 20 GB 1 složka
3 1 milion 100 GB 100 kB každý 1 000 složek, z nichž každý má 1 000 souborů
4 0 4 TB
5 117 milionů 117 GB 1 kB každý 117 složek, z nichž každý obsahuje 100 podsložek obsahujících 10 000 souborů
6 0 1 TB
7 3,3 milionu 45 GB 13 kB každý 200 000 složek, z nichž každý obsahuje 16\17 souborů
8 50 milionů 1 TB Každý z nich je 20 kB 2 940 000 složek, z nichž každý obsahuje 17 souborů
9 100 milionů 2 TB Každý z nich je 20 kB 5 880 000 složek, z nichž každý obsahuje 17 souborů

Na koncových bodech SMB se testují různé konfigurace prostředků agenta:

  1. Minspec: 4 PROCESOR / 8 GB RAM 4 virtuální procesor jádra na 2,7 GHz každý a 8 GiB paměti (RAM) je minimální specifikace pro agenta Azure Storage Mover.

    Test Ne. Doba spouštění Čas skenování
    6 16 minut, 42 sekund 1,2 s
    7 55 minut, 4 sekundy 1 minuta, 17 sekund
    8
    9
  2. Bootspec: 8 CPU / 16 GiB RAM 8 virtuální procesor jádra na 2,7 GHz každý a 16 GiB paměti (RAM) je minimální specifikace pro agenta Azure Storage Mover.

    Výsledky: Účet úložiště úrovně Standard

    Test Ne. Doba spouštění Čas skenování
    1 15 hodin, 59 min. 2 hod, 36 min, 34 sekund
    2 1 minuta, 54 sekund 3,34 sekundy
    3 1 hodina, 19 min, 27 sekund 57,62 s
    4 1 hodina, 5 min, 57 sekund 2,89 sekundy

    Výsledky: Účet úložiště úrovně Standard s povolenými velkými soubory

    Test Ne. Doba spouštění Čas skenování
    1 3 hod, 51 min, 31 sekund 41 minut a 45 sekund
    5 25 hodin, 47 min. 23 hodin, 35 min.
    6 11 minut, 11 sekund 0,7 s
    7 55 minut, 10 sekund 1 minuta, 3 sekundy
    8
    9

    Výsledky: Účet služby Premium Storage

    Test Ne. Doba spouštění Čas skenování
    1 2 hod, 35 min, 14 sekund 24 minut, 46 sekund
    5 23 hodin, 34 min. 21 hodin, 34 min.

Projděte si doporučené prostředky agenta pro váš rozsah migrace v článku o nasazení agenta.

Proč se výkon migrace liší

Kvalita sítě a schopnost zpracovávat soubory, složky a jejich metadata mají zásadní vliv na rychlost migrace.

Mezi dvěma základními oblastmi sítě a výpočetních prostředků má několik aspektů dopad:

  • Scénář migrace
    Kopírování do prázdného cíle je rychlejší než cíl s obsahem. Toto chování je způsobeno tím, že modul migrace vyhodnocuje nejen zdroj, ale také cíl rozhodovat o kopírování.
  • Počet položek oboru názvů
    Migrace 1 GiB malých souborů trvá déle než migrace 1 GiB větších souborů.
  • Obrazec oboru názvů
    Široká hierarchie složek se hodí k více paralelnímu zpracování než úzká nebo hloubková adresářová struktura. Přehrává se také poměr souborů ke složce.
  • Četnost změn oboru názvů
    Kolik souborů, složek a metadat se mezi dvěma kopiemi změnilo, se spustí ze stejného zdroje do stejného cíle.
  • Síť
    • šířka pásma a latence mezi zdrojovým a migračním agentem
    • šířka pásma a latence mezi agentem migrace a cílem v Azure
  • Prostředky agenta migrace
    Množství paměti (RAM), počet výpočetních jader a dokonce i množství dostupné kapacity místního disku v agentu migrace může mít hluboký dopad na rychlost migrace. Větší množství výpočetních prostředků pomáhá optimalizovat využití dostupné šířky pásma, zejména v případě, že při migraci je potřeba zpracovat velké objemy menších souborů.

Například tradiční migrace vyžaduje strategii pro minimalizaci výpadků úlohy, která závisí na úložišti, které se má migrovat. Azure Storage Mover takovou strategii podporuje. Říká se tomu sblížená migrace n-pass.

V této strategii několikrát zkopírujete zdroj do cíle. Během těchto iterací kopírování zůstane zdroj dostupný pro čtení a zápis do úlohy. Těsně před dokončením iterace kopírování přejdete zdroj do offline režimu. Očekává se, že poslední kopie se dokončí rychleji, než když řeknete první kopii, kterou jste kdy vytvořili, a trvá přibližně tak dlouho, dokud ta, která před ní bezprostředně předchází. Po dokončení kopírování se úloha převezme při selhání, aby používala nové cílové úložiště v Azure a je k dispozici pro opětovné použití.

Během první kopie ze zdroje do cíle je cíl pravděpodobně prázdný a veškerý zdrojový obsah musí cestovat do cíle. V důsledku toho je první kopie pravděpodobně omezena dostupnými síťovými prostředky.

Na konci migrace se po několikanásobné zkopírování zdroje do cíle změnilo od poslední kopie jenom několik souborů, složek a metadat. V této poslední iteraci kopírování je potřeba porovnat každý soubor ve zdroji a cíli, abyste zjistili, jestli je potřeba aktualizovat, vyžaduje více výpočetních prostředků a méně síťových prostředků. Kopírování v této pozdní fázi migrace je často omezenějšími výpočetními prostředky. Stále důležitější je správné obnovení agenta Storage Mover.

Další kroky

Následující články vám můžou pomoct s úspěšným nasazením služby Azure Storage Mover.