Sdílet prostřednictvím


Škálování a výkonnostní cíle služby Azure Storage Mover

Výkon služby migrace úložiště je klíčovým aspektem jakékoli migrace. V tomto článku sdílíme výsledky testů výkonnosti, protože Azure Storage Mover je nová služba, může se vaše prostředí lišit.

Cíle škálování

Azure Storage Mover se testuje s 500 miliony položek oboru názvů (souborů a složek) migrovaných z podporovaného zdroje do podporovaného cíle v Azure.

Jak testujeme

Azure Storage Mover je hybridní cloudová služba. Hybridní služby mají komponentu cloudové služby a komponentu infrastruktury, kterou správce služby provozuje ve svém podnikovém prostředí. Pro službu Storage Mover je tato hybridní komponenta agentem migrace. Agenti jsou virtuální počítače, které běží na hostiteli poblíž zdrojového úložiště.

Diagram znázorňující cestu migrace pomocí dvou šipek. První šipka představuje data putující z datového zdroje nebo agenta do účtu úložiště, zatímco druhá šipka představuje pouze informace o správě nebo řízení k prostředku nebo službě úložiště.

Pouze agent je relevantní součástí služby pro testování výkonu. Pokud chcete vynechat obavy z ochrany osobních údajů a výkonu, data putují přímo z agenta Storage Mover do cílového úložiště v Azure. Do cloudové služby se odesílají jenom zprávy o řízení a telemetrii.

Standardní hodnoty výkonu

Tyto výsledky testů se vytvářejí za ideálních podmínek. Jsou určené jako základní hodnoty komponent, které může služba Storage Mover a agent přímo ovlivnit. Rozdíly ve zdrojových zařízeních, discích a síťových připojeních se v tomto testu nepovažují. Skutečný výkon se liší.

Migrace ze sdílení SMB na sdílenou složku Azure byla testována následovně:

Následující tabulka popisuje charakteristiky testovacích prostředí, která vytvořila výsledky testu výkonnosti z připojení SMB ke sdílené složce Azure.

Test č. Ne. souborů Celková hmotnost souborů Velikost souboru Struktura složek
1 12 milionů 12 GB 1 kB každý 12 složek s 100 podsložkami obsahujícími 10 000 souborů
2 30 20 GB 1 složka
3 1 milion 100 GB 100 kB každý 1 000 složek, z nichž každý má 1 000 souborů
4 1 4 TB (terabajtů)
5 117 milionů 117 GB 1 kB každý 117 složek, z nichž každý má 100 podsložek obsahujících 10 000 souborů
6 1 1 TB
7 3,3 milionu 45 GB 13 kB každý 200 000 složek, z nichž každý obsahuje 16\17 souborů
8 50 milionů 1 TB Každý z nich je 20 kB 2 940 000 složek, z nichž každý obsahuje 17 souborů
9 100 milionů 2 TB Každý z nich je 20 kB 5 880 000 složek, z nichž každý obsahuje 17 souborů

Na koncových bodech SMB se testují různé konfigurace prostředků agenta:

  1. Minspec: 4 CPU / 8 GB RAM Minimální specifikace pro agenta Azure Storage Mover jsou 4 jádra virtuálního procesoru, každé na frekvenci 2,7 GHz, a 8 GB paměti (RAM).

    Test č. Doba spouštění Čas skenování
    6 16 minut, 42 sekund 1,2 s
    7 55 minut, 4 sekundy 1 minuta, 17 sekund
    8
    9
  2. Bootspec: 8 CPU / 16 GiB RAM 8 virtuálních procesorových jader na 2,7 GHz každé a 16 GiB paměti (RAM) je minimální specifikace pro agenta Azure Storage Mover.

    Výsledky: Standardní úložný účet

    Test č. Doba spouštění Čas skenování
    1 15 hodin, 59 min. 2 hod, 36 min, 34 sekund
    2 1 minuta, 54 sekund 3,34 sekundy
    3 1 hodina, 19 min, 27 sekund 57,62 s
    4 1 hodina, 5 min, 57 sekund 2,89 sekundy

    Výsledky: Účet úložiště úrovně Standard s povolenými velkými soubory

    Test č. Doba spouštění Čas skenování
    1 3 hod, 51 min, 31 sekund 41 minut a 45 sekund
    5 25 hodin, 47 min. 23 hodin, 35 min.
    6 11 minut, 11 sekund 0,7 s
    7 55 minut, 10 sekund 1 minuta, 3 sekundy
    8
    9

    Výsledky: Účet služby Premium Storage

    Test č. Doba spouštění Čas skenování
    1 2 hod, 35 min, 14 sekund 24 minut, 46 sekund
    5 23 hodin, 34 min. 21 hodin, 34 min.

Podívejte se na doporučené zdroje agenta pro váš rozsah migrace v článku o nasazení agenta.

Proč se výkon migrace liší

Kvalita sítě a schopnost zpracovávat soubory, složky a jejich metadata mají zásadní vliv na rychlost migrace.

Mezi dvěma základními oblastmi sítě a výpočetních prostředků má několik aspektů dopad:

  • Scénář migrace
    Kopírování do prázdného cíle je rychlejší než cíl s obsahem. Toto chování je způsobeno tím, že modul migrace vyhodnocuje nejen zdroj, ale také cíl rozhodovat o kopírování.
  • Počet položek oboru názvů
    Migrace 1 GiB malých souborů trvá déle než migrace 1 GiB větších souborů.
  • Obrazec oboru názvů
    Široká hierarchie složek se hodí k více paralelnímu zpracování než úzká nebo hloubková adresářová struktura. Poměr mezi soubory a složkami také hraje roli.
  • Frekvence změn v oboru názvů
    Kolik souborů, složek a metadat se mezi dvěma kopiemi mění ze stejného zdroje na stejný cíl.
  • Síť
    • šířka pásma a latence mezi zdrojovým a migračním agentem
    • šířka pásma a latence mezi agentem migrace a cílem v Azure
  • Prostředky agenta migrace
    Množství paměti (RAM), počet výpočetních jader a dokonce i množství dostupné kapacity místního disku v agentu migrace může mít hluboký dopad na rychlost migrace. Větší množství výpočetních prostředků pomáhá optimalizovat využití dostupné šířky pásma, zejména v případě, že při migraci je potřeba zpracovat velké objemy menších souborů.

Například tradiční migrace vyžaduje strategii pro minimalizaci výpadků úlohy, která závisí na úložišti, které se má migrovat. Azure Storage Mover podporuje tuto strategii označovanou jako konvergentní migrace n-pass.

V této strategii opakovaně zkopírujete zdroj do cíle. Během těchto iterací kopírování zůstane zdroj dostupný pro čtení a zápis do úlohy. Těsně před dokončením iterace kopírování přejdete zdroj do offline režimu. Očekává se, že poslední kopie bude dokončena rychleji než první kopie, kterou vytvoříte, a trvá přibližně tak dlouho jako ta, která jí bezprostředně předcházela. Po dokončení kopírování se úloha převede na používání nového cílového úložiště v Azure a je opět k dispozici.

Během první kopie ze zdroje do cíle je cíl pravděpodobně prázdný a veškerý zdrojový obsah musí cestovat do cíle. V důsledku toho je první kopie pravděpodobně omezena dostupnými síťovými prostředky.

Ke konci migrace, poté co několikrát zkopírujete zdroj do cíle, je pozměněno pouze několik souborů, složek a metadat následujících po poslední kopii. V této poslední iteraci kopírování je potřeba porovnat každý soubor ve zdroji a cíli, abyste zjistili, jestli je potřeba aktualizovat, vyžaduje více výpočetních prostředků a méně síťových prostředků. Kopírování v této pozdní fázi migrace je často omezeno výpočetním výkonem. Stále důležitější je správné zajištění zdrojů pro agenta Storage Mover.

Další kroky

Následující články vám můžou pomoct s úspěšným nasazením služby Azure Storage Mover.