Skalnings- och prestandamål för Azure Storage Mover
Prestanda för en lagringsmigreringstjänst är en viktig aspekt för alla migreringar. I den här artikeln delar vi prestandatestresultat, men eftersom Azure Storage Mover är en ny tjänst kan din upplevelse variera.
Skalningsmål
Azure Storage Mover testas med 100 miljoner namnområdesobjekt (filer och mappar) som migreras från en källa som stöds till ett mål som stöds i Azure.
Så här testar vi
Azure Storage Mover är en hybridmolntjänst. Hybridtjänster har en molntjänstkomponent och en infrastrukturkomponent som administratören för tjänsten kör i sin företagsmiljö. För Storage Mover är den hybridkomponenten en migreringsagent. Agenter är virtuella datorer som körs på en värd nära källlagringen.
Endast agenten är en relevant del av tjänsten för prestandatestning. För att utelämna sekretess- och prestandaproblem överförs data direkt från Storage Mover-agenten till mållagringen i Azure. Endast kontroll- och telemetrimeddelanden skickas till molntjänsten.
Prestandabaslinjer
Dessa testresultat skapas under idealiska förhållanden. De är avsedda som en baslinje för de komponenter som Storage Mover-tjänsten och agenten kan påverka direkt. Skillnader i källenheter, diskar och nätverksanslutningar beaktas inte i det här testet. Verkliga prestanda varierar.
Migrering från SMB-montering till Azure-filresurstester utfördes på följande sätt:
I följande tabell beskrivs egenskaperna för de testmiljöer som producerade prestandatestresultaten från en SMB-montering till en Azure-filresurs.
| Testnr | Nej. av filer | Total filvikt | Filstorlek | Mappstrukturen |
|---|---|---|---|---|
| 1 | 12 miljoner | 12 GB | 1 KB vardera | 12 mappar, var och en med 100 undermappar som innehåller 10 000 filer |
| 2 | 30 | 20 GB | 1 mapp | |
| 3 | 1 miljon | 100 GB | 100 KB vardera | 1 000 mappar, var och en med 1 000 filer |
| 4 | 1 | 4 TB | ||
| 5 | 117 miljoner | 117 GB | 1 KB vardera | 117 mappar, var och en med 100 undermappar som innehåller 10 000 filer |
| 6 | 1 | 1 TB | ||
| 7 | 3,3 miljoner | 45 GB | 13 KB vardera | 200 000 mappar, var och en innehåller 16\17 filer |
| 8 | 50 miljoner | 1 TB | 20 KB vardera | 2 940 000 mappar, var och en innehåller 17 filer |
| 9 | 100 miljoner | 2 TB | 20 KB vardera | 5 880 000 mappar, var och en innehåller 17 filer |
Olika agentresurskonfigurationer testas på SMB-slutpunkter:
Minspec: 4 CPU/8 GB RAM 4 virtuella CPU-kärnor på 2,7 GHz vardera och 8 GiB minne (RAM) är den minsta specifikationen för en Azure Storage Mover-agent.
Testnr Körningstid Genomsökningstid 6 16 min, 42 sek 1,2 sek 7 55 min, 4 sek 1 min, 17 sek 8 9 Bootspec: 8 CPU/16 GiB RAM 8 virtuella CPU-kärnor på 2,7 GHz vardera och 16 GiB minne (RAM) är den minsta specifikationen för en Azure Storage Mover-agent.
Resultat: Standardlagringskonto
Testnr Körningstid Genomsökningstid 1 15 timmar, 59 min 2 timmar, 36 min, 34 sek 2 1 min, 54 sek 3,34 sek 3 1 tim, 19 min, 27 sek 57,62 sek 4 1 tim, 5 min, 57 sek 2,89 sek Resultat: Standardlagringskonto med stora filer aktiverade
Testnr Körningstid Genomsökningstid 1 3 timmar, 51 min, 31 sek 41 min och 45 sek 5 25 timmar, 47 min 23 timmar, 35 min 6 11 min, 11 sek 0,7 sek 7 55 min, 10 sek 1 min, 3 sek 8 9 Resultat: Premium Storage-konto
Testnr Körningstid Genomsökningstid 1 2 tim, 35 min, 14 sek 24 min, 46 sek 5 23 timmar, 34 min 21 timmar, 34 min
Granska rekommenderade agentresurser för migreringsomfånget i agentdistributionsartikeln.
Varför migreringsprestanda varierar
I grunden påverkar nätverkskvaliteten och möjligheten att bearbeta filer, mappar och deras metadata din migreringshastighet.
I de två kärnområdena för nätverk och beräkning har flera aspekter en inverkan:
- Migreringsscenario
Det går snabbare att kopiera till ett tomt mål jämfört med ett mål med innehåll. Det här beteendet beror på att migreringsmotorn utvärderar inte bara källan, utan även målet att fatta kopieringsbeslut. - Antal namnområdesobjekt
Det tar längre tid att migrera 1 GiB av små filer än att migrera 1 GiB av större filer. - Namnområdesform
En bred mapphierarki lämpar sig för mer parallell bearbetning än en smal eller djup katalogstruktur. Förhållandet mellan filer och mappar spelar också upp en roll. - Namnområdesomsättning
Hur många filer, mappar och metadata som har ändrats mellan två kopieringskörningar från samma källa till samma mål. - Nätverk
- bandbredd och svarstid mellan käll- och migreringsagenten
- bandbredd och svarstid mellan migreringsagenten och målet i Azure
- Migreringsagentresurser
Mängden minne (RAM), antalet beräkningskärnor och även mängden tillgänglig lokal diskkapacitet på migreringsagenten kan ha en djupgående inverkan på migreringshastigheten. Fler beräkningsresurser hjälper till att optimera användningen av den tillgängliga bandbredden, särskilt när stora mängder mindre filer behöver bearbetas i en migrering.
En traditionell migrering kräver till exempel en strategi för att minimera stilleståndstiden för den arbetsbelastning som är beroende av lagringen som ska migreras. Azure Storage Mover stöder en sådan strategi. Det kallas konvergerande, n-pass-migrering.
I den här strategin kopierar du från källa till mål flera gånger. Under dessa kopierings-iterationer förblir källan tillgänglig för läsning och skrivning till arbetsbelastningen. Precis innan den slutliga kopierings-iterationen tar du källan offline. Det förväntas att den slutliga kopian slutförs snabbare än att säga den första kopian du någonsin har gjort och tar ungefär lika lång tid som den som omedelbart föregår den. Efter den sista kopian redväxlar arbetsbelastningen över för att använda den nya mållagringen i Azure och är tillgänglig för användning igen.
Under den första kopian från källa till mål är målet sannolikt tomt och allt källinnehåll måste skickas till målet. Därför är den första kopian troligen mest begränsad av de tillgängliga nätverksresurserna.
Mot slutet av en migrering, när du har kopierat källan till målet flera gånger redan, har bara ett fåtal filer, mappar och metadata ändrats sedan den senaste kopian. I den här sista kopierings-iterationen krävs mer beräkningsresurser och färre nätverksresurser för att jämföra varje fil i källan och målet för att se om den behöver uppdateras. Kopieringskörningar i det här sena steget av en migrering är ofta mer beräkningsbegränsade. Korrekt resursåterdelning av Storage Mover-agenten blir allt viktigare.
Nästa steg
Följande artiklar kan hjälpa dig med en lyckad Distribution av Azure Storage Mover.