Az Azure Storage Mover méretezési és teljesítménycéljai
A tárolási migrálási szolgáltatás teljesítménye kulcsfontosságú szempont minden áttelepítéshez. Ebben a cikkben a teljesítménytesztek eredményeit osztjuk meg, azonban mivel az Azure Storage Mover egy új szolgáltatás, a felhasználói élmény eltérő lehet.
Célok méretezése
Az Azure Storage Movert 100 millió névtérelem (fájl és mappa) tesztelik, amelyet egy támogatott forrásból egy támogatott célhelyre migráltunk az Azure-ban.
Hogyan teszteljük?
Az Azure Storage Mover egy hibrid felhőszolgáltatás. A hibrid szolgáltatások rendelkeznek egy felhőszolgáltatás-összetevővel és egy infrastruktúra-összetevővel, amely a szolgáltatás rendszergazdája a vállalati környezetben fut. A Storage Mover esetében ez a hibrid összetevő egy migrálási ügynök. Az ügynökök virtuális gépek, amelyek a forrástároló közelében futó gazdagépen futnak.
Csak az ügynök releváns része a szolgáltatásnak a teljesítményteszteléshez. Az adatvédelmi és teljesítményproblémák kihagyása érdekében az adatok közvetlenül a Storage Mover-ügynökből a céltárolóba utaznak az Azure-ban. A rendszer csak vezérlési és telemetriai üzeneteket küld a felhőszolgáltatásnak.
Teljesítménykonfigurációk
Ezek a teszteredmények ideális körülmények között jönnek létre. Ezek a Storage Mover szolgáltatás és ügynök által közvetlenül befolyásolható összetevők alapkonfigurációjaként szolgálnak. A teszt nem veszi figyelembe a forráseszközök, lemezek és hálózati kapcsolatok különbségeit. A valós teljesítmény változó.
Az SMB-csatlakoztatásról az Azure-fájlmegosztási tesztekre való migrálás az alábbiak szerint történt:
Az alábbi táblázat azoknak a tesztkörnyezeteknek a jellemzőit ismerteti, amelyek egy SMB-csatlakoztatásból egy Azure-fájlmegosztásba eredményezték a teljesítményteszt eredményeit.
| Tesztszám | Nem. fájlok | A fájlok összsúlya | File size | Mappastruktúra |
|---|---|---|---|---|
| 1 | 12 millió | 12 GB | Egyenként 1 KB | 12 mappa, egyenként 100 almappával, amelyek 10 000 fájlt tartalmaznak |
| 2 | 30 | 20 GB | 1 mappa | |
| 3 | 1 millió | 100 GB | Egyenként 100 KB | 1000 mappa, egyenként 1000 fájllal |
| 4 | 1 | 4 TB | ||
| 5 | 117 millió | 117 GB | Egyenként 1 KB | 117 mappa, egyenként 100 almappával, amelyek 10 000 fájlt tartalmaznak |
| 6 | 1 | 1 TB | ||
| 7 | 3,3 millió | 45 GB | Egyenként 13 KB | 200 000 mappa, mindegyik 16\17 fájlt tartalmaz |
| 8 | 50 millió | 1 TB | Egyenként 20 KB | 2 940 000 mappa, mindegyik 17 fájlt tartalmaz |
| 9 | 100 millió | 2 TB | Egyenként 20 KB | 5 880 000 mappa, mindegyik 17 fájlt tartalmaz |
A különböző ügynökerőforrás-konfigurációkat az SMB-végpontokon teszteljük:
Minspec: 4 CPU / 8 GB RAM 4 virtuális PROCESSZORmag 2,7 GHz-en, és 8 GiB memória (RAM) az Azure Storage Mover-ügynök minimális specifikációja.
Tesztszám Végrehajtási idő Vizsgálat ideje 6 16 perc, 42 mp 1,2 mp 7 55 perc, 4 másodperc 1 perc, 17 másodperc 8 9 Bootspec: 8 CPU / 16 GiB RAM 8 virtuális CPU magok 2,7 GHz-en egyenként és 16 GiB memória (RAM) a minimális specifikáció egy Azure Storage Mover ügynök.
Eredmények: Standard tárfiók
Tesztszám Végrehajtási idő Vizsgálat ideje 1 15 óra, 59 perc 2 óra, 36 perc, 34 mp 2 1 perc, 54 másodperc 3,34 másodperc 3 1 óra, 19 perc, 27 másodperc 57,62 mp 4 1 óra, 5 perc, 57 másodperc 2,89 mp Eredmények: Standard tárfiók, amelyen engedélyezve van a nagyméretű fájlok használata
Tesztszám Végrehajtási idő Vizsgálat ideje 1 3 óra, 51 perc, 31 mp 41 perc és 45 másodperc 5 25 óra, 47 perc 23 óra, 35 perc 6 11 perc, 11 másodperc 0,7 mp 7 55 perc, 10 másodperc 1 perc, 3 másodperc 8 9 Eredmények: Prémium szintű tárfiók
Tesztszám Végrehajtási idő Vizsgálat ideje 1 2 óra, 35 perc, 14 másodperc 24 perc, 46 másodperc 5 23 óra, 34 perc 21 óra, 34 perc
Tekintse át a migrálási hatókörhöz ajánlott ügynökerőforrásokat az ügynök üzembe helyezéséről szóló cikkben.
Miért változik a migrálási teljesítmény?
A hálózati minőség és a fájlok, mappák és metaadatok feldolgozásának képessége alapvetően befolyásolja a migrálási sebességet.
A hálózat és a számítás két alapvető területén több szempont is hatással van:
- Migrálási forgatókönyv
Az üres célba való másolás gyorsabb a tartalommal rendelkező célhoz képest. Ennek a viselkedésnek az az oka, hogy a migrálási motor nem csak a forrást, hanem a másolási döntéseket is kiértékeli. - Névtérelemek száma
1 GiB kis méretű fájl áttelepítése több időt vesz igénybe, mint 1 GiB nagyobb fájl migrálása. - Névtéralakzat
A széles mappahierarchia több párhuzamos feldolgozást biztosít, mint egy szűk vagy mély könyvtárstruktúra. A fájl-mappa arány is lejátssza a tekercset. - Névtérváltozás
Hány fájl, mappa és metaadat változott meg két példány között, amelyek ugyanabból a forrásból ugyanarra a célra futnak. - Network
- sávszélesség és késés a forrás- és migrálási ügynök között
- sávszélesség és késés a migrálási ügynök és a cél között az Azure-ban
- Migrálási ügynök erőforrásai
A memória mennyisége (RAM), a számítási magok száma, valamint az áttelepítési ügynök rendelkezésre álló helyi lemezkapacitása jelentős hatással lehet az áttelepítési sebességre. Több számítási erőforrás segít optimalizálni a rendelkezésre álló sávszélesség kihasználtságát, különösen akkor, ha nagy mennyiségű kisebb fájlt kell feldolgozni egy migrálás során.
A hagyományos migráláshoz például olyan stratégiára van szükség, amely minimalizálja a migrálni kívánt tárterülettől függő számítási feladat állásidejét. Az Azure Storage Mover támogatja ezt a stratégiát. Konvergens, n-pass migrálásnak nevezzük.
Ebben a stratégiában többször másol a forrásból a célba. A másolási iterációk során a forrás továbbra is elérhető marad a számítási feladat olvasásához és írásához. A végső másolási iteráció előtt offline állapotba kell helyeznie a forrást. A végső másolat várhatóan gyorsabban fejeződik be, mint az első másolat, amelyet valaha készített, és körülbelül addig tart, amíg az azt közvetlenül megelőző példány lesz. A végső másolás után a számítási feladat feladatátvételt követően használja az új céltárolót az Azure-ban, és újra használható lesz.
A forrásról a célra történő első másolás során a cél valószínűleg üres, és az összes forrástartalomnak a célhoz kell utaznia. Ennek eredményeképpen az első példányt valószínűleg a rendelkezésre álló hálózati erőforrások korlátozzák a leginkább.
A migrálás vége felé, amikor már többször átmásolta a forrást a célba, az utolsó másolás óta csak néhány fájl, mappa és metaadat változott meg. Ebben az utolsó másolási iterációban a forrásban és a célban lévő összes fájlt összehasonlítva megállapíthatja, hogy frissíteni kell-e, több számítási erőforrásra és kevesebb hálózati erőforrásra van szükség. A másolási futtatások a migrálás ezen késői szakaszában gyakran számítási korlátozásokkal járnak. A Storage Mover-ügynök megfelelő visszavétele egyre fontosabbá válik.
Következő lépések
Az alábbi cikkek segíthetnek az Azure Storage Mover sikeres üzembe helyezésében.