Megosztás a következőn keresztül:

Azure HPC Cache-adatok betöltése – msrsync metódus

  • Cikk

Ez a cikk részletes útmutatást nyújt az adatok Azure Blob Storage-tárolóba való másolásához a msrsync segédprogram használatával az Azure HPC Cache-hez való használatra.

Ha többet szeretne tudni az adatok Azure HPC Cache-hez való Blob Storage-ba való áthelyezéséről, olvassa el az Adatok áthelyezése az Azure Blob Storage-ba című cikket.

Az msrsync eszköz segítségével adatokat helyezhet át az Azure HPC Cache háttérbeli tárolóhelyére. Ez az eszköz több párhuzamos rsync folyamat futtatásával optimalizálja a sávszélesség-használatot. Elérhető a GitHubon a következő címen https://github.com/jbd/msrsync: .

msrsync a forráskönyvtárat külön "gyűjtőkre" bontja, majd mindegyik gyűjtőn futtatja az egyes rsync folyamatokat.

A négymagos virtuális gép előzetes tesztelése a legjobb hatékonyságot mutatta 64 folyamat használatakor. msrsync A beállítással -p a folyamatok számát 64-esre állíthatja.

Vegye figyelembe, hogy msrsync csak helyi kötetekre és kötetekről tud írni. A forrásnak és a célnak elérhetőnek kell lennie helyi csatlakoztatásként a parancs kiadásához használt munkaállomáson.

Kövesse az alábbi utasításokat az msrsync Azure Blob Storage azure HPC Cache-sel való feltöltéséhez:

  1. Telepítés msrsync és annak előfeltételei (rsync és a Python 2.6-os vagy újabb verziói)

  2. Határozza meg a másolandó fájlok és könyvtárak teljes számát.

    Használja például a segédprogramot prime.py argumentumokkal prime.py --directory /path/to/some/directory (letölthető https://github.com/Azure/Avere/blob/main/src/clientapps/dataingestor/prime.py).

    Ha nem használja prime.py, a GNU find eszközzel az alábbi módon számíthatja ki az elemek számát:

    find <path> -type f |wc -l         # (counts files)
find <path> -type d |wc -l         # (counts directories)
find <path> |wc -l                 # (counts both)

  3. A folyamatonkénti elemek számának meghatározásához ossza el az elemek számát 64-sel. Ezzel a -f számmal beállíthatja a gyűjtők méretét a parancs futtatásakor.

  4. A fájlok másolásához adja ki a msrsync parancsot:

    msrsync -P --stats -p64 -f<ITEMS_DIV_64> --rsync "-ahv --inplace" <SOURCE_PATH> <DESTINATION_PATH>

    Ez a parancs például úgy lett kialakítva, hogy 64 folyamat 11 000 fájlját helyezze át a /test/source-adattárból az /mnt/hpccache/adattárba:

    mrsync -P --stats -p64 -f170 --rsync "-ahv --inplace" /test/source-repository/ /mnt/hpccache/repository