Aracılığıyla paylaş

Azure HPC Önbelleği veri alma - msrsync yöntemi

  • Makale

Bu makalede, Azure HPC Önbelleği ile kullanılmak üzere azure blob depolama kapsayıcısına veri kopyalamak için yardımcı programını kullanmaya msrsync yönelik ayrıntılı yönergeler verilmektedir.

Azure HPC Önbelleği'nizde verileri Blob depolamaya taşıma hakkında daha fazla bilgi edinmek için Bkz. Verileri Azure Blob depolamaya taşıma.

Araç, msrsync Azure HPC Önbelleği için verileri arka uç depolama hedefine taşımak için kullanılabilir. Bu araç, birden çok paralel rsync işlem çalıştırarak bant genişliği kullanımını iyileştirmek için tasarlanmıştır. GitHub'dan https://github.com/jbd/msrsyncadresinden edinilebilir.

msrsync kaynak dizini ayrı "demetlere" ayırır ve ardından her demet üzerinde ayrı rsync işlemler çalıştırır.

Dört çekirdekli bir VM kullanılarak yapılan ön test, 64 işlem kullanılırken en iyi verimliliği gösterdi. msrsync İşlem sayısını 64 olarak ayarlamak için seçeneğini -p kullanın.

msrsync Yalnızca yerel birimlere ve yerel birimlerden yazabileceğinizi unutmayın. Kaynak ve hedefe, komutu vermek için kullanılan iş istasyonunda yerel bağlamalar olarak erişilebilir olmalıdır.

Azure Blob depolamayı Azure HPC Önbelleği ile doldurmak için şu msrsync yönergeleri izleyin:

  1. Yükleme msrsync ve önkoşulları (rsync ve Python 2.6 veya üzeri)

  2. Kopyalanacak toplam dosya ve dizin sayısını belirleyin.

    Örneğin, yardımcı programını prime.py bağımsız değişkenlerle prime.py --directory /path/to/some/directory kullanın (indirerek https://github.com/Azure/Avere/blob/main/src/clientapps/dataingestor/prime.pykullanılabilir).

    kullanmıyorsanız prime.py, GNU find aracıyla öğe sayısını aşağıdaki gibi hesaplayabilirsiniz:

    find <path> -type f |wc -l         # (counts files)
find <path> -type d |wc -l         # (counts directories)
find <path> |wc -l                 # (counts both)

  3. İşlem başına öğe sayısını belirlemek için öğe sayısını 64'e bölün. Komutu çalıştırdığınızda -f demetlerin boyutunu ayarlama seçeneğiyle birlikte bu sayıyı kullanın.

  4. msrsync Dosyaları kopyalamak için komutunu çalıştırın:

    msrsync -P --stats -p64 -f<ITEMS_DIV_64> --rsync "-ahv --inplace" <SOURCE_PATH> <DESTINATION_PATH>

    Örneğin, bu komut 64 işlemdeki 11.000 dosyayı /test/source-repository'den /mnt/hpccache/repository'e taşımak için tasarlanmıştır:

    mrsync -P --stats -p64 -f170 --rsync "-ahv --inplace" /test/source-repository/ /mnt/hpccache/repository