Tároló- és adatáthelyezési lehetőségek az eszköz- és kimeneti fájlok renderelésével kapcsolatban

A jelenetet és az eszközfájlokat többféle módon is elérhetővé teheti az adott csoport virtuális gépeinek renderelő alkalmazásai számára.

  • Azure Blob Storage:
    • A rendszer feltölti a jelenet- és eszközfájlokat a blobtárolóba egy helyi fájlrendszerből. Ha az alkalmazást egy feladat futtatja, a rendszer a szükséges fájlokat a blobtárolóból a virtuális gépre másolja, hogy azok elérhetők legyenek a renderelő alkalmazás számára. A kimeneti fájlokat a renderelő alkalmazás írja a virtuálisgép-lemezre, majd a blobtárolóba másolja. Szükség esetén a kimeneti fájlok letölthetők a Blob Storage-ból egy helyi fájlrendszerbe.
    • Az Azure Blob Storage egy egyszerű és költséghatékony megoldás kisebb projektekhez. Mivel minden eszközfájl szükséges minden készlet VM-ben, figyelmet kell fordítani a fájlátvitel lehető leghatékonyabb megvalósítására, különösen akkor, ha az eszközfájlok száma és mérete növekszik.
  • Azure Storage fájlrendszerként a blobfuse használatával:
    • Linux rendszerű virtuális gépek esetén a tárfiókok közzétehetők és fájlrendszerként használhatók a blobfuse virtuális fájlrendszer illesztőprogramjának használatakor.
    • Ez a lehetőség azzal az előnnyel jár, hogy költséghatékony, mivel a fájlrendszerhez nincs szükség virtuális gépekre, a virtuális gépek blobfuse gyorsítótárazása pedig elkerüli ugyanazon fájlok ismételt letöltését több feladathoz és feladathoz. Az adatáthelyezés is egyszerű, mivel a fájlok egyszerűen blobok, és szabványos API-k és eszközök, például az azcopy segítségével másolhatók a fájlok a helyszíni fájlrendszer és az Azure Storage között.
  • Fájlrendszer vagy fájlmegosztás:
    • A virtuális gépek operációs rendszerének és a teljesítmény/méretezés követelményeitől függően a lehetőségek közé tartozik az Azure Files, az NFS-hez csatlakoztatott lemezekkel rendelkező virtuális gép használata, több virtuális gép és csatolt lemez használata elosztott fájlrendszerhez, például a GlusterFS-hez, vagy külső ajánlat használata.
    • Az Avere Systems mostantól a Microsoft része, és hamarosan olyan megoldásokkal is rendelkezik, amelyek ideálisak a nagy méretű, nagy teljesítményű rendereléshez. Az Avere-megoldás lehetővé teszi egy Azure-alapú NFS- vagy SMB-gyorsítótár létrehozását, amely blobtárolóval vagy helyszíni NAS-eszközökkel működik.
    • Fájlrendszer esetén a fájlok közvetlenül a fájlrendszerbe olvashatók vagy írhatók, vagy átmásolhatók a fájlrendszer és a készlet virtuális gépei között.
    • A megosztott fájlrendszerek lehetővé teszik a projektek és feladatok között megosztott nagy számú objektum használatát, a renderelési feladatok pedig csak a szükséges adatok elérését teszik lehetővé.

Az Azure Blob Storage használata

Blob Storage-fiókot vagy általános célú v2-tárfiókot kell használni. Ez a két tárfióktípus az általános célú v1-tárfiókokhoz képest magasabb korlátokkal konfigurálható, amint az ebben a blogbejegyzésben is látható. Ha konfigurálva van, a magasabb korlátok jobb teljesítményt és méretezhetőséget tesznek lehetővé, különösen akkor, ha sok készlet virtuális gép fér hozzá a tárfiókhoz.

Fájlok másolása az ügyfél és a blobtároló között

A fájlok Azure Storage-ba és onnan történő másolásához különböző mechanizmusok használhatók, például a storage blob API, az Azure Storage Data Movement Library, az azcopy parancssori eszköz Windowshoz vagy Linuxhoz, az Azure Storage Explorerhez és az Azure Batch Explorerhez.

Az azcopy használatával például egy mappában lévő összes objektum az alábbiak szerint továbbítható:

azcopy /source:. /dest:https://account.blob.core.windows.net/rendering/project /destsas:"?st=2018-03-30T16%3A26%3A00Z&se=2020-03-31T16%3A26%3A00Z&sp=rwdl&sv=2017-04-17&sr=c&sig=sig" /Y

Csak a módosított fájlok másolásához a /XO paraméter használható:

azcopy /source:. /dest:https://account.blob.core.windows.net/rendering/project /destsas:"?st=2018-03-30T16%3A26%3A00Z&se=2020-03-31T16%3A26%3A00Z&sp=rwdl&sv=2017-04-17&sr=c&sig=sig" /XO /Y

Bemeneti eszközfájlok másolása Blob Storage-ból Batch-készletbeli virtuális gépekre

A fájlok másolásának több különböző módszere is van a feladategységek mérete alapján meghatározott legjobb megközelítéssel. A legegyszerűbb módszer az összes erőforrás fájl másolása a készlet VM-ekbe az egyes munkákhoz.

  • Ha egy feladathoz egyedi fájlok tartoznak, de egy feladat összes tevékenységéhez szükségesek, akkor meg lehet adni egy feladat-előkészítési feladatot az összes fájl másolásához. A feladat-előkészítési feladat egyszer fut, amikor az első feladat végrehajtása egy virtuális gépen történik, de a következő feladattevékenységek esetében nem fut újra.
  • Ha a feladat befejezése után meg kell adni egy feladatkiadási feladatot a feladatonkénti fájlok eltávolításához, ez megakadályozza, hogy a virtuálisgép-lemezt az összes feladat-objektumfájl kitöltse.
  • Ha több feladat is ugyanazt az objektumot használja, és az egyes feladatokhoz csak növekményes módosításokat végez, akkor az összes objektumfájlt a program akkor is másolja, ha csak egy részhalmaz lett frissítve. Ez nem lenne hatékony, ha sok nagy objektumfájl van.

Ha az eszközfájlokat újra felhasználják a feladatok között, és csak növekményes módosításokat hajtanak végre a feladatok között, akkor hatékonyabb, de valamivel hatékonyabb módszer az eszközök tárolása a virtuális gép megosztott mappájában, és a módosított fájlok szinkronizálása.

  • A feladat-előkészítési feladat az azcopy és a /XO paraméter használatával hajtja végre a másolást a AZ_BATCH_NODE_SHARED_DIR környezeti változó által megadott virtuális gép megosztott mappájába. Ez csak a módosított fájlokat másolja az egyes virtuális gépekre.
  • Az összes eszköz méretét figyelembe kell venni, hogy biztosan elférjenek a "pool" virtuális gépeinek ideiglenes meghajtóján.

Az Azure Batch beépített támogatással rendelkezik a fájlok tárfiókok és Batch-készlet virtuális gépek közötti másolásához. A feladat-erőforrásfájlok fájlokat másolnak a tárolóból a készlet virtuális gépeibe, és a feladat előkészítési feladathoz meghatározhatók. Sajnos, ha több száz fájl van, előfordulhat, hogy eléri a korlátot, és a feladatok sikertelenek lesznek. Ha nagy mennyiségű eszköz van, javasoljuk, hogy használja az azcopy parancssort a feladat-előkészítési feladatban, amely helyettesítő karaktereket használhat, és nincs korlátja.

Kimeneti fájlok másolása Blob Storage-ba a Batch-készlet virtuális gépeiből

A kimeneti fájlok felhasználhatók fájlok másolására a készlet virtuális gépéről a tárolóba. A feladat befejezése után egy vagy több fájl másolható a virtuális gépről egy adott tárfiókba. A renderelt kimenetet át kell másolni, de a naplófájlok tárolása is kívánatos lehet.

Blobfuse virtuális fájlrendszer használata Linux rendszerű virtuálisgép-készletekhez

A Blobfuse az Azure Blob Storage virtuális fájlrendszer-illesztőprogramja, amely lehetővé teszi a Storage-fiókban blobként tárolt fájlok elérését a Linux fájlrendszeren keresztül.

A készletcsomópontok indításkor csatlakoztathatják a fájlrendszert, vagy a csatlakoztatás egy feladat-előkészítési feladat részeként történhet – ez a feladat csak akkor fut, ha a feladat első tevékenysége egy csomóponton fut. A Blobfuse konfigurálható úgy, hogy a ramdisk és a virtuális gépek helyi SSD-jét is használja a fájlok gyorsítótárazásához, ami jelentősen növeli a teljesítményt, ha egy csomóponton több feladat is hozzáfér ugyanahhoz a fájlhoz.

A mintasablonok önálló V-Ray-renderek blobfuse fájlrendszerrel való futtatásához érhetők el , és más alkalmazások sablonjainak alapjául szolgálnak.

Fájlok elérése

A feladatfeladatok a csatlakoztatott fájlrendszer használatával határozzák meg a bemeneti és kimeneti fájlok elérési útját.

Bemeneti eszközfájlok másolása Blob Storage-ból Batch-készletbeli virtuális gépekre

Mivel a fájlok egyszerűen blobok az Azure Storage-ban, a szabványos blob API-k, eszközök és felhasználói felületek segítségével fájlokat másolhat egy helyszíni fájlrendszer és blobtároló között; például azcopy, Storage Explorer, Batch Explorer stb.

Az Azure Files használata Windows rendszerű virtuális gépekkel

Az Azure Files teljes mértékben felügyelt fájlmegosztásokat kínál a felhőben, amelyek az SMB protokollon keresztül érhetők el. Az Azure Files az Azure Blob Storage-on alapul; költséghatékony, és konfigurálható egy másik régióba történő adatreplikálással, így globálisan redundáns. A skálázási célokat felül kell vizsgálni annak megállapításához, hogy az Azure Filest az előrejelzési készlet mérete és az eszközfájlok száma alapján kell-e használni.

Az Azure-fájlmegosztások csatlakoztatását ismertető dokumentáció.

Azure Files-megosztás csatlakoztatása

A Batchben való használathoz minden futtatáskor végre kell hajtani egy csatlakoztatási műveletet, mivel a tevékenységek közötti kapcsolat nem őrizhető meg. Ennek legegyszerűbb módja, ha a cmdkey használatával megőrzi a hitelesítő adatokat a készletkonfiguráció kezdő feladatával, majd csatlakoztatja a megosztást az egyes tevékenységekhez.

Példa a parancskulcs készletsablonban való használatára (JSON-fájlban való használatra nem használható) – vegye figyelembe, hogy a parancsmagkulcs-hívásnak a net use hívástól való elválasztásakor a kezdési tevékenység felhasználói környezetének meg kell egyeznie a tevékenységek futtatásához használtéval:

"startTask": {
  "commandLine": "cmdkey /add:storageaccountname.file.core.windows.net
    /user:AZURE\\markscuscusbatch /pass:storage_account_key",
  "userIdentity":{
    "autoUser": {
      "elevationLevel": "nonadmin",
      "scope": "pool"
    }
}

Példafeladat parancssora:

"commandLine":"net use S:
  \\\\storageaccountname.file.core.windows.net\\rendering &
3dsmaxcmdio.exe -v:5 -rfw:0 -10 -end:10
  -bitmapPath:\"s:\\3dsMax\\Dragon\\Assets\"
  -outputName:\"s:\\3dsMax\\Dragon\\RenderOutput\\dragon.jpg\"
  -w:1280 -h:720
  \"s:\\3dsMax\\Dragon\\Assets\\Dragon_Character_Rig.max\""

Fájlok elérése

A feladatfeladatok a csatlakoztatott fájlrendszer használatával határozzák meg a bemeneti fájlok és kimeneti fájlok elérési útját, akár leképezett meghajtóval, akár UNC-elérési úttal.

Bemeneti eszközfájlok másolása Blob Storage-ból Batch-készletbeli virtuális gépekre

Az Azure Filest az összes fő API és eszköz támogatja, amelyek támogatják az Azure Storage-t; például azcopy, Azure CLI, Storage Explorer, Azure PowerShell, Batch Explorer stb.

Az Azure File Sync lehetővé válik a fájlok automatikus szinkronizálására egy helyszíni fájlrendszer és egy Azure-fájlmegosztás között.

Következő lépések

A tárolási lehetőségekről további információt a részletes dokumentációban talál:

  • Last updated on