Az Azure Blob Storage használata az Azure Managed Lustre szolgáltatással

Cikk
05/15/2024

Az Azure Managed Lustre integrálható a Azure Blob Storage, hogy egyszerűbbé tegye az adatok blobtárolóból fájlrendszerbe való importálását. Az adatokat a fájlrendszerből egy blobtárolóba is exportálhatja hosszú távú tárolás céljából. Ez a cikk az Azure Managed Lustre fájlrendszerekkel való blobintegrációval kapcsolatos fogalmakat ismerteti.

A kompatibilis blobtárolókhoz szükséges követelmények és konfiguráció megismeréséhez lásd: Blob-integráció előfeltételei.

Blobintegráció áttekintése

Konfigurálhatja a blobintegrációt a fürt létrehozása során, és bármikor létrehozhat egy importálási feladatot a fürt létrehozása után. Az adatok importálása után ugyanúgy dolgozhat az adatokkal, mint más fájlrendszeradatokkal. Az új fájlok létrehozásakor vagy a meglévő fájlok a fájlrendszerben való módosításakor exportálhatja ezeket a fájlokat a tárfiókba a Lustre CLI-parancsok futtatásával az ügyfélen, vagy exportálhatja az adatokat exportálási feladatokkal.

Amikor adatokat importál egy blobtárolóból egy Azure Managed Lustre fájlrendszerbe, a rendszer csak a fájlneveket (névteret) és a metaadatokat importálja a Lustre névtérbe. A blob tényleges tartalmát akkor importálja a rendszer, ha először fér hozzá egy ügyfélhez. Kis késés tapasztalható az adatok első elérésekor, miközben a Lustre Hierarchical Storage Management (HSM) funkció lekéri a blob tartalmát a fájlrendszer megfelelő fájljához.

A blobok tartalmát előre leküldheti a Lustre parancsával lfs hsm_restore egy sudo képességekkel rendelkező csatlakoztatott ügyfélről. A következő parancs előre leküldi a blobok tartalmát a fájlrendszerbe:

nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_restore &

Az Azure Managed Lustre olyan tárfiókokkal működik, amelyek hierarchikus névtérrel rendelkeznek, és nem hierarchikus vagy egybesimított névtérrel rendelkező tárfiókokkal. A következő kisebb eltérések érvényesek:

A hierarchikus névtérrel rendelkező tárfiókok esetében az Azure Managed Lustre a POSIX-attribútumokat olvassa be a blobfejlécből.
A hierarchikus névtérrel nem rendelkező tárfiókok esetében az Azure Managed Lustre posIX-attribútumokat olvas be a blob metaadataiból. A blobtároló tartalmával azonos nevű, különálló, üres fájl jön létre a metaadatok tárolásához. Ez a fájl az Azure Managed Lustre fájlrendszer tényleges adatkönyvtárának testvére.

Adatok importálása a Blob Storage-ból

A blobtárolóval való integrációt a fürt létrehozásakor konfigurálhatja, és a fürt létrehozása után bármikor létrehozhat egy importálási feladatot .

Blobtárolókra vonatkozó követelmények

A blobintegráció fürtlétrehozás során történő konfigurálásakor két különálló blobtárolót kell azonosítania: az importálni kívánt tárolót és a naplózási tárolót. Az importálni kívánt tároló tartalmazza azOkat az adatokat, amelyeket az Azure Managed Lustre fájlrendszerbe szeretne importálni. A naplózási tároló az importálási feladat naplóinak tárolására szolgál. Ennek a két tárolónak ugyanabban a tárfiókban kell lennie. A blobtároló követelményeiről további információt a Blob-integráció előfeltételei című témakörben talál.

Előtag importálása

Ha blobtárolóból importál adatokat, megadhat egy vagy több előtagot az Azure Managed Lustre fájlrendszerbe importált adatok szűréséhez. A blobtároló egyik előtagjának megfelelő fájlneveket a rendszer hozzáadja egy metaadatrekordhoz a fájlrendszerben. Amikor egy ügyfél először fér hozzá egy fájlhoz, a rendszer lekéri annak tartalmát a blobtárolóból, és a fájlrendszerben tárolja.

A Azure Portal a Speciális lap Speciális lapjának Importálás előtagmezőivel adja meg a blobtárolóból importálandó adatokat. Ezek a mezők csak a kezdeti importálási feladatra vonatkoznak. Az importálási előtag nem módosítható a fürt létrehozása után.

Importálási feladat esetén a feladat létrehozásakor megadhatja az importálási előtagokat. A Azure Portal megadhatja az importálási előtagokat az Előtag importálása mezőkben. Az importálási előtagot akkor is megadhatja, ha a REST API-val hoz létre egy importálási feladatot.

Tartsa szem előtt az alábbi szempontokat az importálási előtagok megadásakor:

Az alapértelmezett importálási előtag a következő /: . Ez az alapértelmezett viselkedés importálja a teljes blobtároló tartalmát.
Ha több előtagot ad meg, az előtagok nem lehetnek átfedésben. Ha például a és /data2értéket adja meg/data, az importálási feladat meghiúsul, mert az előtagok átfedésben vannak.
Ha a blobtároló egy olyan tárfiókban található, amelyen engedélyezve van a hierarchikus névtér, az előtagot fájlútvonalként tekintheti. Az elérési út alatt lévő elemeket az Azure Managed Lustre fájlrendszer tartalmazza.
Ha a blobtároló nem hierarchikus (vagy lapos) névtérrel rendelkező tárfiókban található, az importálási előtagot keresési sztringként tekintheti, amely a blobnév elejével van összehasonlítva. Ha a tárolóban lévő blob neve az importálási előtagként megadott sztringgel kezdődik, a fájl elérhetővé válik a fájlrendszerben. A Lustre egy hierarchikus fájlrendszer, és / a blobnevekben szereplő karakterek könyvtárelválasztókká válnak a Lustre-ben való tároláskor.

Ütközésfeloldási mód

Amikor adatokat importál egy blobtárolóból, megadhatja, hogyan kezelhetők a blobtároló és a fájlrendszer közötti ütközések. Ez a beállítás csak a meglévő fürtökhöz futtatott importálási feladatokra vonatkozik. Az alábbi táblázat a rendelkezésre álló ütközésfeloldási módokat és azok leírását mutatja be:

Mód	Description
`fail`	Az importálási feladat azonnal meghiúsul egy hibával, ha ütközést észlel.
`skip`	Az importálási feladat kihagyja a fájlt, ha ütközést észlel.
`overwrite-dirty`	Az importálási feladat egy ütköző útvonalat értékel ki, amely ellenőrzi, hogy törölni kell-e és újra kell-e importálni. További információ: Felülírás-piszkos mód.
`overwrite-always`	Az importálási feladat kiértékeli az ütköző útvonalat, és mindig törli/újra importálja, ha piszkos, vagy ha tiszta. További információ: Overwrite-always mód.

Felülírás-piszkos mód

A overwrite-dirty mód egy ütköző útvonalat értékel ki, hogy megállapítsa, törölni kell-e és újra kell-e importálni. Magas szinten a overwrite-dirty mód ellenőrzi a HSM állapotát. Ha a HSM állapota Tiszta és archivált, ami azt jelenti, hogy az adatai szinkronizálva vannak a blobtárolóval, amennyire a Lustre tudja, akkor csak az attribútumok frissülnek, ha szükséges. Ellenkező esetben a fájl törlődik, és újraimportálódik a blobtárolóból.

A HSM állapotának ellenőrzése nem garantálja, hogy a Lustre fájlja megegyezik a blobtárolóban lévő fájllal. Ha meg kell győződnie arról, hogy a Lustre fájlja a lehető legszorosabban megegyezik a blobtárolóban lévő fájllal, használja a overwrite-always módot.

Felülírás mindig mód

A overwrite-always mód kiértékel egy ütköző útvonalat, és mindig törli/újra importálja, ha piszkos, vagy ha tiszta. Ez a mód akkor hasznos, ha biztosítani szeretné, hogy a fájlrendszer mindig szinkronizálva legyen a blobtárolóval. Ez a legdrágább lehetőség is, mivel az első hozzáféréskor minden korábban visszaállított fájlt kiadnak, vagy törölnek/importálnak újra.

Hibatűrés

Amikor adatokat importál egy blobtárolóból, megadhatja a hibatűrést. A hibatűrési szint határozza meg, hogy az importálási feladat hogyan kezeli az importálási folyamat során előforduló átmeneti hibákat, például az operációs rendszer hibáit vagy a hálózat megszakadását. Fontos megjegyezni, hogy az ebben a környezetben előforduló hibák nem hivatkoznak fájlütközésekre, amelyeket az ütközésfeloldási mód kezel.

Importálási feladatokhoz a következő hibatűrési lehetőségek érhetők el:

Ne engedélyezze a hibákat (alapértelmezett): Az importálási feladat azonnal meghiúsul, ha hiba történik az importálás során. Ez az alapértelmezett viselkedés.
Hibák engedélyezése: Az importálási feladat hiba esetén folytatódik, és a hiba naplózva van. Az importálási feladat befejeződése után megtekintheti a hibákat a naplózási tárolóban.

A blobimportálási feladatok szempontjai

A blobtárolóból származó adatok importálásakor a következő elemeket kell figyelembe venni:

Egyszerre csak egy importálási vagy exportálási művelet futtatható. Ha például egy importálási feladat folyamatban van, egy másik importálási feladat elindítására tett kísérlet hibát ad vissza.
Az importálási feladatok megszakíthatók. Megszakíthatja egy meglévő fürtön elindított importálási feladatot, vagy a fürt létrehozásakor kezdeményezett importálási feladatot.
A fürt üzembe helyezése sikeresen visszatérhet a megfelelő importálási feladat befejezése előtt. Az importálási feladat továbbra is a háttérben fut. Az importálási feladat előrehaladását a következő módokon figyelheti:
- Azure Portal: A Azure Portal megjeleníti az importálási feladat állapotát. Lépjen a fájlrendszerre, és válassza a Blob-integráció lehetőséget az importálási feladat állapotának megtekintéséhez.
- Lustre-fájl a gyökérkönyvtárban: Az importálás során a Lustre gyökérkönyvtárban létrejön egy hasonló /lustre/IMPORT_<state>.<timestamp_start> nevű fájl. A <state> helyőrző az importálás előrehaladásával változik. A fájl akkor törlődik, ha az importálási feladat sikeresen befejeződött.
A befejezett importálási feladat részleteinek megtekintéséhez ellenőrizze a naplózási tárolót. A naplózási tároló az importálási feladat naplóit tartalmazza, beleértve az importálás során előforduló hibákat vagy ütközéseket is.
Ha az importálási feladat valamilyen okból meghiúsul, előfordulhat, hogy nem rendelkezik teljes statisztikával az importálási feladatról, például az importált fájlok száma vagy az ütközések száma.

Adatok exportálása Blob Storage-ba exportálási feladattal

Exportálási feladat létrehozásával adatokat másolhat az Azure Managed Lustre fájlrendszerből a Azure Blob Storage hosszú távú tárhelyére.

Exportált fájlok metaadatai

Amikor fájlokat exportál az Azure Managed Lustre fájlrendszerből a blobtárolóba, a rendszer további metaadatokat ment, hogy egyszerűbben importálhassa a tartalmat egy fájlrendszerbe.

Az alábbi táblázat a Lustre fájlrendszer azon POSIX-attribútumait sorolja fel, amelyek kulcs-érték párokként vannak mentve a blob metaadataiban:

POSIX attribútum	Típus
`owner`	int
`group`	int
`permissions`	oktális vagy rwxrwxrwx formátum; a beragadó bit támogatott

A címtárattribútumokat a rendszer egy üres blobba menti. Ennek a blobnak ugyanaz a neve, mint a könyvtár elérési útjának, és a következő kulcs-érték párokat tartalmazza a blob metaadataiban: hdi_isfolder : true.

A POSIX-attribútumokat manuálisan módosíthatja, mielőtt a tárolóval hidratálhat egy új Lustre-fürtöt. Blob-metaadatok szerkesztése vagy hozzáadása a korábban ismertetett kulcs-érték párok használatával.

Az exportálási feladatok szempontjai

Az alábbi elemeket fontos figyelembe venni az exportálási feladattal rendelkező adatok exportálásakor:

Egyszerre csak egy importálási vagy exportálási művelet futtatható. Ha például egy exportálási feladat folyamatban van, egy másik exportálási feladat elindításának kísérlete hibát ad vissza.

Lustre blobtároló másolása az AzCopyval vagy Storage Explorer

A Lustre által használt blobtárolót áthelyezheti vagy másolhatja az AzCopy vagy Storage Explorer használatával.

Az AzCopy esetében a címtárattribútumokat az alábbi jelző hozzáadásával adhatja meg:

--include-directory-stub

Ennek a jelzőnek a belevétele megőrzi a könyvtár POSIX attribútumait az átvitel során, például , ownergroupés permissions. Ha azcopy ezt a jelzőt nem használja a tárolón, vagy ha a jelölő értéke false, akkor az adatok és könyvtárak szerepelnek az átvitelben, de a címtárak nem őrzik meg a POSIX-attribútumaikat.

A Storage Explorer a Beállítások területen engedélyezheti ezt a jelzőt, ha az Átvitel lehetőséget választja, és bejelöli a Címtárcsomókeretek belefoglalása jelölőnégyzetet.

Share via