Fájlvisszaírás testreszabása az Azure HPC Cache-ben

A HPC Cache felhasználói a flush_file.py segédprogrammal kérhetik, hogy a gyorsítótár meghatározott egyedi fájlokat írjon a háttértárba igény szerint. Ez a segédprogram egy külön letöltött szoftvercsomag, amelyet Linux-ügyfélszámítógépeken telepít és használ.

Ez a funkció olyan helyzetekre lett kialakítva, amikor a gyorsítótárazott fájlok módosításait a lehető leghamarabb elérhetővé szeretné tenni olyan rendszerek számára, amelyek nem csatlakoztatják a gyorsítótárat.

Előfordulhat például, hogy az Azure HPC Cache használatával skálázza a számítási feladatokat a felhőben, de az adatkészletet véglegesen egy helyszíni adatközpontban tárolja. Ha olyan számítási feladatok történnek az adatközpontban, amelyek az Azure HPC Cache-ben létrehozott változásoktól függenek, ezzel a segédprogrammal "leküldheti" a felhőfeladat által létrehozott kimenetet vagy módosításokat a helyszíni NAS-tárolóba. Ez lehetővé teszi, hogy az új fájlokat szinte azonnal felhasználják a helyszíni számítási erőforrások.

Választás az egyéni visszaírás és a kipirulás között

Kényszerítheti az adatok visszaírását az Azure HPC Cache-be beépített "storage target flush" beállítással , de ez a megközelítés nem feltétlenül megfelelő minden helyzetben.

• Az összes módosított fájl visszaírása a tárolórendszerbe több percet vagy akár órákat is igénybe vehet az adatok mennyiségétől és a helyszíni rendszerhez való hálózati kapcsolat sebességétől függően. Emellett nem választhatja ki csak azokat a fájlokat, amelyek megírását befejezte; a még aktívan módosított fájlok is szerepelni fognak ebben a számításban.

• A gyorsítótár blokkolhatja a tárolási céltól érkező kérések kézbesítését a kiürítési folyamat során. Ez késleltetheti a feldolgozást, ha más számítási ügyfelek ugyanazon a tárolóhelyen található fájlokat használnak.

• A művelet aktiválásához közreműködői hozzáférésre van szükség az Azure Resource Managerhez, amelyhez a végfelhasználók esetleg nem rendelkeznek.

Több párhuzamos (de nem átfedésben lévő) számítási feladat is lehet például, amelyek ugyanazon a HPC Cache-tárolóhelyen található adatokat használnak fel. Amikor egy feladat befejeződik, azonnal meg kell írnia a feladat kimenetét a gyorsítótárból a háttérbeli hosszú távú tárolóba.

Három lehetőség közül választhat:

• Várjon, amíg a gyorsítótárban lévő fájlok automatikusan vissza lesznek írva a gyorsítótárból , de előfordulhat, hogy a fájlok több mint egy óráig ülnek a gyorsítótárban, mielőtt teljesen visszaírták volna őket. Az időzítés függ a gyorsítótárhasználati modell visszaírási késleltetésétől, valamint egyéb tényezőktől, például a hálózati kapcsolat teljesítményétől és a fájlok méretétől. (Olvasás A gyorsítótárhasználati modellek megismerése a visszaírás késleltetésének további megismeréséhez.)

• Azonnal ürítse ki a gyorsítótárazott fájlokat a teljes tárolási célhoz , de ez megzavarná a tárolóhely adatait is használó egyéb számítási feladatokat.

• Ezzel a testreszabott visszaíró segédprogrammal speciális NFS-kérést küldhet a gyorsítótárba, hogy csak a kívánt fájlokat írja vissza. Ez a forgatókönyv nem zavarja meg más ügyfelek hozzáférését, és a számítási feladat bármely pontján aktiválható.

Tudnivalók a visszaíró segédprogramról

A visszaíró segédprogram rendelkezik egy szkripttel, amellyel megadhatja a gyorsítótárból a hosszú távú tárolórendszerbe írandó egyes fájlokat.

A szkript a fájlok bemeneti adatfolyamát, valamint a tároló célexportálásához szükséges gyorsítótár-névtér elérési útját és a HPC Cache csatlakoztatási IP-címét használja.

A szkript egy NFSv3 "véglegesítési" hívást használ, amelynek speciális argumentumai engedélyezve van. A Linux nfs-common ügyfél nem tudja megfelelően átadni ezeket az argumentumokat, ezért a flush_file.py segédprogram egy NFS-ügyfélemulátort használ egy Python-kódtárban a HPC Cache NFS szolgáltatással való kommunikációhoz. A kódtár mindent tartalmaz, ami megfelel a számítási ügyfél Linux-kernel-alapú NFS-ügyfélében esetlegesen fennálló korlátozásoknak.

A funkció használatához a következőket kell tennie:

• Telepítse a hpc-cache-nfsv3-client tárat a GitHub Microsoft HPC-Cache-NFSv3-client adattárából a következő helyen https://github.com/microsoft/hpc-cache-nfsv3-client: . egy vagy több számítási ügyfélen. Az előfeltétel-információkat és utasításokat az adattár README-fájljában találja.

• A mellékelt "flush_file.py" szkripttel kérje meg a gyorsítótárat, hogy írja meg a szükséges fájlokat a hosszú távú tárolórendszerbe.

További információ a flush_file.py szkript telepítéséről és használatáról a GitHub-adattárban.