Hálózati fájlrendszer (NFS) 3.0 protokoll támogatása az Azure Blob Storage-hoz

Az Azure Blob Storage mostantól támogatja a Hálózati fájlrendszer (NFS) 3.0 protokollt. Ez a támogatás linuxos fájlrendszer-kompatibilitást biztosít objektumtárolási méretekben és árakon, és lehetővé teszi, hogy a Linux-ügyfelek azure-beli virtuális gépről vagy helyszíni számítógépről csatlakoztatjanak tárolót a Blob Storage-ba.

Nagy léptékű, hagyományos számítási feladatok, mint például a nagy teljesítményű számítástechnika (HPC) futtatása a felhőben, kihívást jelent. Ennek egyik oka, hogy az alkalmazások gyakran használnak hagyományos fájlprotokollokat, például NFS-t az adatok eléréséhez. Emellett az objektumtárolásra összpontosító natív felhőalapú tárolási szolgáltatások egyszerű névtérrel és kiterjedt metaadatokkal rendelkeznek a hierarchikus névteret és hatékony metaadat-műveleteket biztosító fájlrendszerek helyett.

A Blob Storage mostantól támogatja a hierarchikus névteret. Az NFS 3.0 protokoll támogatásával kombinálva az Azure sokkal egyszerűbbé teszi az örökölt alkalmazások futtatását a nagy méretű felhőalapú objektumtárolókon.

Az NFS 3.0 és Blob Storage használatára alkalmas alkalmazások és számítási feladatok

Az NFS 3.0 protokoll funkció nagy átviteli sebességű, nagy léptékű, olvasási nehéz számítási feladatokhoz van optimalizálva szekvenciális I/O-val. Ideális olyan forgatókönyvekhez, amelyek több olvasót és számos szálat érintenek, ahol az átviteli sebesség kritikusabb, mint az alacsony késés. Néhány általános példa:

  • Nagy teljesítményű számítástechnika: A HPC-feladatok gyakran több ezer magot foglalnak magukba, amelyek ugyanazt a nagy adathalmazt olvassák egyszerre. Az NFS 3.0 protokoll funkció objektumtárolási átviteli sebesség használatával kiküszöböli a hagyományos fájlkiszolgálók szűk keresztmetszeteit. Íme néhány példa:

    • Genomikai szekvenálás: Nagy mennyiségű DNS-adathalmaz feldolgozása.
    • Pénzügyi kockázat modellezése: Monte Carlo-szimulációk használata az előzményadatokon.
    • Szeizmikus elemzés: Az olaj- és gázkutatás geológiai adatainak elemzése.
    • Időjárás-előrejelzés: Légköri adatok modellezése az éghajlat és a vihar előrejelzéséhez.

  • Big data and analytics (data lakes): Számos elemzési eszköz hierarchikus könyvtárakat igényel. A BlobNFS (Azure Data Lake Storage Gen2 keresztül) biztosítja ezt a struktúrát, miközben támogatja a szabványos fájlprotokollokat. Íme néhány példa:

    • Gépi tanulás: A tanulási adatok feldolgozása GPU-fürtök számára szokásos fájl I/O használatával.
    • Log analytics: Naplók összesítése több ezer forrásból.

  • Advanced Driver Assistance Systems (ADAS): Az ADAS-munkafolyamatok petabájtnyi szekvenciális érzékelőadatokat hoznak létre, például LiDAR-pontfelhőket és nagy felbontású kameracsatornákat. Az adatokat hatékonyan kell betölteni, és nagy méretekben kell elemezni a szimulációhoz és a modell betanításához. Ilyen például a nyers LiDAR-vizsgálatok és a több kamerás videostreamek tárolása autonóm tesztjárművekből az NFS 3.0 használatával, majd nagy léptékű visszajátszási szimulációk futtatása több ezer számítási csomóponton az észlelési algoritmusok ellenőrzése érdekében.

  • Média és szórakozás: A renderfarmoknak hatékony hozzáférésre van szükségük a nagy eszköztárakhoz. A blob fölött működő NFS 3.0 fájl interfészt biztosít a régebbi renderelési eszközökhöz, amelyek fájl elérési utakra számítanak. Íme néhány példa:

    • Videómegjelenítés: Forrásegységek olvasása elosztott csomópontokkal.
    • Átkódolás: Nagy méretű nyers videofájlok konvertálása streamelési formátumokba.

  • Adatbázis biztonsági mentése: Költséghatékony, nagy átviteli sebességű NFS 3.0-s cél, összetett összekötők és drága pillanatképek nélkül. Az Oracle RMAN képes nagy biztonsági mentési darabokat írni közvetlenül a hosszú távú archiváláshoz, és lehetővé teszi a közvetlen visszaállítást bármely NFS-re csatlakoztatott Linux rendszerű virtuális gépről.

Mikor ne használja az NFS 3.0-t a Blob Storage-dzsal

Az objektumtárolási jellemzők miatt kerülje az általános célú fájlmegosztások vagy tranzakciós számítási feladatok használatát:

Terhelés típusa Jogcím Jobb alternatíva
Tranzakciós adatbázisok Részletes zárolást, almilliszekundumos késést és gyakori véletlenszerű írásokat igényel. Felügyelt lemezek vagy Azure NetApp Files vagy Azure Files
Helyszíni fájlszerkesztés A fájlok szerkesztése teljes blob-átírást kényszerít, ami miatt a műveletek nem hatékonyak. Azure Files

Az NFS 3.0 és a hierarchikus névtér

Az NFS 3.0 protokoll támogatásához a blobokat hierarchikus névtérbe kell rendezni. Tárfiók létrehozásakor engedélyezheti a hierarchikus névteret.

Az Azure Data Lake Storage bevezette a hierarchikus névtér használatát. Az objektumokat (fájlokat) ugyanúgy rendezi könyvtárak és alkönyvtárak hierarchiájába, mint a számítógépen lévő fájlrendszer. A hierarchikus névtér lineárisan skálázható, és nem csökkenti az adatkapacitást vagy a teljesítményt. A különböző protokollok a hierarchikus névtérből terjednek ki. Az NFS 3.0 protokoll az egyik elérhető protokoll.

Hierarchikus névteret ábrázoló diagram.

Blokkblobokként tárolt adatok

Ha az alkalmazás az NFS 3.0 protokoll használatával küld kérést, a kérés blokkblobműveletek kombinációjára lesz lefordítva. Például az NFS 3.0 távoli eljáráshívási (RPC) olvasási kéréseit Blob lekérés műveletekké fordítják le. Az NFS 3.0 írási RPC-kérések a következő műveletek kombinációjára vannak lefordítva: Blokklista lekérése, Blokk elhelyezése, és Blokklista elhelyezése.

A blokkblobok nagy mennyiségű olvasási nehéz adat hatékony feldolgozására vannak optimalizálva. A blokkblobok blokkokból állnak. A blokkazonosító azonosítja az egyes blokkokat. A blokkblobok legfeljebb 50 000 blokkot tartalmazhatnak. A blokkblobok minden blokkja eltérő méretű lehet, a fiók által használt szolgáltatásverzióhoz megengedett maximális méretig.

NFSv3 RPC REST API-művelet
Metaadatok > attribútumok
Nfs3GetAttr Get Blob Properties
Nfs3SetAttr Set Blob Properties (Ha a fájlméret be van állítva, Nfs3Write a rendszer meghívja.)
Nfs3Lookup Get Blob Properties
Nfs3Access Get Blob Properties
Nfs3Readlink Get Blob Properties
Nfs3FsStat Get Blob Properties
Nfs3Fsinfo Get Blob Properties
Nfs3Pathconf Get Blob Properties
Címtár felsorolás
Nfs3ReadDir List Blobs
Nfs3ReadDirPlus List Blobs
Olvasási műveletek
Nfs3Read Get Blob
Nfs3ReadLink Get Blob Properties + Get Blob alapul szolgáló fájlból.
Írási műveletek
NFs3Write Get Block List (1) + Put Block (x) + Put Block List (1)
Nfs3Commit Nincs művelet.
Fájl életciklusa
Nfs3Create Put Blob + Get Blob Properties
Nfs3Remove Delete Blob
Nfs3Rename Nem támogatott (1-1 leképezés nélkül).
Nfs3Link Nem támogatott.
Címtárkezelés
Nfs3MkDir Put Blob + Get Blob Properties
Nfs3RmDir Put Blob
Mások
Nfs3SymLink Put Blob + Get Blob Properties
Nfs3MkNod Nem támogatott.
Nfs3Null Nincs végrehajtandó művelet.

A gyorsítótár-találatok vagy a kihagyott eredmények más Get Blob Properties kéréseket is kiválthatnak az előművelet előtti és a művelet utáni attribútumok lekéréséhez. Számos változó befolyásolja a Blob Storage-tranzakciók számát a teljes körű műveleteknél (például a fájlok olvasása vagy írása), és az iterációk között eltérő lehet. A reprezentatív számítási feladatok tranzakciószámának becsléséhez használja a mintaforgatókönyvek Blob Storage naplóit.

Általános munkafolyamat: Tárfióktároló csatlakoztatása

A Linux-ügyfelek csatlakoztathatnak egy tárolót a Blob Storage-ban egy Azure-beli virtuális gépről vagy egy helyszíni számítógépről. Tárfióktároló csatlakoztatásához hajtsa végre az alábbi feladatokat:

  1. Azure-beli virtuális hálózat létrehozása.
  2. Konfigurálja a hálózati biztonságot.
  3. Hozzon létre és konfiguráljon egy tárfiókot, amely csak a virtuális hálózatról fogad forgalmat.
  4. Hozzon létre egy tárolót a tárfiókban.
  5. Szerelje fel a tárolót.

Részletes útmutatásért tekintse meg a Blob Storage csatlakoztatását a Hálózati fájlrendszer (NFS) 3.0 protokoll használatával.

Hálózati biztonság

A forgalomnak virtuális hálózatból kell származnia. A virtuális hálózat lehetővé teszi, hogy az ügyfelek biztonságosan csatlakozzanak a tárfiókhoz. A fiókban lévő adatok védelmének egyetlen módja egy virtuális hálózat és más hálózati biztonsági beállítások használata. Az adatok védelmére szolgáló egyéb eszközök, például a fiókkulcs-engedélyezés, a Microsoft Entra biztonsági és hozzáférés-vezérlési listák (ACL-ek) nem használhatók NFS 3.0-kérések engedélyezésére.

További információkért tekintse meg a Blob Storage hálózati biztonsági ajánlásait.

Megjegyzés:

A tárfiók elérésére szolgáló nyilvános IP-szűrés nem támogatott.

Támogatott hálózati kapcsolatok

Az ügyfelek nyilvános vagy privát végponton keresztül csatlakozhatnak, ha a kapcsolat a következő hálózati helyek egyikéről származik:

Fontos

Az NFS 3.0 protokoll a 111- és a 2048-at használja. Ha helyszíni hálózatról csatlakozik, győződjön meg arról, hogy az ügyfél engedélyezi a kimenő kommunikációt ezeken a portokon keresztül. Ha adott virtuális hálózatokhoz adott hozzáférést, győződjön meg arról, hogy az adott virtuális hálózatokhoz társított hálózati biztonsági csoportok nem tartalmaznak olyan biztonsági szabályokat, amelyek blokkolják a bejövő kommunikációt ezeken a portokon keresztül.

Ismert problémák és korlátozások

Az NFS 3.0 támogatásának jelenlegi kiadásával kapcsolatos problémák és korlátozások teljes listáját az Ismert problémák című témakörben találja.

Díjszabás

Az adattárolási és tranzakciós költségekért tekintse meg az Azure Blob Storage díjszabási oldalát.

Kapcsolódó tartalom

  • Last updated on