Podpora protokolu NFS (Network File System) 3.0 pro Azure Blob Storage

Azure Blob Storage teď podporuje protokol NFS (Network File System) 3.0. Tato podpora poskytuje kompatibilitu systému souborů s Linuxem ve škálování a cenách úložiště objektů a umožňuje klientům s Linuxem připojit kontejner ve službě Blob Storage z virtuálního počítače Azure nebo místního počítače.

Je výzvou ke spouštění rozsáhlých starších úloh, jako je vysokovýkonné výpočetní prostředí (HPC) v cloudu. Jedním z důvodů je, že aplikace k přístupu k datům často používají tradiční souborové protokoly, jako je NFS. Nativní cloudové služby úložiště zaměřené na úložiště objektů mají také plochý obor názvů a rozsáhlá metadata místo systémů souborů, které poskytují hierarchický obor názvů a efektivní operace metadat.

Blob Storage teď podporuje hierarchický obor názvů. V kombinaci s podporou protokolu NFS 3.0 usnadňuje Azure spouštění starších aplikací nad rozsáhlým cloudovým úložištěm objektů.

Aplikace a úlohy vhodné pro použití systému souborů NFS 3.0 s Blob Storage

Funkce protokolu NFS 3.0 je optimalizovaná pro úlohy s vysokou propustností a velkými nároky na čtení se sekvenčními vstupně-výstupními operacemi. Je ideální pro scénáře, které zahrnují více čtenářů a řadu vláken, ve kterých je propustnost důležitější než nízká latence. K běžným příkladům patří:

  • Vysokovýkonné výpočetní prostředí: Úlohy HPC často zahrnují tisíce jader, které čtou současně stejné velké datové sady. Funkce protokolu NFS 3.0 používá propustnost úložiště objektů k odstranění tradičních kritických bodů souborového serveru. Tady je několik příkladů:

    • Sekvencování genomiky: Zpracování obrovských datových sad DNA
    • Modelování finančních rizik: Použití simulací Monte Carlo na historických datech
    • Seismická analýza: Analýza geologických dat pro průzkum ropy a plynu
    • Předpověď počasí: Modelování atmosférických dat pro předpověď klimatu a bouře
  • Velké objemy dat a analýzy (datová jezera):Mnoho analytických nástrojů vyžaduje hierarchické adresáře. BlobNFS (prostřednictvím Azure Data Lake Storage Gen2) poskytuje tuto strukturu a podporuje standardní protokoly souborů. Tady je několik příkladů:

    • Strojové učení: Podávání trénovacích dat do clusterů GPU pomocí standardních vstupně-výstupních operací souborů
    • Log Analytics: Agregace logových protokolů z tisíců zdrojů
  • Advanced Driver Assistance Systems (ADAS): Pracovní postupy ADAS vytvářejí petabajty sekvenčních dat snímačů, jako jsou cloudy bodů LiDAR a kanály kamery s vysokým rozlišením. Data se musí efektivně ingestovat a analyzovat ve velkém měřítku pro simulaci a trénování modelů. Příkladem je ukládání nezpracovaných skenů LiDAR a video streamů z více kamer z autonomních testovacích vozidel pomocí systému souborů NFS 3.0 a následné spouštění rozsáhlých simulací přehrávání napříč tisíci výpočetními uzly pro ověření algoritmů detekce.

  • Média a zábava: Renderovací farmy potřebují efektivní přístup k rozsáhlým knihovnám zdrojů. NFS 3.0 prostřednictvím objektu blob poskytuje souborové rozhraní pro starší nástroje pro vykreslování, které očekávají cesty k souborům. Tady je několik příkladů:

    • Vykreslování videa: Načítání zdrojových aktiv pomocí distribuovaných uzlů
    • Překódování: Převod velkých nezpracovaných videosouborů do formátů streamování
  • Zálohování databáze: Nákladově efektivní cíl NFS s vysokou propustností 3.0 bez složitých konektorů nebo drahých snímků. Oracle RMAN může zapisovat velké části záloh přímo pro dlouhodobou archivaci a povolit přímé obnovení z libovolného linuxového virtuálního počítače připojeného k systému souborů NFS.

Kdy nepoužívat NFS 3.0 s uložištěm Blob

Nepoužívejte sdílené složky pro obecné účely nebo transakční úlohy kvůli charakteristikám úložiště objektů:

Typ úlohy Reason Lepší alternativa
Transakční databáze Vyžaduje podrobné zamykání, latenci submillisekund a časté náhodné zápisy. Spravované disky nebo Azure NetApp Files nebo Azure Files
Místní úpravy souborů Při úpravách souborů se vynutí úplné přepsání objektů blob, což způsobuje, že operace jsou neefektivní. Azure Files

NFS 3.0 a hierarchický obor názvů

Podpora protokolu NFS 3.0 vyžaduje uspořádání blobů do hierarchického oboru názvů. Hierarchický obor názvů můžete povolit při vytváření účtu úložiště.

Azure Data Lake Storage zavedla možnost používat hierarchický obor názvů. Uspořádá objekty (soubory) do hierarchie adresářů a podadresářů stejným způsobem jako systém souborů v počítači. Hierarchický obor názvů se škáluje lineárně a nezpůsobí snížení kapacity dat ani výkonu. Různé protokoly se odvozují z hierarchického prostoru názvů. Protokol NFS 3.0 je jedním z dostupných protokolů.

Diagram znázorňující hierarchický obor názvů

Data uložená jako objekty blob bloku

Když vaše aplikace provede požadavek pomocí protokolu NFS 3.0, tento požadavek se přeloží do kombinace operací blokového objektu Blob. Například požadavky NFS 3.0 pro čtení vzdáleného volání procedur (RPC) se překládají do operací Get Blob. Požadavky RPC pro zápis v NFS 3.0 se překládají do kombinace příkazů Načíst seznam bloků, Vložit blok a Vložit seznam bloků.

Blokové bloby jsou optimalizované pro efektivní zpracování dat s velkým nárokem na čtení. Blokové objekty blob se skládají z bloků. ID bloku identifikuje každý blok. Objekt blob bloku může obsahovat až 50 000 bloků. Každý blok v blokovém blobu může mít různou velikost až do maximální velikosti povolené pro verzi služby, kterou používá váš účet.

NFSv3 RPC Operace rozhraní REST API
Metadata a atributy
Nfs3GetAttr Get Blob Properties
Nfs3SetAttr Set Blob Properties (Pokud je nastavena velikost souboru, Nfs3Write vyvolá se.)
Nfs3Lookup Get Blob Properties
Nfs3Access Get Blob Properties
Nfs3Readlink Get Blob Properties
Nfs3FsStat Get Blob Properties
Nfs3Fsinfo Get Blob Properties
Nfs3Pathconf Get Blob Properties
Výčet adresářů
Nfs3ReadDir List Blobs
Nfs3ReadDirPlus List Blobs
Operace čtení
Nfs3Read Get Blob
Nfs3ReadLink Get Blob Properties + Get Blob základního souboru.
Operace zápisu
NFs3Write Get Block List (1) + Put Block (x) + Put Block List (1)
Nfs3Commit Žádná operace.
Životní cyklus souborů
Nfs3Create Put Blob + Get Blob Properties
Nfs3Remove Delete Blob
Nfs3Rename Nepodporované (není k dispozici mapování 1–1).
Nfs3Link Nepodporováno.
Správa adresářů
Nfs3MkDir Put Blob + Get Blob Properties
Nfs3RmDir Put Blob
Jiný
Nfs3SymLink Put Blob + Get Blob Properties
Nfs3MkNod Nepodporováno.
Nfs3Null Žádná operace.

Zásahy nebo nedostatky mezipaměti můžou aktivovat další Get Blob Properties požadavky na získání atributů před operací a po operaci. Několik proměnných ovlivňuje počet transakcí služby Blob Storage pro komplexní operace (například čtení souborů nebo zápis) a může se lišit napříč iteracemi. Pokud chcete odhadnout počty transakcí pro reprezentativní úlohy, použijte Blob Storage protokoly pro ukázkové scénáře.

Obecný pracovní postup: Připojení kontejneru účtu úložiště

Klienti s Linuxem můžou připojit kontejner ve službě Blob Storage z virtuálního počítače Azure nebo místního počítače. Pokud chcete připojit kontejner účtu úložiště, proveďte tyto úlohy:

  1. Vytvořte virtuální síť Azure.
  2. Nakonfigurujte zabezpečení sítě.
  3. Vytvořte a nakonfigurujte účet úložiště, který přijímá provoz pouze z virtuální sítě.
  4. Vytvořte kontejner v účtu úložiště.
  5. Připojte kontejner.

Podrobné pokyny najdete v tématu Připojení služby Blob Storage pomocí protokolu NFS (Network File System) 3.0.

Zabezpečení sítě

Provoz musí pocházet z virtuální sítě. Virtuální síť umožňuje klientům bezpečně se připojit k vašemu účtu úložiště. Jediným způsobem, jak zabezpečit data ve vašem účtu, je použití virtuální sítě a dalších nastavení zabezpečení sítě. Jakýkoli jiný nástroj používaný k zabezpečení dat, včetně autorizace klíče účtu, zabezpečení Microsoft Entra a seznamů řízení přístupu (ACL), se nedá použít k autorizaci požadavku NFS 3.0.

Další informace najdete v doporučeních zabezpečení sítě pro službu Blob Storage.

Poznámka:

Filtrování veřejných IP adres pro přístup k vašemu účtu úložiště se nepodporuje.

Podporovaná síťová připojení

Klienti se můžou připojit přes veřejný nebo privátní koncový bod , pokud připojení pochází z některého z následujících síťových umístění:

Důležité

Protokol NFS 3.0 používá porty 111 a 2048. Pokud se připojujete z místní sítě, ujistěte se, že klient umožňuje odchozí komunikaci přes tyto porty. Pokud jste udělili přístup ke konkrétním virtuálním sítím, ujistěte se, že žádné skupiny zabezpečení sítě přidružené k těmto virtuálním sítím neobsahují pravidla zabezpečení, která blokují příchozí komunikaci prostřednictvím těchto portů.

Známé problémy a omezení

Úplný seznam problémů a omezení aktuální verze podpory systému souborů NFS 3.0 najdete v tématu Známé problémy.

Ceny

Informace o nákladech na úložiště dat a transakce najdete na stránce s cenami služby Azure Blob Storage .