Använda Azure Blob Storage med Azure Managed Lustre

Den här artikeln beskriver begrepp för att använda Azure-blobintegrering med Azure Managed Lustre-filsystem.

Om du vill lära dig vilka krav och konfiguration som krävs för en kompatibel blobcontainer, krävs blobintegrering.

Azure Managed Lustre stöder både hierarkiska och icke-hierarkiska namnrymder för blobar med följande mindre skillnader:

• Med en hierarkisk namnområdescontainer läser Azure Managed Lustre POSIX-attribut från blobhuvudet.
• Med en icke-hierarkisk container läser Azure Managed Lustre POSIX-attribut från blobmetadata. En separat tom fil med samma namn som innehållet i blobcontainern skapas för att lagra metadata. Den här filen är på samma nivå som den faktiska datakatalogen i Filsystemet Azure Managed Lustre.

Några viktiga interaktioner mellan Azure Managed Lustre och Blob är:

• Endast filnamn (namnområde) och metadata importeras när filsystemet skapas. Blobinnehållet importeras senare vid första åtkomst.

  När filsystemet skapas importeras namnområdet och metadata från bloben eller HNS-lagringscontainern till Lustre-namnområdet.  Varje blob importeras som en fil med snedstreck i de blobsökvägsnamn som motsvarar kataloger som skapats i Lustre.  Du kan ange en delmängd av namnområdet som ska importeras med hjälp av ett importprefix.

• Vid den första klientåtkomsten (när filsystemsdistributionen har slutförts) hämtas innehållet i blobarna till filsystemet.  Det blir en liten fördröjning vid den första åtkomsten tills data är tillgängliga medan funktionen Lustre Hierarchical Storage Management (HSM) hämtar blobinnehållet till motsvarande fil i filsystemet.

• När nya filer skapas eller befintliga filer ändras i filsystemet kan du exportera dessa filer tillbaka till lagringskontot genom att köra Lustre cli-kommandon på klienten eller använda den hanterade processen enligt beskrivningen Export data using archive jobs i artikeln.

Anteckning

Du kan också förinstallera innehållet i blobar med hjälp av Lustre-kommandot lfs hsm_restore från en monterad klient med sudo-funktioner med hjälp av kommandot nedan.

nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_restore &

Filtrera blobimporter

När du skapar filsystemet Azure Managed Lustre kan du ange ett prefix för att filtrera data som importerats till Azure Managed Lustre-filsystemet. Innehåll som matchar prefixet läggs till i en metadatapost i filsystemet. När klienter begär en fil hämtas dess innehåll från blobcontainern och lagras i filsystemet.

Använd alternativet Importera prefix på fliken Avancerat för att avgöra vilka data som importeras från blobcontainern när systemet skapas. Det här fältet kan inte ändras när du har skapat filsystemet Azure Managed Lustre.

• Standardimportprefixet, /, importerar hela innehållet i blobcontainern.

• Om du inte vill importera filer från blobcontainern kan du ange ett importprefix som inte matchar några filer i containern.

• Om du använder en hierarkisk bloblagringstjänst (t.ex. NFSv3-monterad bloblagring) kan du betrakta prefixet som en filsökväg. Objekt under sökvägen ingår i filsystemet Azure Managed Lustre.

• Om du använder din blobcontainer som ett icke-hierarkiskt objektarkiv kan du även betrakta importprefixet som en söksträng som jämförs med början av blobobjektets namn. Om namnet på en fil i blobcontainern börjar med strängen som du angav som importprefix görs filen tillgänglig i filsystemet. Lustre är ett hierarkiskt filsystem och / tecken i blobfilnamn blir katalogavgränsare när de lagras i Lustre.

Metadata för exporterade filer

När filer arkiveras från Azure Managed Lustre-systemet till blobcontainern sparas ytterligare metadata för att förenkla omimporteringen av innehållet till ett Azure Managed Lustre-filsystem.

• Följande POSIX-attribut från Lustre-filsystemet sparas i blobmetadata som nyckel/värde-par (värdetyp inom parentes):

  • owner: (int)
  • group: (int)
  • permissions: (octal- eller rwxrwxrwx-format; fäst bit stöds)

• Katalogattribut sparas i en tom blob. Den här bloben har samma namn som katalogsökvägen och innehåller följande nyckel/värde-par i blobmetadata:

  hdi_isfolder : true

Du kan ändra POSIX-attributen manuellt innan du använder containern för att återfukta ett nytt Lustre-kluster. Redigera eller lägg till blobmetadata med hjälp av nyckel/värde-paren som beskrevs tidigare.

Kopiera en Lustre-blobcontainer med AzCopy eller Storage Explorer

Du kan flytta eller kopiera blobcontainern som Lustre använder med hjälp av AzCopy eller Storage Explorer.

För AzCopy kan du inkludera katalogattribut genom att lägga till följande flagga:

--include-directory-stub

Om du inkluderar den här flaggan bevaras katalogens POSIX-attribut under en överföring, ownertill exempel , groupoch permissions. Om du använder azcopy på lagringscontainern utan den här flaggan, eller med flaggan inställd falsepå , inkluderas data och kataloger i överföringen, men katalogerna behåller inte sina POSIX-attribut.

I Storage Explorer kan du aktivera den här flaggan i Inställningar genom att välja Överföringar och markera kryssrutan Inkludera katalogstubbar.

Nästa steg

• Förbereda förutsättningar för bloblagringsintegrering