Använda arkivjobb för att exportera data från Azure Managed Lustre

Den här artikeln beskriver hur du kopierar data från ditt Azure Managed Lustre-filsystem till långsiktig lagring i Azure Blob Storage genom att skapa ett arkivjobb och förklarar vad som exporteras från filsystemet.

Den här exportmetoden är endast tillgänglig när du integrerar Azure Blob Storage med ditt Azure Managed Lustre-filsystem när du skapar filsystemet. Mer information finns i Azure Blob Storage integration. Om du inte integrerade en blobcontainer när du skapade filsystemet använder du kommandon för klientfilsystem för att kopiera data utan att skapa ett arkivjobb.

Vilka filer exporteras ett arkivjobb?

När du arkiverar filer från ditt Azure Managed Lustre-system kopieras inte alla filer till blobcontainern som du angav när du skapade filsystemet:

• Arkivera jobb kopierar endast filer som är nya eller vars innehåll har ändrats. Om filen som du importerade från blobcontainern när filsystemet skapades är oförändrad exporterar inte arkivjobbet filen.
• Filer med metadataändringar exporteras inte. Metadataändringar omfattar: ägare, behörigheter, utökade attribut och namnändringar (omdöpt).
• Om du tar bort en fil i Azure Managed Lustre-filsystemet tar inte arkivjobbet bort filen från den ursprungliga källan.

Arkivering av data är en manuell process som du kan utföra i Azure Portal eller med hjälp av kommandon i det interna Lustre-klient-CLI:et. Med båda metoderna kan du övervaka tillståndet för arkivjobbet.

Följande procedurer beskriver hur du:

• Skapa ett arkivjobb i Azure Portal
• Övervaka eller avbryta ett arkivjobb i Azure Portal
• Skapa ett arkivjobb med hjälp av kommandon i det inbyggda Lustre CLI
• Övervaka arkiveringstillståndet för en fil med hjälp av interna Luster CLI-kommandon

Skapa ett arkivjobb i Azure Portal

Så här skapar du ett arkivjobb för att exportera ändrade data från ett Azure Managed Lustre-filsystem i Azure Portal:

1. Logga in på Azure Portal och öppna ditt Azure Managed Lustre-filsystem.

2. Under Inställningar öppnar du sidan blobintegrering för att exportera ändrade filer till den integrerade blobcontainern.

   

3. Välj + Skapa arkivjobb.

   

4. Ange en filsystemsökväg för att ange vad som ska exporteras i arkivjobbet. Välj sedan OK.

   • Alla nya eller ändrade filer vars filnamn börjar med den här strängen i Azure Managed Lustre-filsystemet exporteras.

   • Filer skrivs till blobcontainern med samma filsökväg (eller prefix) som de har i Lustre-systemet. Om du vill undvika att skriva över befintliga filer i blobcontainern kontrollerar du att filernas sökväg i Lustre-systemet inte överlappar de befintliga filernas sökväg i blobcontainern.

   

Övervaka eller avbryta ett arkivjobb i Azure Portal

Du kan övervaka eller avbryta arkivjobb som du har skapat via blobintegrering med ditt Azure Managed Lustre-filsystem i Azure Portal. Avsnittet Arkivera jobb på sidan blobintegrering visar status för varje jobb.

Endast ett arkivjobb körs i taget. Om du vill avbryta jobbet som pågår väljer du knappen Avbryt överst på sidan. Eller välj länken Avbryt för jobbet i tabellen Arkivera jobb . Länken Avbryt är inte tillgänglig för ett slutfört jobb.

Skapa arkivjobb med hjälp av den inbyggda Lustre-klientens CLI

Om du vill skapa ett arkivjobb för att exportera ändrade data från ett Azure Managed Lustre-filsystem med hjälp av det interna Cli-kommandot för Lustre-klienten använder du något av följande kommandon:

• Om du vill arkivera en enskild fil kör du ett kommando som liknar det här:

  sudo lfs hsm_archive path/to/export/file
  

• Om du vill arkivera alla filer i en katalog kör du ett kommando som liknar det här:

  nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
  

Övervaka arkivtillståndet med hjälp av den inbyggda Lustre-klientens CLI

Kör följande kommando för att kontrollera statusen för ett arkivjobb med hjälp av det interna Lustre-klient-CLI:et:

find path/to/export/file -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_action | grep "ARCHIVE" | wc -l

Varje fil har ett associerat tillstånd, vilket anger relationen mellan fildata i Lustre-filsystemet och fildata i Azure Blob Storage. Kör det här kommandot för att kontrollera tillståndet för en fil:

sudo lfs hsm_state path/to/export/file

Tillståndskommandot rapporterar tillståndet för ändringar i filen. I följande tabell visas möjliga filtillstånd:

Stat	Beskrivning
(0x0000000d) released exists archived	Filens innehåll (data) finns endast i Blob Storage. Endast metadata finns i Lustre. Ett arkivjobb uppdaterar inte (skriver över) filen i Blob Storage.
(0x00000009) exists archived	Ett arkivjobb exporterar inte filen till Blob Storage eftersom Blob Storage redan har den senaste kopian.
(0x0000000b) exists dirty archived	Filen har ändringar som inte arkiveras. Om du vill skicka ändringarna i Lustre tillbaka till Blob Storage kör du ett arkivjobb. Arkivjobbet skriver över filen i Blob Storage.
(0x00000000)	Filen är ny och finns bara i Filsystemet Lustre. Ett arkivjobb skapar en ny fil i blobcontainern. Om filen uppdateras igen i Lustre kör du ett annat arkivjobb för att kopiera ändringarna till Blob Storage.
(0x00000001) exists	Filen är ny och finns bara i Filsystemet Lustre. Ett arkivjobb har startats och har inte slutförts för den här filen.

Nästa steg

• Läs mer om Azure Blob Storage integrering med Lustre-filsystem