Vad är Azure Managed Lustre?

  • Artikel

Azure Managed Lustre-tjänsten ger dig möjlighet att snabbt skapa ett Azure-baserat Lustre-filsystem som ska användas i molnbaserade databehandlingsjobb med höga prestanda.

Lustre är ett parallellt filsystem med öppen källkod som kan skalas till enorma lagringsstorlekar samtidigt som det ger dataflöde med höga prestanda. Lustre används av världens snabbaste superdatorer och i datacentrerade arbetsflöden för många typer av branscher. Mer information finns i https://www.lustre.org.

Azure Managed Lustre sparar arbetet med att etablera, konfigurera och hantera ditt eget Lustre-filsystem. Med kommandot Skapa i Azure Portal kan du snabbt distribuera ett Lustre-filsystem i den storlek som du behöver, ansluta klienterna och vara redo att använda systemet.

Microsoft Azure Blob Storage är integrerat med Azure Managed Lustre, vilket gör att du kan ange filer som ska importeras från en blobcontainer för filsystemets användning. När jobben för databehandling med höga prestanda är klara kan du exportera ändrade data till Azure Blob Storage och ta bort Azure Managed Lustre-systemet. Mer information finns i Azure Blob Storage integrering senare i den här artikeln.

Du kan också använda ditt Azure Managed Lustre-filsystem med dina Azure Kubernetes Service-containrar (AKS). Mer information finns i Använda Azure Managed Lustre med Kubernetes.

Datasäkerhet i Azure Managed Lustre

Alla data som lagras i Azure krypteras i vila med azure-hanterade nycklar som standard. Om du vill hantera de nycklar som används för att kryptera data som lagras i ditt Azure Managed Lustre-kluster följer du anvisningarna i Kryptering på serversidan för Azure-disklagring.

All information i ett Azure Managed Lustre-filsystem skyddas också av kryptering av virtuella datorer på de hanterade diskar som innehåller dina data, även om du lägger till en kundhanterad nyckel för Lustre-diskarna. Att lägga till en kundhanterad nyckel ger en extra säkerhetsnivå för kunder med höga säkerhetsbehov. Mer information finns i Kryptering på serversidan av Azure-disklagring.

Anteckning

Azure Managed Lustre lagrar inte kunddata utanför den region där du distribuerar tjänstinstansen.

Dataåterhämtning i Azure Managed Lustre

Ditt Azure Managed Lustre-filsystem använder Azure-hanterade diskar som OST-datadiskar (Object Storage Target).

Alla Azure Managed Lustre-filsystem som skapas som en "varaktig" filsystemtyp använder Azure Premium SSD-diskar (solid state drive) som konfigurerats som lokalt redundant lagring (LRS). LRS-diskinnehåll replikeras tre gånger inom det lokala datacentret för att skydda mot disk- och serverrackfel.

Själva Azure Managed Lustre-filsystemet bidrar också till dataresiliens genom de objektlagringsprocesser som används för att lagra data på dessa diskar.

Om du behöver regional eller global dataredundans kan du integrera filsystemet med Azure Blob Storage. När du är integrerad kan du använda arkivjobb för att exportera filer till en Azure Blob Storage container med en annan redundansprincip för långsiktig lagring. Konfigurera Azure Blob Storage redundans för lagringskontot. Du kan välja zonindelad dataredundans (ZRS) eller global dataredundans (GRS) när du skapar lagringskontot. Mer information om alternativ för dataredundans för dina Azure Managed Lustre-filer finns i Lagringskontotyper som stöds.

Azure Blob Storage integrering

Microsoft Azure Blob Storage är integrerat med Azure Managed Lustre, vilket gör att du kan ange filer som ska importeras från en blobcontainer för filsystemets användning. Azure Blob Storage integrering är en tillämpning av Lustre-hierarkisk lagringshantering (HSM). Du behöver inte importera hela datauppsättningen för varje jobb. I stället kan du skapa ett annat filsystem för olika jobb och lagra data i azure-blobcontainrar med lägre kostnad mellan användningarna. När jobben för databehandling med höga prestanda är klara kan du exportera ändrade data till Azure Blob Storage och ta bort Azure Managed Lustre-systemet.

Azure Managed Lustre är anpassat för att fungera sömlöst med Azure Blob Storage. Du kan ange en befintlig blobcontainer för att göra befintliga data tillgängliga från ditt Azure Managed Lustre-filsystem, eller ange en tom container som du fyller i med data eller använder för att lagra dina utdata. Installationen och underhållet görs åt dig. Du anger bara vilken blobcontainer som ska användas.

Om du integrerar Azure Blob Storage när du skapar ett Lustre-filsystem kan du använda Lustre HSM-funktioner. Om du inte vill ha fördelarna med Lustre HSM kan du importera och exportera data för Azure Managed Lustre-filsystemet med hjälp av klientkommandon direkt.

Använda Azure Managed Lustre med Kubernetes

Om du vill använda ett Azure Managed Lustre-lagringssystem med dina Kubernetes-containrar kan du använda CSI-drivrutinen (Azure Lustre Container Support Interface) för Kubernetes, som är kompatibel med Azure Kubernetes Service (AKS). Andra typer av Kubernetes-installationer stöds inte för närvarande.

Kubernetes kan förenkla konfigurationen och distributionen av virtuella klientslutpunkter för din Azure Managed Lustre-arbetsbelastning och automatisera konfigurationsuppgifter som:

  • Skapa Azure Virtual Machine Scale Sets som används av Azure Kubernetes Service (AKS) för att köra poddarna.
  • Läser in rätt Lustre-klientprogramvara på VM-instanser.
  • Ange monteringspunkten för Azure Managed Lustre och sprida informationen till klientpoddarna.

Azure Lustre CSI-drivrutinen för Kubernetes kan automatisera installationen av klientprogramvaran och monteringsenheterna. Drivrutinen tillhandahåller ett CSI-kontrollant-plugin-program som en distribution med två repliker som standard och ett CSI-nod-plugin-program som daemonSet. Du kan ändra antalet repliker.

Information om vilka drivrutinsversioner som ska användas finns i Kompatibla Kubernetes-versioner.

Nästa steg