Opslagdoelen toevoegen

Opslagdoelen zijn back-endopslag voor bestanden die worden geopend via een Azure HPC Cache. U kunt NFS-opslag (zoals een on-premises hardwaresysteem) toevoegen of gegevens opslaan in Azure Blob.

De cache bevat alle opslagdoelen in één geaggregeerde naamruimte. De naamruimtepaden worden afzonderlijk geconfigureerd nadat u de opslagdoelen hebt toegevoegd.

Houd er rekening mee dat de opslagexports toegankelijk moeten zijn vanuit het virtuele netwerk van uw cache. Voor on-premises hardwareopslag moet u mogelijk een DNS-server instellen waarmee hostnamen voor toegang tot NFS-opslag kunnen worden omgezet. Lees meer in DNS-toegang.

Voeg opslagdoelen toe nadat u de cache hebt gemaakt. Volg dit proces:

1. De cache maken
2. Een opslagdoel definiëren (informatie in dit artikel)
3. De clientgerichte paden maken (voor de geaggregeerde naamruimte)

De procedure voor het toevoegen van een opslagdoel verschilt enigszins, afhankelijk van het type opslag dat wordt gebruikt. Hieronder vindt u meer informatie.

Het juiste type opslagdoel kiezen

U kunt kiezen uit drie typen opslagdoel: NFS, Blob en ADLS-NFS. Kies het type dat overeenkomt met het type opslagsysteem dat u gebruikt om uw bestanden op te slaan tijdens dit HPC Cache-project.

• NFS : maak een NFS-opslagdoel voor toegang tot gegevens op een NAS-systeem (Network Attached Storage). Dit kan een on-premises opslagsysteem of een ander opslagtype zijn dat toegankelijk is met NFS.

  • Vereisten: NFS-opslagvereisten
  • Instructies: Een nieuw NFS-opslagdoel toevoegen

• Blob : gebruik een blobopslagdoel om uw werkbestanden op te slaan in een nieuwe Azure Blob-container. Deze container kan alleen worden gelezen of geschreven vanuit de Azure HPC Cache.

  • Vereisten: Vereisten voor Blob Storage
  • Instructies: Een nieuw Azure Blob Storage-doel toevoegen

• ADLS-NFS : het ADLS-NFS-opslagdoel heeft toegang tot gegevens uit een blobcontainer met NFS-functionaliteit. U kunt de container vooraf laden met behulp van standaard NFS-opdrachten en de bestanden kunnen later worden gelezen met NFS.

  • Vereisten: ADLS-NFS-opslagvereisten
  • Instructies: Een nieuw ADLS-NFS-opslagdoel toevoegen

Een nieuw Azure Blob Storage-doel toevoegen

Een nieuw Blob Storage-doel heeft een lege Blob-container of een container nodig die is gevuld met gegevens in de indeling van het cloudbestandssysteem van Azure HPC Cache. Lees meer over het vooraf laden van een Blob-container in Gegevens verplaatsen naar Azure Blob Storage.

De pagina Opslagdoel toevoegen in Azure Portal bevat de optie voor het maken van een nieuwe Blob-container net voordat u deze toevoegt.

Notitie

• Voor NFS-gekoppelde blobopslag gebruikt u het doeltype ADLS-NFS-opslag.
• Cacheconfiguraties met hoge doorvoer bieden geen ondersteuning voor standaard Azure Blob Storage-doelen. Gebruik in plaats daarvan NFS-blobopslag (ADLS-NFS).

Portal

Open uw cache-exemplaar in Azure Portal en klik op Opslagdoelen in de zijbalk aan de linkerkant.

De pagina Opslagdoelen bevat alle bestaande doelen en geeft een koppeling om een nieuwe toe te voegen.

Klik op de knop Opslagdoel toevoegen.

Voer deze informatie in om een Azure Blob-container te definiëren.

• Naam van opslagdoel: stel een naam in die dit opslagdoel identificeert in de Azure HPC Cache.

• Doeltype : kies Blob.

• Opslagaccount : selecteer het account dat u wilt gebruiken.

  U moet het cache-exemplaar autoriseren voor toegang tot het opslagaccount, zoals beschreven in De toegangsrollen toevoegen.

  Lees blobopslagvereisten voor informatie over het type opslagaccount dat u kunt gebruiken.

• Opslagcontainer : selecteer de blobcontainer voor dit doel of klik op Nieuwe maken.

  

Wanneer u klaar bent, klikt u op OK om het opslagdoel toe te voegen.

Notitie

Als de firewall van uw opslagaccount is ingesteld om de toegang tot alleen 'geselecteerde netwerken' te beperken, gebruikt u de tijdelijke tijdelijke oplossing die wordt beschreven in firewallinstellingen van het Blob Storage-account.

De rollen voor toegangsbeheer toevoegen aan uw account

Azure HPC Cache maakt gebruik van op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) om de cacheservice toegang te geven tot uw opslagaccount voor Azure Blob Storage-doelen.

De eigenaar van het opslagaccount moet expliciet de rollen Inzender voor opslagaccounts en Inzender voor opslagblobgegevens toevoegen voor de gebruiker 'HPC Cache-resourceprovider'.

U kunt dit van tevoren doen of door te klikken op een koppeling op de portalpagina waar u een Blob Storage-doel toevoegt. Houd er rekening mee dat het maximaal vijf minuten kan duren voordat de rolinstellingen zijn doorgegeven via de Azure-omgeving. Wacht enkele minuten nadat u de rollen hebt toegevoegd voordat u een opslagdoel maakt.

1. Open Toegangsbeheer (IAM) voor uw opslagaccount.

2. Selecteer Toevoegen>Roltoewijzing toevoegen om het deelvenster Roltoewijzing toevoegen te openen.

3. Wijs de volgende rollen één voor één toe. Raadpleeg Azure-rollen toewijzen met Azure Portal voor informatie over het toewijzen van rollen.

   Instelling	Weergegeven als
   Rollen	Inzender voor opslagaccounts Inzender van opslag-blobgegevens
   Toegang toewijzen aan	'HPC Cache-resourceprovider' of 'StorageCache-resourceprovider'

   

Azure-CLI

Vereiste: Toegang tot opslagaccount

Azure CLI instellen voor Azure HPC Cache.

Voordat u een blobopslagdoel toevoegt, controleert u of de cache de juiste rollen heeft voor toegang tot het opslagaccount en of de firewallinstellingen het maken van het opslagdoel toestaan.

Azure HPC Cache maakt gebruik van op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) om de cacheservice toegang te geven tot uw opslagaccount voor Azure Blob Storage-doelen.

De eigenaar van het opslagaccount moet expliciet de rollen Inzender voor opslagaccounts en Inzender voor opslagblobgegevens toevoegen voor de gebruiker 'HPC Cache-resourceprovider'.

Het maken van het opslagdoel mislukt als de cache deze rollen niet heeft.

Het kan vijf minuten duren voordat de rolinstellingen zijn doorgegeven via de Azure-omgeving. Wacht dus enkele minuten nadat u de rollen hebt toegevoegd voordat u een opslagdoel maakt.

Lees Azure-roltoewijzingen toevoegen of verwijderen met behulp van Azure CLI voor gedetailleerde instructies.

Controleer ook de firewallinstellingen van uw opslagaccount. Als de firewall is ingesteld om de toegang tot alleen geselecteerde netwerken te beperken, kan het maken van het opslagdoel mislukken. Gebruik de tijdelijke oplossing die wordt beschreven in firewallinstellingen voor Blob Storage-accounts.

Een blobopslagdoel toevoegen met Azure CLI

Gebruik de add-interface az hpc-cache blob-storage-target om een Azure Blob Storage-doel te definiëren.

Notitie

Voor de Azure CLI-opdrachten moet u momenteel een naamruimtepad maken wanneer u een opslagdoel toevoegt. Dit verschilt van het proces dat wordt gebruikt met de Azure Portal-interface.

Naast de standaardresourcegroep- en cachenaamparameters moet u deze opties opgeven voor het opslagdoel:

• --name - Stel een naam in waarmee dit opslagdoel wordt geïdentificeerd in de Azure HPC Cache.

• --storage-account- De account-id, in deze vorm: /subscriptions/<subscription_id>/resourceGroups/<storage_resource_group>/providers/Microsoft.Storage/storageAccounts/account_name<>

  Lees blobopslagvereisten voor informatie over het type opslagaccount dat u kunt gebruiken.

• --container-name - Geef de naam op van de container die moet worden gebruikt voor dit opslagdoel.

• --virtual-namespace-path - Stel het clientgerichte bestandspad in voor dit opslagdoel. Plaats paden tussen aanhalingstekens. Lees De geaggregeerde naamruimte plannen voor meer informatie over de functie van de virtuele naamruimte.

Voorbeeldopdracht:

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

Een nieuw NFS-opslagdoel toevoegen

Een NFS-opslagdoel heeft verschillende instellingen dan een Blob Storage-doel, met inbegrip van een instelling voor het gebruiksmodel waarmee wordt aangegeven hoe gegevens uit dit opslagsysteem moeten worden opgeslagen in de cache.

Notitie

Voordat u een NFS-opslagdoel maakt, moet u ervoor zorgen dat uw opslagsysteem toegankelijk is vanuit de Azure HPC-cache en voldoet aan de machtigingsvereisten. Het maken van het opslagdoel mislukt als de cache geen toegang heeft tot het opslagsysteem. Lees de NFS-opslagvereisten en los problemen met de NAS-configuratie en NFS-opslagdoel op voor meer informatie.

Een gebruiksmodel kiezen

Wanneer u een opslagdoel maakt dat gebruikmaakt van NFS om het opslagsysteem te bereiken, moet u een gebruiksmodel voor dat doel kiezen. Dit model bepaalt hoe uw gegevens in de cache worden opgeslagen.

Lees Meer informatie over gebruiksmodellen voor meer informatie over al deze instellingen.

Met de ingebouwde gebruiksmodellen van HPC Cache kunt u kiezen hoe u snel kunt reageren met het risico dat verouderde gegevens worden opgehaald. Als u de snelheid voor het lezen van bestanden wilt optimaliseren, is het misschien niet belangrijk of de bestanden in de cache worden gecontroleerd op de back-endbestanden. Als u er ook voor wilt zorgen dat uw bestanden altijd up-to-date zijn met de externe opslag, kiest u een model dat regelmatig controleert.

Notitie

Caches met hoge doorvoer bieden alleen ondersteuning voor lezencaching.

Deze drie opties hebben betrekking op de meeste situaties:

• Leesintensieve, onregelmatige schrijfbewerkingen : versnelt leestoegang tot bestanden die statisch of zelden zijn gewijzigd.

  Met deze optie worden bestanden uit clientleesbewerkingen in de cache opgeslagen, maar worden client-schrijfbewerkingen onmiddellijk doorgegeven aan de back-endopslag. Bestanden die in de cache zijn opgeslagen, worden niet automatisch vergeleken met de bestanden op het NFS-opslagvolume.

  Gebruik deze optie niet als er een risico bestaat dat een bestand rechtstreeks op het opslagsysteem kan worden gewijzigd zonder het eerst naar de cache te schrijven. Als dat gebeurt, is de versie in de cache van het bestand niet gesynchroniseerd met het back-endbestand.

• Meer dan 15% schrijfbewerkingen : met deze optie worden zowel lees- als schrijfprestaties versneld.

  Clientlees- en clientschrijfbewerkingen worden beide in de cache opgeslagen. Bestanden in de cache worden verondersteld nieuwer te zijn dan bestanden in het back-endopslagsysteem. Bestanden in de cache worden slechts om de acht uur automatisch gecontroleerd op de bestanden in de back-endopslag. Gewijzigde bestanden in de cache worden naar het back-endopslagsysteem geschreven nadat ze een uur in de cache zijn geweest zonder andere wijzigingen.

  Gebruik deze optie niet als clients het back-endopslagvolume rechtstreeks koppelen, omdat er een risico bestaat dat het verouderde bestanden heeft.

• Clients schrijven naar het NFS-doel, slaan de cache over. Kies deze optie als clients in uw werkstroom gegevens rechtstreeks naar het opslagsysteem schrijven zonder eerst naar de cache te schrijven of als u gegevensconsistentie wilt optimaliseren.

  Bestanden die clients aanvragen, worden in de cache opgeslagen, maar eventuele wijzigingen in deze bestanden van de client worden onmiddellijk doorgegeven aan het back-endopslagsysteem. Bestanden in de cache worden regelmatig gecontroleerd op de back-endversies voor updates. Deze verificatie houdt gegevensconsistentie bij wanneer bestanden rechtstreeks in het opslagsysteem worden gewijzigd in plaats van via de cache.

Lees Inzicht in gebruiksmodellen voor meer informatie over de andere opties.

Deze tabel bevat een overzicht van de verschillen tussen alle gebruiksmodellen:

Gebruiksmodel	Cachemodus	Verificatietimer	Timer voor terugschrijven
Alleen-lezen opslaan in cache	Read	30 seconden	Geen
Opslaan in cache voor lezen/schrijven	Lezen/schrijven	8 uur	1 uur

Notitie

De waarde voor de back-endverificatie wordt weergegeven wanneer de cache de bestanden automatisch vergelijkt met bronbestanden in externe opslag. U kunt echter een vergelijking activeren door een clientaanvraag te verzenden die een readdirplus-bewerking op het back-endopslagsysteem bevat. Readdirplus is een standaard NFS-API (ook wel uitgebreide leesbewerking genoemd) die mapmetagegevens retourneert, waardoor de cache bestanden vergelijkt en bijwerkt.

Een NFS-opslagdoel maken

Portal

Open uw cache-exemplaar in Azure Portal en klik op Opslagdoelen in de zijbalk aan de linkerkant.

De pagina Opslagdoelen bevat alle bestaande doelen en geeft een koppeling om een nieuwe toe te voegen.

Klik op de knop Opslagdoel toevoegen.

Geef deze informatie op voor een opslagdoel met NFS-ondersteuning:

• Naam van opslagdoel: stel een naam in die dit opslagdoel identificeert in de Azure HPC Cache.

• Doeltype : kies NFS.

• Hostnaam : voer het IP-adres of de volledig gekwalificeerde domeinnaam in voor uw NFS-opslagsysteem. (Gebruik alleen een domeinnaam als uw cache toegang heeft tot een DNS-server die de naam kan omzetten.) U kunt meerdere IP-adressen invoeren als naar uw opslagsysteem wordt verwezen door meerdere IP-adressen.

• Gebruiksmodel : kies een van de profielen voor gegevenscaching op basis van uw werkstroom, zoals beschreven in Kies een gebruiksmodel hierboven.

Wanneer u klaar bent, klikt u op OK om het opslagdoel toe te voegen.

Azure-CLI

Azure CLI instellen voor Azure HPC Cache.

Gebruik de Azure CLI-opdracht az hpc-cache nfs-storage-target add om het opslagdoel te maken.

Notitie

Voor de Azure CLI-opdrachten moet u momenteel een naamruimtepad maken wanneer u een opslagdoel toevoegt. Dit verschilt van het proces dat wordt gebruikt met de Azure Portal-interface.

Geef deze waarden op naast de cachenaam en cacheresourcegroep:

• --name - Stel een naam in waarmee dit opslagdoel wordt geïdentificeerd in de Azure HPC Cache.

• --nfs3-target - Het IP-adres van uw NFS-opslagsysteem. (U kunt hier een volledig gekwalificeerde domeinnaam gebruiken als uw cache toegang heeft tot een DNS-server die de naam kan omzetten.)

• --nfs3-usage-model - Een van de profielen voor gegevenscaching, zoals beschreven in Een gebruiksmodel kiezen hierboven.

  Controleer de namen van de gebruiksmodellen met de opdracht az hpc-cache usage-model list.

• --junction - De verbindingsparameter koppelt het clientgerichte virtuele bestandspad aan een exportpad op het opslagsysteem.

  Een NFS-opslagdoel kan meerdere virtuele paden hebben, zolang elk pad een andere export- of submap op hetzelfde opslagsysteem vertegenwoordigt. Maak alle paden voor één opslagsysteem op één opslagdoel.

  U kunt op elk gewenst moment naamruimtepaden toevoegen en bewerken op een opslagdoel.

  De --junction parameter gebruikt deze waarden:

  • namespace-path - Het clientgerichte pad naar het virtuele bestand
  • nfs-export - De export van het opslagsysteem om te koppelen aan het clientgerichte pad
  • target-path (optioneel) - Een submap van de export, indien nodig

  Voorbeeld: --junction namespace-path="/nas-1" nfs-export="/datadisk1" target-path="/test"

  Lees Geaggregeerde naamruimte configureren voor meer informatie over de functie voor de virtuele naamruimte.

Voorbeeldopdracht:

az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

Uitvoer:

{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

Een nieuw ADLS-NFS-opslagdoel toevoegen

ADLS-NFS-opslagdoelen maken gebruik van Azure Blob-containers die ondersteuning bieden voor het NFS-protocol (Network File System) 3.0.

Lees NFS 3.0-protocolondersteuning voor meer informatie over deze functie.

ADLS-NFS-opslagdoelen hebben enkele overeenkomsten met Blob Storage-doelen en sommige met NFS-opslagdoelen. Voorbeeld:

• Net als een Blob Storage-doel moet u Azure HPC Cache toestemming geven voor toegang tot uw opslagaccount.

• Net als een NFS-opslagdoel moet u een cachegebruiksmodel instellen.

• Omdat blobcontainers met NFS-functionaliteit een hiërarchische structuur hebben die compatibel is met NFS, hoeft u de cache niet te gebruiken om gegevens op te nemen en kunnen de containers worden gelezen door andere NFS-systemen.

  U kunt gegevens vooraf laden in een ADLS-NFS-container, deze vervolgens als opslagdoel toevoegen aan een HPC-cache en de gegevens later openen buiten een HPC-cache. Wanneer u een standaard-blobcontainer gebruikt als een HPC Cache-opslagdoel, worden de gegevens geschreven in een eigen indeling en kunnen ze alleen worden geopend vanuit andere met Azure HPC Cache compatibele producten.

Voordat u een ADLS-NFS-opslagdoel kunt maken, moet u een opslagaccount met NFS-functionaliteit maken. Volg de stappen in Vereisten voor Azure HPC Cache en de instructies in Blob-opslag koppelen met behulp van NFS. Als u niet hetzelfde virtuele netwerk gebruikt voor de cache en het opslagaccount, moet u ervoor zorgen dat het vnet van de cache toegang heeft tot het vnet van het opslagaccount.

Nadat uw opslagaccount is ingesteld, kunt u een nieuwe container maken wanneer u het opslagdoel maakt.

Lees NFS-gekoppelde blobopslag gebruiken met Azure HPC Cache voor meer informatie over deze configuratie.

Als u een ADLS-NFS-opslagdoel wilt maken, opent u de pagina Opslagdoel toevoegen in Azure Portal. (Andere methoden zijn in ontwikkeling.)

Voer deze gegevens in.

• Naam van opslagdoel: stel een naam in die dit opslagdoel identificeert in de Azure HPC Cache.

• Doeltype : kies ADLS-NFS.

• Opslagaccount : selecteer het account dat u wilt gebruiken. Als uw opslagaccount met NFS-functionaliteit niet wordt weergegeven in de lijst, controleert u of het voldoet aan de vereisten en of de cache toegang heeft tot het account.

  U moet het cache-exemplaar autoriseren voor toegang tot het opslagaccount, zoals beschreven in De toegangsrollen toevoegen.

• Opslagcontainer: selecteer de blobcontainer met NFS-functionaliteit voor dit doel of klik op Nieuwe maken.

• Gebruiksmodel : kies een van de profielen voor gegevenscaching op basis van uw werkstroom, zoals beschreven in Kies een gebruiksmodel hierboven.

Wanneer u klaar bent, klikt u op OK om het opslagdoel toe te voegen.

Opslagdoelen weergeven

U kunt Azure Portal of De Azure CLI gebruiken om de opslagdoelen weer te geven die al zijn gedefinieerd voor uw cache.

Portal

Open uw cache-exemplaar in Azure Portal en klik op Opslagdoelen. Deze bevindt zich onder de kop Instellingen in de zijbalk aan de linkerkant. De pagina met opslagdoelen bevat alle bestaande doelen en besturingselementen voor het toevoegen of verwijderen ervan.

Klik op de naam van een opslagdoel om de detailpagina te openen.

Lees Opslagdoelen weergeven en beheren en Opslagdoelen bewerken voor meer informatie.

Azure-CLI

Azure CLI instellen voor Azure HPC Cache.

Gebruik de optie az hpc-cache storage-target list om de bestaande opslagdoelen voor een cache weer te geven. Geef de cachenaam en de resourcegroep op (tenzij u deze globaal hebt ingesteld).

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

Gebruik az hpc-cache storage-target show voor meer informatie over een bepaald opslagdoel. (Geef het opslagdoel op naam op.)

Voorbeeld:

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

Volgende stappen

Nadat u opslagdoelen hebt gemaakt, gaat u verder met deze taken om uw cache gereed te maken voor gebruik:

• De geaggregeerde naamruimte instellen
• De Azure HPC Cache koppelen
• Gegevens verplaatsen naar Azure Blob Storage

Als u instellingen wilt bijwerken, kunt u een opslagdoel bewerken.