Azure Blob Storage upgraden met azure Data Lake Storage Gen2-mogelijkheden

Artikel
01/19/2024

Dit artikel helpt u bij het inschakelen van een hiërarchische naamruimte en het ontgrendelen van mogelijkheden zoals beveiliging op bestand- en mapniveau en snellere bewerkingen. Deze mogelijkheden worden veel gebruikt door big data-analyseworkloads en worden gezamenlijk aangeduid als Azure Data Lake Storage Gen2.

Zie Azure Blob Storage upgraden met Azure Data Lake Storage Gen2-mogelijkheden voor meer informatie over deze mogelijkheden en de impact van deze upgrade op workloads, toepassingen, kosten, serviceintegraties, hulpprogramma's, functies en documentatie.

Belangrijk

Een upgrade is definitief. U kunt uw account niet meer terugdraaien nadat u de upgrade hebt uitgevoerd. U wordt aangeraden uw upgrade in een niet-productieomgeving te valideren.

Upgrade voorbereiden

De voorbereiding voor het upgraden van uw opslagaccount naar Data Lake Storage Gen2:

Ondersteuning voor functies controleren
Zorg ervoor dat de segmenten van elk blobpad de naam hebben
Schrijfactiviteit naar het opslagaccount voorkomen

Ondersteuning voor functies controleren

Uw opslagaccount is mogelijk geconfigureerd voor het gebruik van functies die nog niet worden ondersteund in accounts met Data Lake Storage Gen2. Als uw account dergelijke functies gebruikt, wordt de validatiestap niet door de upgrade uitgevoerd. Raadpleeg het artikel over de ondersteuning van Blob Storage-functies in Azure Storage-accounts om niet-ondersteunde functies te identificeren. Als u dergelijke functies in uw account gebruikt, schakelt u deze uit voordat u begint met de upgrade.

De volgende functies worden ondersteund voor Data Lake Storage Gen2-accounts, maar worden niet ondersteund door het upgradeproces:

Blob-momentopnamen
Versleutelingsbereiken
Onveranderbare opslag
Laatste toegangstijd bijhouden voor levenscyclusbeheer
Blobs voorlopig verwijderen
Containers voorlopig verwijderen

Als dergelijke functies zijn ingeschakeld voor uw opslagaccount, moet u deze uitschakelen voordat u de upgrade uitvoert. Als u de functies wilt hervatten nadat de upgrade is voltooid, schakelt u deze opnieuw in.

In sommige gevallen moet u tijd voor opschoningsbewerkingen toestaan nadat een functie is uitgeschakeld voordat een upgrade wordt uitgevoerd. Een voorbeeld hiervan is de functie voor voorlopig verwijderen van blobs. U moet voorlopig verwijderen van blob uitschakelen en vervolgens toestaan dat alle blobs voor voorlopig verwijderen verlopen voordat u het account kunt upgraden.

Belangrijk

U kunt geen opslagaccount upgraden naar Data Lake Storage Gen2 waarvoor de functie voor de wijzigingenfeed ooit is ingeschakeld. Als u de wijzigingenfeed uitschakelt, kunt u geen upgrade uitvoeren. In plaats daarvan moet u een account maken waarvoor de hiërarchische naamruimtefunctie is ingeschakeld en vervolgens uw gegevens overbrengen naar dat account.

Zorg ervoor dat de segmenten van elk blobpad de naam hebben

Het migratieproces maakt een map voor elk padsegment van een blob. Data Lake Storage Gen2-directory's moeten een naam hebben, zodat migratie slaagt, elk padsegment in een virtuele map moet een naam hebben. Dezelfde vereiste geldt voor segmenten die alleen worden genoemd met een spatieteken. Als padsegmenten niet-naamloos zijn (//) of alleen een naam hebben met een spatie (_), moet u deze blobs kopiëren naar een nieuw pad dat compatibel is met deze naamgevingsvereisten voordat u verdergaat met de migratie.

Schrijfactiviteit naar het opslagaccount voorkomen

De upgrade kan mislukken als een toepassing tijdens de upgrade naar het opslagaccount schrijft. Ga als volgende te werk om dergelijke schrijfactiviteit te voorkomen:

Eventuele toepassingen of services die schrijfbewerkingen kunnen uitvoeren, stil te stellen.
Bestaande leases voor containers en blobs vrijgeven of verbreken in het opslagaccount.

Nadat de upgrade is voltooid, verbreekt u de leases die u hebt gemaakt om schrijftoegang tot de containers en blobs toe te staan.

Waarschuwing

Het verbreken van een actieve lease zonder toepassingen of virtuele machines die momenteel toegang hebben tot deze resources, kan onverwachte resultaten opleveren. Zorg ervoor dat u alle huidige schrijfactiviteiten stilleggen voordat u eventuele huidige leases onderbreekt.

De upgrade uitvoeren

Meld u aan bij Azure Portal om aan de slag te gaan.
Zoek uw opslagaccount en geef het accountoverzicht weer.
Selecteer Data Lake Gen2-migratie.

De configuratiepagina voor de configuratie van de mogelijkheden van Azure Data Lake Gen2 naar een opslagaccount wordt weergegeven.
Vouw stap 1 uit: Controleer de accountwijzigingen voordat u de sectie bijwerken en klik op Controleren en ga akkoord met wijzigingen.
Schakel op de pagina Accountwijzigingen controleren het selectievakje in en klik vervolgens op Akkoord met wijzigingen.
Vouw stap 2 uit: Valideer het account voordat u een upgrade uitvoert en klik vervolgens op Validatie starten.

Als de validatie mislukt, wordt er een fout weergegeven op de pagina. In sommige gevallen wordt de koppeling Fouten weergeven weergegeven. Als deze koppeling wordt weergegeven, selecteert u deze.

Selecteer vervolgens Downloaden in het contextmenu van het bestand error.json.

Open het gedownloade bestand om te bepalen waarom het account de validatiestap niet heeft doorstaan. De volgende JSON geeft aan dat een incompatibele functie is ingeschakeld voor het account. In dit geval schakelt u de functie uit en start u het validatieproces opnieuw.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Nadat uw account is gevalideerd, vouwt u stap 3 uit: sectie Account upgraden en klikt u vervolgens op Upgrade starten.

Belangrijk

Schrijfbewerkingen worden uitgeschakeld terwijl uw account wordt bijgewerkt. Leesbewerkingen zijn niet uitgeschakeld, maar we raden u ten zeerste aan leesbewerkingen op te schorten, omdat ze het upgradeproces mogelijk stabiliseren.

Wanneer de migratie is voltooid, wordt er een bericht weergegeven dat er ongeveer als volgt uitziet.

Open een Windows PowerShell-opdrachtvenster.
Zorg ervoor dat u de nieuwste Azure PowerShell-module hebt. Zie De Azure PowerShell-module installeren.
Meld u aan bij uw Azure-abonnement met de opdracht Connect-AzAccount en volg de instructies op het scherm.
```
Connect-AzAccount
```
Als uw identiteit is gekoppeld aan meer dan één abonnement, stelt u uw actieve abonnement in.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
Vervang de waarde van de <subscription-id> tijdelijke aanduiding door de id van uw abonnement.
Valideer uw opslagaccount met behulp van de volgende opdracht.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- Vervang de waarde van de <resource-group-name> tijdelijke aanduiding door de naam van uw resourcegroep.
- Vervang de waarde van de tijdelijke plaatsaanduiding <storage-account-name> door de naam van uw opslagaccount.
Afhankelijk van de grootte van uw account kan dit proces enige tijd duren. U kunt de asJob schakeloptie gebruiken om de opdracht uit te voeren in een achtergrondtaak, zodat uw client niet wordt geblokkeerd. De opdracht wordt op afstand uitgevoerd, maar de taak bestaat op uw lokale computer of de VM van waaruit u de opdracht uitvoert. De resultaten worden verzonden naar uw lokale computer of de VIRTUELE machine.
Als u de status van de taak wilt controleren en alle eigenschappen van de taak in een lijst wilt weergeven, geeft u de retourvariabele door aan de Format-List cmdlet.
```
$result | Format-List -Property *
```
Als de validatie is geslaagd, wordt de eigenschap Status ingesteld op Voltooid.

Als de validatie mislukt, wordt de eigenschap Status ingesteld op Mislukt en worden validatiefouten weergegeven in de eigenschap Fout .

De volgende uitvoer geeft aan dat een incompatibele functie is ingeschakeld voor het account. In dit geval schakelt u de functie uit en start u het validatieproces opnieuw.

In sommige gevallen biedt de eigenschap Fout u een pad naar een bestand met de naam error.json. U kunt dat bestand openen om te bepalen waarom het account de validatiestap niet heeft doorstaan.

De volgende JSON geeft aan dat een incompatibele functie is ingeschakeld voor het account. In dit geval schakelt u de functie uit en start u het validatieproces opnieuw.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Nadat uw account is gevalideerd, start u de upgrade door de volgende opdracht uit te voeren.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
Net als in het bovenstaande validatievoorbeeld gebruikt dit voorbeeld de asJob schakeloptie om de opdracht uit te voeren in een achtergrondtaak. De Force switch overschrijft prompts om de upgrade te bevestigen. Als u de AsJob schakeloptie niet gebruikt, hoeft u de Force schakeloptie niet te gebruiken, omdat u gewoon kunt reageren op de prompts.

Belangrijk

Schrijfbewerkingen worden uitgeschakeld terwijl uw account wordt bijgewerkt. Leesbewerkingen zijn niet uitgeschakeld, maar we raden u ten zeerste aan leesbewerkingen op te schorten, omdat ze het upgradeproces mogelijk stabiliseren.

Als u de status van de taak wilt controleren, gebruikt u dezelfde technieken als beschreven in de vorige stappen. Wanneer het proces wordt uitgevoerd, wordt de eigenschap Status ingesteld op Actief.

Wanneer de migratie is voltooid, wordt de eigenschap Status ingesteld op Voltooid en worden er geen fouten weergegeven in de eigenschap Fout .

Belangrijk

Een ruwe schatting van de upgradetijd is ongeveer 5-10 minuten per 2 miljoen blobs. Als het account bijvoorbeeld 10 miljoen blobs heeft, duurt de upgrade ongeveer 25-50 minuten. Accounts die minder dan 2 miljoen blobs bevatten, worden doorgaans in minder dan 10 minuten bijgewerkt.

Open eerst de Azure Cloud Shell of open een opdrachtconsoletoepassing zoals Windows PowerShell als u de Azure CLI lokaal hebt geïnstalleerd .
Controleer of de versie van Azure CLI die is geïnstalleerd, is 2.29.0 of hoger met behulp van de volgende opdracht.
```
 az --version
```
Als uw versie van Azure CLI lager is dan 2.29.0, installeert u de nieuwste versie. Zie De Azure CLI installeren voor meer informatie.
Als uw identiteit is gekoppeld aan meer dan één abonnement, stelt u uw actieve abonnement in.
```
   az account set --subscription <subscription-id>
```
Vervang de waarde van de <subscription-id> tijdelijke aanduiding door de id van uw abonnement.
Valideer uw opslagaccount met behulp van de volgende opdracht.
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- Vervang de waarde van de <resource-group-name> tijdelijke aanduiding door de naam van uw resourcegroep.
- Vervang de waarde van de tijdelijke plaatsaanduiding <storage-account-name> door de naam van uw opslagaccount.
Als de validatie slaagt, wordt het proces voltooid en worden er geen fouten weergegeven.

Als de validatie mislukt, wordt er een validatiefout weergegeven in de console. De fout (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled geeft bijvoorbeeld aan dat een incompatibele functie (versiebeheer) is ingeschakeld voor het account. In dit geval schakelt u de functie uit en start u het validatieproces opnieuw.

In sommige gevallen wordt het pad naar een bestand met de naam error.json weergegeven in de console. U kunt dat bestand openen om te bepalen waarom het account de validatiestap niet heeft doorstaan.

De volgende JSON geeft aan dat een incompatibele functie is ingeschakeld voor het account. In dit geval schakelt u de functie uit en start u het validatieproces opnieuw.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Nadat uw account is gevalideerd, start u de upgrade door de volgende opdracht uit te voeren.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Belangrijk

Schrijfbewerkingen worden uitgeschakeld terwijl uw account wordt bijgewerkt. Leesbewerkingen zijn niet uitgeschakeld, maar we raden u ten zeerste aan leesbewerkingen op te schorten, omdat ze het upgradeproces mogelijk stabiliseren.

Als de migratie slaagt, wordt het proces voltooid en worden er geen fouten weergegeven.

De upgrade stoppen

U kunt de migratie stoppen voordat deze is voltooid.

Als u de upgrade wilt stoppen voordat deze is voltooid, selecteert u Upgrade annuleren terwijl de upgrade wordt uitgevoerd.

Cancel upgrade

Gebruik de Stop-AzStorageAccountHierarchicalNamespaceUpgrade opdracht om de upgrade te stoppen voordat deze is voltooid.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Gebruik de az storage account hns-migration stop opdracht om de upgrade te stoppen voordat deze is voltooid.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Gegevens, workloads en toepassingen migreren

Configureer services in uw workloads om te verwijzen naar het Eindpunt van de Blob-service of het Data Lake-opslageindpunt .
Voor Hadoop-workloads die gebruikmaken van het Windows Azure Storage Blob-stuurprogramma of WASB-stuurprogramma , moet u deze wijzigen om het ABFS-stuurprogramma (Azure Blob File System) te gebruiken. In tegenstelling tot het WASB-stuurprogramma dat aanvragen indient naar het Blob-service-eindpunt , doet het ABFS-stuurprogramma aanvragen naar het Data Lake Storage-eindpunt van uw account.
Test aangepaste toepassingen om ervoor te zorgen dat ze werken zoals verwacht met uw bijgewerkte account.

Met toegang tot meerdere protocollen in Data Lake Storage kunnen de meeste toepassingen blob-API's blijven gebruiken zonder dat ze hoeven te worden gewijzigd. Als u problemen ondervindt of als u API's wilt gebruiken om te werken met directorybewerkingen en ACL's, kunt u overwegen een deel van uw code te verplaatsen om Data Lake Storage Gen2-API's te gebruiken. Zie de handleidingen voor .NET, Java, Python, Node.js en REST.
Test aangepaste scripts om ervoor te zorgen dat ze werken zoals verwacht met uw bijgewerkte account.

Net als bij Blob-API's werken veel van uw scripts waarschijnlijk zonder dat u ze hoeft te wijzigen. Indien nodig kunt u echter scriptbestanden upgraden om Data Lake Storage Gen2 PowerShell-cmdlets en Azure CLI-opdrachten te gebruiken.

Zie ook

Inleiding tot Azure Data Lake Storage Gen2

Share via