Upgrade služby Azure Blob Storage s využitím funkcí Azure Data Lake Storage Gen2

Článek
01/19/2024

Tento článek vám pomůže povolit hierarchický obor názvů a možnosti odemknutí, jako je zabezpečení na úrovni souborů a adresářů a rychlejší operace. Tyto funkce jsou široce používány analytickými úlohami pro velké objemy dat a souhrnně se označují jako Azure Data Lake Storage Gen2.

Další informace o těchto možnostech a vyhodnocení dopadu tohoto upgradu na úlohy, aplikace, náklady, integrace služeb, nástroje, funkce a dokumentaci najdete v tématu Upgrade služby Azure Blob Storage s využitím funkcí Azure Data Lake Storage Gen2.

Důležité

Upgrade je jednosměrný. Po provedení upgradu už nelze účet vrátit zpět. Doporučujeme ověřit upgrade v neprodukčním prostředí.

Příprava na upgrade

Příprava na upgrade účtu úložiště na Data Lake Storage Gen2:

Kontrola podpory funkcí
Ujistěte se, že jsou pojmenované segmenty jednotlivých cest k objektům blob.
Zabránění aktivitě zápisu do účtu úložiště

Kontrola podpory funkcí

Váš účet úložiště může být nakonfigurovaný tak, aby používal funkce, které ještě nejsou podporované v účtech s podporou Data Lake Storage Gen2. Pokud váš účet tyto funkce používá, upgrade neprojde ověřovacím krokem. Informace o nepodporovaných funkcích najdete v článku o podpoře funkcí služby Blob Storage v účtech Azure Storage. Pokud ve svém účtu používáte nějaké takové funkce, před zahájením upgradu je zakažte.

Pro účty Data Lake Storage Gen2 jsou podporované následující funkce, ale proces upgradu je nepodporuje:

Snímky objektů blob
Obory šifrování
Neměnné úložiště
Sledování času posledního přístupu pro správu životního cyklu
Obnovitelné odstranění pro objekty blob
Obnovitelné odstranění pro kontejnery

Pokud má váš účet úložiště tyto funkce povolené, musíte je před provedením upgradu zakázat. Pokud chcete pokračovat v používání funkcí po dokončení upgradu, znovu je povolte.

V některýchpřípadechch Jedním z příkladů je funkce obnovitelného odstranění objektu blob. Před upgradem účtu musíte zakázat obnovitelné odstranění objektů blob a potom povolit vypršení platnosti všech objektů blob obnovitelného odstranění.

Důležité

Účet úložiště nemůžete upgradovat na Data Lake Storage Gen2, který měl někdy povolenou funkci kanálu změn. Jednoduše zakázáním kanálu změn nebudete moct provést upgrade. Místo toho musíte vytvořit účet s povolenou funkcí hierarchického oboru názvů a pak přenést data do daného účtu.

Ujistěte se, že jsou pojmenované segmenty jednotlivých cest k objektům blob.

Proces migrace vytvoří adresář pro každý segment cesty objektu blob. Adresáře Data Lake Storage Gen2 musí mít název, aby migrace uspěla. Každý segment cesty ve virtuálním adresáři musí mít název. Stejný požadavek platí pro segmenty, které jsou pojmenovány pouze znakem mezery. Pokud jsou některé segmenty cesty buď nepojmenované (//) nebo pojmenované pouze s znakem mezery (_), pak před pokračováním v migraci je nutné tyto objekty blob zkopírovat do nové cesty, která je kompatibilní s těmito požadavky na pojmenování.

Zabránění aktivitě zápisu do účtu úložiště

Upgrade může selhat, pokud aplikace během upgradu zapíše do účtu úložiště. Aby se zabránilo takové aktivitě zápisu:

Zablokujte všechny aplikace nebo služby, které by mohly provádět operace zápisu.
Uvolněte nebo přerušte existující zapůjčení kontejnerů a objektů blob v účtu úložiště.

Po dokončení upgradu přerušte zapůjčení, které jste vytvořili, aby se obnovilo povolení přístupu k zápisu do kontejnerů a objektů blob.

Upozorňující

Přerušení aktivního zapůjčení bez řádného zakázání aplikací nebo virtuálních počítačů, které k těmto prostředkům aktuálně přistupují, by mohly mít neočekávané výsledky. Než dojde k přerušení aktuálních zapůjčení, nezapomeňte všechny aktivity aktuálního zápisu vyřaďte do stavu nečinnosti.

Provedení upgradu

Začněte tím, že se přihlásíte k webu Azure Portal .
Vyhledejte svůj účet úložiště a zobrazte přehled účtu.
Vyberte migraci Data Lake Gen2.

Zobrazí se stránka konfigurace upgradu na účet úložiště s možnostmi Azure Data Lake Gen2.
Rozbalte krok 1: Před upgradem oddílu zkontrolujte změny účtu a klikněte na Zkontrolovat a odsouhlasit změny.
Na stránce Zkontrolovat změny účtu zaškrtněte políčko a klikněte na tlačítko Souhlasím se změnami.
Rozbalte krok 2: Před upgradem oddílu ověřte účet a klepněte na tlačítko Zahájit ověření.

Pokud se ověření nezdaří, zobrazí se na stránce chyba. V některých případech se zobrazí odkaz Zobrazit chyby . Pokud se tento odkaz zobrazí, vyberte ho.

Potom v místní nabídce souboru error.json vyberte Stáhnout.

Otevřete stažený soubor a zjistěte, proč účet neprošel ověřovacím krokem. Následující kód JSON označuje, že v účtu je povolená nekompatibilní funkce. V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Po úspěšném ověření účtu rozbalte část Krok 3: Upgrade účtu a klikněte na tlačítko Spustit upgrade.

Důležité

Operace zápisu jsou při upgradu vašeho účtu zakázané. Operace čtení nejsou zakázané, ale důrazně doporučujeme pozastavit operace čtení, protože by mohly proces upgradu deaktivovat.

Po úspěšném dokončení migrace se zobrazí zpráva podobná následující.

Otevřete příkazové okno Windows PowerShellu.
Ujistěte se, že máte nejnovější modul Azure PowerShellu. Viz Instalace modulu Azure PowerShellu.
Přihlaste se ke svému předplatnému Azure pomocí příkazu Connect-AzAccount a postupujte podle pokynů na obrazovce.
```
Connect-AzAccount
```
Pokud je vaše identita přidružená k více než jednomu předplatnému, nastavte aktivní předplatné.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
<subscription-id> Nahraďte zástupnou hodnotu ID vašeho předplatného.
Pomocí následujícího příkazu ověřte svůj účet úložiště.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- <resource-group-name> Nahraďte zástupnou hodnotu názvem vaší skupiny prostředků.
- <storage-account-name> Nahraďte zástupnou hodnotu názvem vašeho účtu úložiště.
V závislosti na velikosti vašeho účtu může tento proces nějakou dobu trvat. Pomocí přepínače můžete asJob příkaz spustit v úloze na pozadí, aby váš klient nebyl blokovaný. Příkaz běží vzdáleně, ale úloha existuje na místním počítači nebo virtuálním počítači, ze kterého příkaz spustíte. Výsledky se přenesou do místního počítače nebo virtuálního počítače.
Pokud chcete zkontrolovat stav úlohy a zobrazit všechny vlastnosti úlohy v seznamu, předáte zpět proměnnou rutině Format-List .
```
$result | Format-List -Property *
```
Pokud ověření proběhne úspěšně, vlastnost State bude nastavena na Hodnotu Dokončeno.

Pokud se ověření nezdaří, vlastnost State bude nastavena na hodnotu Failed a vlastnost Error zobrazí chyby ověření.

Následující výstup označuje, že v účtu je povolená nekompatibilní funkce. V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.

V některých případech poskytuje vlastnost Error cestu k souboru s názvem error.json. Tento soubor můžete otevřít a zjistit, proč účet neprošel ověřovacím krokem.

Následující kód JSON označuje, že v účtu je povolená nekompatibilní funkce. V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Po úspěšném ověření účtu spusťte upgrade spuštěním následujícího příkazu.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
Podobně jako v příkladu ověřování výše používá asJob tento příklad přepínač ke spuštění příkazu v úloze na pozadí. Přepínač Force přepíše výzvy k potvrzení upgradu. Pokud přepínač nepoužíváte AsJob , nemusíte ho Force používat, protože na výzvy stačí odpovědět.

Důležité

Operace zápisu jsou při upgradu vašeho účtu zakázané. Operace čtení nejsou zakázané, ale důrazně doporučujeme pozastavit operace čtení, protože by mohly proces upgradu deaktivovat.

Pokud chcete zkontrolovat stav úlohy, použijte stejné techniky, jak je popsáno v předchozích krocích. Při spuštění procesu bude vlastnost State nastavena na Spuštěno.

Po úspěšném dokončení migrace se vlastnost State nastaví na Hodnotu Dokončeno a vlastnost Error nezobrazí žádné chyby.

Důležité

Hrubý odhad doby upgradu by byl přibližně 5 až 10 minut za 2 miliony objektů blob. Pokud má například účet 10 milionů objektů blob, upgrade bude trvat přibližně 25 až 50 minut. Účty, které obsahují méně než 2 miliony objektů blob, se obvykle upgradují za méně než 10 minut.

Nejprve otevřete Azure Cloud Shell nebo pokud jste azure CLI nainstalovali místně, otevřete aplikaci příkazové konzoly, jako je Windows PowerShell.
Pomocí následujícího příkazu ověřte, jestli je 2.29.0 nainstalovaná verze Azure CLI nebo vyšší.
```
 az --version
```
Pokud je vaše verze Azure CLI nižší než 2.29.0, nainstalujte nejnovější verzi. Další informace najdete v tématu Instalace Azure CLI.
Pokud je vaše identita přidružená k více než jednomu předplatnému, nastavte aktivní předplatné.
```
   az account set --subscription <subscription-id>
```
<subscription-id> Nahraďte zástupnou hodnotu ID vašeho předplatného.
Pomocí následujícího příkazu ověřte svůj účet úložiště.
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- <resource-group-name> Nahraďte zástupnou hodnotu názvem vaší skupiny prostředků.
- <storage-account-name> Nahraďte zástupnou hodnotu názvem vašeho účtu úložiště.
Pokud ověření proběhne úspěšně, proces se dokončí a nezobrazí se žádné chyby.

Pokud ověření selže, zobrazí se v konzole chyba ověření. Chyba například (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled značí, že v účtu je povolená nekompatibilní funkce (správa verzí). V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.

V některých případech se v konzole zobrazí cesta k souboru s názvem error.json . Tento soubor můžete otevřít a zjistit, proč účet neprošel ověřovacím krokem.

Následující kód JSON označuje, že v účtu je povolená nekompatibilní funkce. V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Po úspěšném ověření účtu spusťte upgrade spuštěním následujícího příkazu.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Důležité

Operace zápisu jsou při upgradu vašeho účtu zakázané. Operace čtení nejsou zakázané, ale důrazně doporučujeme pozastavit operace čtení, protože by mohly proces upgradu deaktivovat.

Pokud migrace proběhne úspěšně, proces se dokončí a nezobrazí se žádné chyby.

Zastavení upgradu

Migraci můžete před dokončením zastavit.

Pokud chcete upgrade před dokončením zastavit, vyberte Během upgradu zrušit upgrade .

Cancel upgrade

Pokud chcete upgrade před dokončením zastavit, použijte Stop-AzStorageAccountHierarchicalNamespaceUpgrade příkaz.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Pokud chcete upgrade před dokončením zastavit, použijte az storage account hns-migration stop příkaz.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Migrace dat, úloh a aplikací

Nakonfigurujte služby ve vašich úlohách tak, aby odkazovali na koncový bod služby Blob Nebo na koncový bod služby Data Lake Storage.
U úloh Hadoopu, které používají ovladač objektů blob služby Windows Azure Storage nebo ovladač WASB, nezapomeňte je upravit tak, aby používaly ovladač systému souborů Azure Blob (ABFS). Na rozdíl od ovladače WASB, který provádí požadavky na koncový bod služby Blob Service , ovladač ABFS odešle požadavky na koncový bod Data Lake Storage vašeho účtu.
Otestujte vlastní aplikace, abyste zajistili, že budou fungovat podle očekávání s upgradovaným účtem.

Přístup k více protokolům ve službě Data Lake Storage umožňuje většině aplikací pokračovat v používání rozhraní API objektů blob beze změny. Pokud narazíte na problémy nebo chcete používat rozhraní API pro práci s operacemi adresářů a seznamy ACL, zvažte přesun kódu tak, aby používal rozhraní DATA Lake Storage Gen2 API. Prohlédni si příručky pro .NET, Java, Python, Node.js a REST.
Otestujte všechny vlastní skripty, abyste zajistili, že budou fungovat podle očekávání s upgradovaným účtem.

Stejně jako u rozhraní API objektů blob bude mnoho skriptů pravděpodobně fungovat, aniž byste je museli upravovat. V případě potřeby ale můžete soubory skriptů upgradovat tak, aby používaly rutiny PowerShellu Data Lake Storage Gen2 a příkazy Azure CLI.

Viz také

Úvod do Azure Data Lake Storage Gen2