Upgrade služby Azure Blob Storage s využitím možností Služby Azure Data Lake Storage

Tento článek vám pomůže povolit hierarchický obor názvů a zpřístupnit funkce, jako je zabezpečení na úrovni souborů a adresářů a rychlejší operace. Tyto funkce jsou široce používány analytickými úlohami pro velké objemy dat a označují se souhrnně jako Azure Data Lake Storage.

Další informace o těchto možnostech a vyhodnocení dopadu tohoto upgradu na úlohy, aplikace, náklady, integrace služeb, nástroje, funkce a dokumentaci najdete v tématu Upgrade služby Azure Blob Storage s využitím funkcí Azure Data Lake Storage.

Důležité

Upgrade je jednosměrný. Po provedení upgradu už nelze účet vrátit zpět. Doporučujeme ověřit upgrade v neprodukčním prostředí.

Příprava na upgrade

Příprava na upgrade účtu úložiště na Data Lake Storage:

• Kontrola podpory funkcí
• Ujistěte se, že jsou pojmenované segmenty každé cesty k blobům.
• Zabránění aktivitě zápisu do účtu úložiště

Kontrola podpory funkcí

Váš účet úložiště může být nakonfigurovaný tak, aby používal funkce, které ještě nejsou podporované v účtech s podporou Data Lake Storage. Pokud váš účet tyto funkce používá, upgrade neprojde ověřovacím krokem. Informace o nepodporovaných funkcích najdete v článku o podpoře funkcí služby Blob Storage v účtech Azure Storage. Pokud ve svém účtu používáte nějaké takové funkce, před zahájením upgradu je zakažte.

Pro účty Data Lake Storage jsou podporované následující funkce, ale proces upgradu je nepodporuje:

• Snímky blobů
• Obory šifrování
• Neměnné úložiště
• Měkké odstranění pro blob objekty
• Měkké odstranění pro kontejnery

Pokud má váš účet úložiště tyto funkce povolené, musíte je před provedením upgradu zakázat. Pokud chcete pokračovat v používání funkcí po dokončení upgradu, znovu je povolte.

V některých případech budete muset nechat čas na úklidové operace poté, co je funkce deaktivována, před upgradem. Jedním z příkladů je funkce soft delete blob. Před upgradem účtu musíte zakázat měkké odstranění objektů blob a pak povolit, aby všechny objekty blob v režimu měkkého odstranění vypršely.

Odstraňte objekty blob stránky z účtu úložiště

Účet úložiště, který obsahuje objekty blob stránky, nemůžete upgradovat. Před upgradem se ujistěte, že z účtu úložiště odstraníte page blobs.

Ujistěte se, že segmenty každé cesty k blobu jsou pojmenovány.

Proces migrace vytvoří adresář pro každý segment cesty datového objektu (blob). Adresáře Data Lake Storage musí mít název, aby migrace uspěla. Každý segment cesty ve virtuálním adresáři musí mít název. Stejný požadavek platí pro segmenty, které jsou pojmenovány pouze znakem mezery. Pokud jsou některé segmenty cesty buď nepojmenované (//) nebo pojmenované pouze s znakem mezery (_), pak před pokračováním v migraci je nutné tyto objekty blob zkopírovat do nové cesty, která je kompatibilní s těmito požadavky na pojmenování.

Zabraňte aktivitě zápisu do účtu úložiště

Upgrade může selhat, pokud aplikace během upgradu zapíše do účtu úložiště. Aby se zabránilo takové aktivitě zápisu:

1. Zablokujte všechny aplikace nebo služby, které by mohly provádět operace zápisu.

2. Uvolněte nebo přerušte stávající pronájmy kontejnerů a blobů v účtu úložiště.

Po dokončení upgradu přerušte pronájmy, které jste vytvořili, pro obnovení přístupu k zápisu do kontejnerů a objektů blob.

Upozornění

Přerušení aktivního zapůjčení bez řádného zakázání aplikací nebo virtuálních počítačů, které k těmto prostředkům aktuálně přistupují, by mohly mít neočekávané výsledky. Než přerušíte aktuální výpůjčky, ujistěte se, že jsou veškeré aktuální zápisové aktivity uvedeny do klidového stavu.

Proveďte všechny plánované změny názvů archivovaných blobů.

Pokud chcete změnit název archivovaného objektu blob nebo nadřazeného adresáře, který vede k archivovaným objektům blob, proveďte tyto změny před upgradem. Pokud změníte název archivovaného blobu nebo jakéhokoliv nadřazeného adresáře vedoucího k archivovanému blobu po upgradu, nebudete ho moct znovu rehydratovat. Jedná se o dočasné omezení aktuální verze.

Provedení upgradu

Portál

1. Začněte tím, že se přihlásíte k webu Azure Portal .

2. Vyhledejte svůj účet úložiště a zobrazte přehled účtu.

3. Vyberte migraci Data Lake Gen2.

   Zobrazí se stránka konfigurace upgradu na účet úložiště s možnostmi Azure Data Lake Gen2.

   

4. Rozbalte krok 1: Zkontrolujte změny účtu před upgradem a klikněte na Zkontrolovat a odsouhlasit změny.

5. Na stránce Zkontrolovat změny účtu zaškrtněte políčko a klikněte na tlačítko Souhlasím se změnami.

6. Rozbalte krok 2: Ověření účtu před upgradem a poté klikněte na Zahájit ověření.

   Pokud se ověření nezdaří, zobrazí se na stránce chyba. V některých případech se zobrazí odkaz Zobrazit chyby . Pokud se tento odkaz zobrazí, vyberte ho.

   

   Potom v místní nabídce souboru error.json vyberte Stáhnout.

   

   Otevřete stažený soubor a zjistěte, proč účet neprošel ověřovacím krokem. Následující kód JSON označuje, že v účtu je povolená nekompatibilní funkce. V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. Po úspěšném ověření účtu rozbalte část Krok 3: Upgrade účtu a klikněte na tlačítko Spustit upgrade.

   Důležité

   Operace zápisu jsou při upgradu vašeho účtu zakázané. Operace čtení nejsou zakázané, ale důrazně doporučujeme pozastavit operace čtení, protože by mohly proces upgradu deaktivovat.

   Po úspěšném dokončení migrace se zobrazí zpráva podobná následující.

   

Prostředí PowerShell

1. Otevřete příkazové okno Windows PowerShellu.

2. Ujistěte se, že máte nejnovější modul Azure PowerShellu. Viz Instalace modulu Azure PowerShellu.

3. Přihlaste se ke svému předplatnému Azure pomocí příkazu Connect-AzAccount a postupujte podle pokynů na obrazovce.

   Connect-AzAccount
   

4. Pokud je vaše identita přidružená k více než jednomu předplatnému, nastavte aktivní předplatné.

   $context = Get-AzSubscription -SubscriptionId <subscription-id>
   Set-AzContext $context
   

   <subscription-id> Nahraďte zástupnou hodnotu ID vašeho předplatného.

5. Pomocí následujícího příkazu ověřte svůj účet úložiště.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
   

   • Nahraďte zástupnou hodnotu <resource-group-name> názvem vaší skupiny prostředků.

   • <storage-account-name> Nahraďte zástupnou hodnotu názvem vašeho účtu úložiště.

   V závislosti na velikosti vašeho účtu může tento proces nějakou dobu trvat. Pomocí přepínače asJob můžete příkaz spustit v úloze na pozadí, aby nebyl váš klient blokován. Příkaz běží vzdáleně, ale úloha existuje na místním počítači nebo virtuálním počítači, ze kterého příkaz spustíte. Výsledky se přenesou do místního počítače nebo virtuálního počítače.

6. Pokud chcete zkontrolovat stav úlohy a zobrazit všechny vlastnosti úlohy v seznamu, předáte zpět proměnnou rutině Format-List .

   $result | Format-List -Property *
   

   Pokud ověření proběhne úspěšně, vlastnost State bude nastavena na Hodnotu Dokončeno.

   Pokud se ověření nezdaří, vlastnost State bude nastavena na hodnotu Failed a vlastnost Error zobrazí chyby ověření.

   Následující výstup označuje, že v účtu je povolená nekompatibilní funkce. V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.

   

   V některých případech vlastnost Error poskytuje cestu k souboru s názvem error.json. Tento soubor můžete otevřít a zjistit, proč účet neprošel ověřovacím krokem.

   Následující kód JSON označuje, že v účtu je povolená nekompatibilní funkce. V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. Po úspěšném ověření účtu spusťte upgrade spuštěním následujícího příkazu.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
   

   Jako v příkladu ověřování výše, tento příklad používá přepínač asJob ke spuštění příkazu v úloze na pozadí. Přepínač Force přepíše výzvy k potvrzení upgradu. Pokud nepoužijete přepínač AsJob, nemusíte použít přepínač Force, protože stačí na výzvy odpovědět.

   Důležité

   Operace zápisu jsou při upgradu vašeho účtu zakázané. Operace čtení nejsou zakázané, ale důrazně doporučujeme pozastavit operace čtení, protože by mohly proces upgradu deaktivovat.

   Pokud chcete zkontrolovat stav úlohy, použijte stejné techniky, jak je popsáno v předchozích krocích. Při spuštění procesu bude vlastnost State nastavena na Spuštěno.

   Po úspěšném dokončení migrace se vlastnost State nastaví na Hodnotu Dokončeno a vlastnost Error nezobrazí žádné chyby.

   

   Důležité

   Hrubý odhad doby upgradu je přibližně 5 až 10 minut na 2 miliony blobů. Například pokud má účet 10 milionů objektů typu blob, upgrade bude trvat přibližně 25 až 50 minut. Účty, které obsahují méně než 2 miliony blobů, se obvykle upgradují za méně než 10 minut.

Azure CLI

1. Nejprve otevřete Azure Cloud Shell nebo pokud jste azure CLI nainstalovali místně, otevřete aplikaci příkazové konzoly, jako je Windows PowerShell.

2. Pomocí následujícího příkazu ověřte, zda je nainstalovaná verze Azure CLI 2.29.0 nebo vyšší.

    az --version
   

   Pokud je vaše verze Azure CLI nižší než 2.29.0, nainstalujte nejnovější verzi. Další informace najdete v tématu Instalace Azure CLI.

3. Pokud je vaše identita přidružená k více než jednomu předplatnému, nastavte aktivní předplatné.

      az account set --subscription <subscription-id>
   

   <subscription-id> Nahraďte zástupnou hodnotu ID vašeho předplatného.

4. Pomocí následujícího příkazu ověřte svůj účet úložiště.

   az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
   

   • Nahraďte zástupnou hodnotu <resource-group-name> názvem vaší skupiny prostředků.

   • <storage-account-name> Nahraďte zástupnou hodnotu názvem vašeho účtu úložiště.

   Pokud ověření proběhne úspěšně, proces se dokončí a nezobrazí se žádné chyby.

   Pokud ověření selže, zobrazí se v konzole chyba ověření. Chyba například (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled značí, že v účtu je povolená nekompatibilní funkce (správa verzí). V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.

   V některých případech se v konzole zobrazí cesta k souboru s názvem error.json . Tento soubor můžete otevřít a zjistit, proč účet neprošel ověřovacím krokem.

   Následující kód JSON označuje, že v účtu je povolená nekompatibilní funkce. V takovém případě byste funkci zakázali a pak znovu spustili proces ověření.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

5. Po úspěšném ověření účtu spusťte upgrade spuštěním následujícího příkazu.

   az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
   

   Důležité

   Operace zápisu jsou při upgradu vašeho účtu zakázané. Operace čtení nejsou zakázané, ale důrazně doporučujeme pozastavit operace čtení, protože by mohly proces upgradu deaktivovat.

   Pokud migrace proběhne úspěšně, proces se dokončí a nezobrazí se žádné chyby.

Zastavení upgradu

Migraci můžete před dokončením zastavit.

Portál

Pokud chcete upgrade před dokončením zastavit, vyberte Během upgradu zrušit upgrade .

Prostředí PowerShell

Pokud chcete upgrade před dokončením zastavit, použijte Stop-AzStorageAccountHierarchicalNamespaceUpgrade příkaz.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Azure CLI

Pokud chcete upgrade před dokončením zastavit, použijte az storage account hns-migration stop příkaz.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Migrace dat, úloh a aplikací

1. Nakonfigurujte služby ve vašich úlohách tak, aby odkazovaly buď na koncový bod služby Blob, nebo na koncový bod služby Data Lake Storage.

   

2. U úloh Hadoopu, které používají ovladač objektů blob služby Windows Azure Storage nebo ovladač WASB, nezapomeňte je upravit tak, aby používaly ovladač systému souborů Azure Blob (ABFS). Na rozdíl od ovladače WASB, který provádí požadavky na koncový bod služby Blob Service , ovladač ABFS odešle požadavky na koncový bod Data Lake Storage vašeho účtu.

3. Otestujte vlastní aplikace, abyste zajistili, že budou fungovat podle očekávání s upgradovaným účtem.

   Přístup k více protokolům ve službě Data Lake Storage umožňuje většině aplikací pokračovat v používání rozhraní API objektů blob beze změny. Pokud narazíte na problémy nebo chcete použít rozhraní API pro práci s operacemi adresářů a seznamy ACL, zvažte přesunutí některého kódu, aby bylo možné používat rozhraní API služby Data Lake Storage. Přečtěte si příručky pro .NET, Javu, Python, Node.js a REST.

4. Otestujte všechny vlastní skripty, abyste zajistili, že budou fungovat podle očekávání s upgradovaným účtem.

   Stejně jako u rozhraní API objektů blob bude mnoho skriptů pravděpodobně fungovat, aniž byste je museli upravovat. V případě potřeby ale můžete soubory skriptů upgradovat tak, aby používaly rutiny PowerShellu pro Data Lake Storage a příkazy Azure CLI.

Viz také

Seznámení se službou Azure Data Lake Storage