Az Azure Blob Storage frissítése az Azure Data Lake Storage képességeivel

Ez a cikk segít engedélyezni a hierarchikus névteret, és feloldani az olyan képességeket, mint a fájl- és címtárszintű biztonság, valamint a gyorsabb műveletek. Ezeket a képességeket a big data-elemzési számítási feladatok széles körben használják, és együttesen Azure Data Lake Storage-nak nevezik őket.

Ha többet szeretne megtudni ezekről a képességekről, és értékelni szeretné a frissítésnek a számítási feladatokra, alkalmazásokra, költségekre, szolgáltatásintegrációkra, eszközökre, funkciókra és dokumentációra gyakorolt hatását, olvassa el az Azure Blob Storage azure Data Lake Storage-funkciókkal való frissítését ismertető cikket.

Fontos

A frissítés egyirányú. A frissítés után már nem állhat vissza a korábbi fiókállapotra. Javasoljuk, hogy ne gyártási környezetben ellenőrizze a frissítést.

Felkészülés a frissítésre

A tárfiók Data Lake Storage-ra való frissítésének előkészítése:

• Funkciótámogatás áttekintése
• Győződjön meg arról, hogy az egyes blobútvonalak szegmensei el vannak nevezve
• Írási tevékenység megakadályozása a tárfiókba

Funkciótámogatás áttekintése

Előfordulhat, hogy a tárfiók úgy van konfigurálva, hogy olyan funkciókat használjon, amelyek még nem támogatottak a Data Lake Storage-kompatibilis fiókokban. Ha a fiókja ilyen funkciókat használ, a frissítés nem felel meg az érvényesítési lépésnek. A nem támogatott funkciók azonosításához tekintse át a Blob Storage szolgáltatástámogatási cikkét az Azure Storage-fiókokban . Ha bármilyen ilyen funkciót használ a fiókjában, tiltsa le őket a frissítés megkezdése előtt.

A Data Lake Storage-fiókok esetében az alábbi funkciók támogatottak, de a frissítési folyamat nem támogatja azokat:

• Blob-pillanatképek
• Titkosítási hatókörök
• Nem módosítható tároló
• Blobok helyreállítható törlése
• Tárolók helyreállítható törlése

Ha a tárfiókban engedélyezve vannak az ilyen funkciók, le kell tiltania őket a frissítés végrehajtása előtt. Ha a frissítés befejezése után folytatni szeretné a funkciók használatát, engedélyezze újra őket.

Bizonyos esetekben időt kell hagynia a törlési műveletekre, miután egy funkció le van tiltva a frissítés előtt. Ilyen például a blob helyreállítható törlési funkciója. A fiók frissítése előtt le kell tiltania a blobok helyreállítható törlését, majd engedélyeznie kell az összes helyreállítható törlési blob lejáratát.

Oldalblobok eltávolítása a tárfiókból

Lapblobokat tartalmazó tárfiók nem frissíthető. A frissítés végrehajtása előtt mindenképpen távolítsa el a lapblobokat a tárfiókból.

Győződjön meg arról, hogy az egyes blobútvonalak szegmensei el vannak nevezve

Az áttelepítési folyamat létrehoz egy könyvtárat egy blob minden elérési útszakaszához. A Data Lake Storage-címtáraknak névvel kell rendelkezniük ahhoz, hogy a migrálás sikeres legyen, a virtuális címtár minden elérési útszakaszának rendelkeznie kell egy névvel. Ugyanez a követelmény igaz azokra a szegmensekre is, amelyek csak szóköz karakterrel vannak elnevezve. Ha bármelyik elérésiút-szegmens névtelen () vagy csak szóköz karakterrel (//_) van elnevezve, akkor a migrálás folytatása előtt át kell másolnia ezeket a blobokat egy új elérési útra, amely kompatibilis az elnevezési követelményekkel.

Írási tevékenység megakadályozása a tárfiókba

A frissítés sikertelen lehet, ha egy alkalmazás a frissítés során a tárfiókba ír. Az ilyen írási tevékenység megakadályozása:

1. Adjon meg minden olyan alkalmazást vagy szolgáltatást, amely írási műveleteket hajthat végre.

2. Meglévő bérletek felszabadítása vagy megszüntetése a tárfiókban lévő tárolókon és blobokon.

A frissítés befejezése után megszakítja a létrehozott bérleteket, hogy folytatódjon a tárolókhoz és blobokhoz való írási hozzáférés.

Figyelmeztetés

Az aktív bérletek feltörése az erőforrásokhoz jelenleg hozzáférő alkalmazások vagy virtuális gépek kecses letiltása nélkül váratlan következményekkel járhat. Az aktuális bérletek feltörése előtt mindenképpen törölje az aktuális írási tevékenységeket.

Archivált blobok nevének tervezett módosítása

Ha módosítani szeretné egy archivált blob vagy bármely szülőkönyvtár nevét, amely az archivált blobhoz vezet, a frissítés előtt végezze el ezeket a módosításokat. Ha a frissítés után módosítja egy archivált blob vagy az arhivált blobhoz vezető bármely szülőkönyvtár nevét, akkor nem lesz képes újra hidratálni azt. Ez az aktuális kiadás ideiglenes korlátozása.

A frissítés végrehajtása

Portál

1. Az első lépésekhez jelentkezzen be az Azure Portalra .

2. Keresse meg a tárfiókot, és jelenítse meg a fiók áttekintését.

3. Válassza a Data Lake Gen2 migrálását.

   Megjelenik az Azure Data Lake Gen2 képességkonfigurációs oldalát tartalmazó Storage-fiókra való frissítés.

   

4. Bontsa ki az 1. lépést: Tekintse át a fiók módosításait a szakasz frissítése előtt, majd kattintson a Véleményezés gombra , és fogadja el a módosításokat.

5. A Fiókmódosítások áttekintése lapon jelölje be a jelölőnégyzetet, majd kattintson az Egyetértés a módosításokhoz elemre.

6. Bontsa ki a 2. lépést: Fiók ellenőrzése a szakasz frissítése előtt, majd kattintson az Ellenőrzés indítása gombra.

   Ha az ellenőrzés sikertelen, hiba jelenik meg a lapon. Bizonyos esetekben megjelenik egy Nézethibák hivatkozás. Ha megjelenik ez a hivatkozás, jelölje ki.

   

   Ezután a error.json fájl helyi menüjében válassza a Letöltés lehetőséget.

   

   Nyissa meg a letöltött fájlt annak megállapításához, hogy a fiók miért nem teljesítette az érvényesítési lépést. Az alábbi JSON azt jelzi, hogy a fiókon engedélyezve van egy nem kompatibilis funkció. Ebben az esetben letiltaná a funkciót, majd újra elindítaná az érvényesítési folyamatot.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. A fiók sikeres érvényesítése után bontsa ki a 3. lépés: Fiók frissítése szakaszt, majd kattintson a Frissítés indítása gombra.

   Fontos

   Az írási műveletek le vannak tiltva a fiók frissítése közben. Az olvasási műveletek nincsenek letiltva, de határozottan javasoljuk, hogy függessze fel az olvasási műveleteket, mert azok destabilizálhatják a frissítési folyamatot.

   Ha az áttelepítés sikeresen befejeződött, megjelenik az alábbihoz hasonló üzenet.

   

PowerShell

1. Nyisson meg egy Windows PowerShell-parancsablakot.

2. Győződjön meg arról, hogy a legújabb Azure PowerShell-modullal rendelkezik. Lásd: Az Azure PowerShell-modul telepítése.

3. Jelentkezzen be az Azure-előfizetésbe a Connect-AzAccount paranccsal, és kövesse a képernyőn megjelenő útmutatásokat.

   Connect-AzAccount
   

4. Ha identitása egynél több előfizetéshez van társítva, állítsa be az aktív előfizetést.

   $context = Get-AzSubscription -SubscriptionId <subscription-id>
   Set-AzContext $context
   

   Cserélje le a <subscription-id> helyőrző értékét az előfizetés azonosítójára.

5. Ellenőrizze a tárfiókot az alábbi paranccsal.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
   

   • Cserélje le a <resource-group-name> helyőrző értékét az erőforráscsoport nevére.

   • Cserélje le a <storage-account-name> helyőrző értékét a tárfiók nevére.

   A fiók méretétől függően ez a folyamat eltarthat egy ideig. A kapcsolóval asJob futtathatja a parancsot egy háttérfeladatban, hogy az ügyfél ne legyen letiltva. A parancs távolról fut, de a feladat a helyi gépen vagy azon a virtuális gépen található, amelyről a parancsot futtatja. Az eredményeket a rendszer a helyi gépre vagy a virtuális gépre továbbítja.

6. A feladat állapotának ellenőrzéséhez és a feladat összes tulajdonságának egy listában való megjelenítéséhez a visszatérési változót a parancsmaghoz kell átirányítani Format-List .

   $result | Format-List -Property *
   

   Ha az ellenőrzés sikeres, az Állapot tulajdonság Befejezve értékre lesz állítva.

   Ha az érvényesítés sikertelen, az Állapot tulajdonság sikertelen lesz, a Hiba tulajdonság pedig érvényesítési hibákat jelenít meg.

   Az alábbi kimenet azt jelzi, hogy a fiókon engedélyezve van egy nem kompatibilis funkció. Ebben az esetben letiltaná a funkciót, majd újra elindítaná az érvényesítési folyamatot.

   

   Bizonyos esetekben a Hiba tulajdonság egy error.json nevű fájl elérési útját biztosítja. A fájlt megnyitva megállapíthatja, hogy a fiók miért nem hajtotta végre az érvényesítési lépést.

   Az alábbi JSON azt jelzi, hogy a fiókon engedélyezve van egy nem kompatibilis funkció. Ebben az esetben letiltaná a funkciót, majd újra elindítaná az érvényesítési folyamatot.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. A fiók sikeres érvényesítése után indítsa el a frissítést az alábbi parancs futtatásával.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
   

   A fenti érvényesítési példához hasonlóan ez a példa a asJob kapcsolóval futtatja a parancsot egy háttérfeladatban. A Force kapcsoló felülírja a frissítés megerősítését. Ha nem használja a AsJob kapcsolót, nem kell használnia a Force kapcsolót, mert egyszerűen válaszolhat a kérdésekre.

   Fontos

   Az írási műveletek le vannak tiltva a fiók frissítése közben. Az olvasási műveletek nincsenek letiltva, de határozottan javasoljuk, hogy függessze fel az olvasási műveleteket, mert azok destabilizálhatják a frissítési folyamatot.

   A feladat állapotának ellenőrzéséhez használja az előző lépésekben ismertetett technikákat. A folyamat futtatásakor az Állapot tulajdonság Futás értékre lesz állítva.

   Ha a migrálás sikeresen befejeződött, az Állapot tulajdonság Befejezve értékre lesz állítva, és a Hiba tulajdonság nem jelenít meg hibákat.

   

   Fontos

   A frissítési idő hozzávetőleges becslése körülbelül 5–10 perc 2 millió blobonként. Ha például a fiók 10 millió blobot használ, a frissítés körülbelül 25–50 percet vesz igénybe. A kevesebb mint 2 millió blobot tartalmazó fiókok általában kevesebb mint 10 perc alatt frissülnek.

Azure CLI

1. Először nyissa meg az Azure Cloud Shellt, vagy ha helyileg telepítette az Azure CLI-t, nyisson meg egy parancskonzolalkalmazást, például a Windows PowerShellt.

2. Az alábbi paranccsal ellenőrizze, hogy az Azure CLI telepített 2.29.0 vagy újabb verziója van-e telepítve.

    az --version
   

   Ha az Azure CLI verziója alacsonyabb, akkor 2.29.0telepítse a legújabb verziót. További információ: Az Azure CLI telepítése.

3. Ha identitása egynél több előfizetéshez van társítva, állítsa be az aktív előfizetést.

      az account set --subscription <subscription-id>
   

   Cserélje le a <subscription-id> helyőrző értékét az előfizetés azonosítójára.

4. Ellenőrizze a tárfiókot az alábbi paranccsal.

   az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
   

   • Cserélje le a <resource-group-name> helyőrző értékét az erőforráscsoport nevére.

   • Cserélje le a <storage-account-name> helyőrző értékét a tárfiók nevére.

   Ha az ellenőrzés sikeres, a folyamat befejeződik, és nem jelennek meg hibák.

   Ha az érvényesítés sikertelen, érvényesítési hiba jelenik meg a konzolon. A hiba (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled például azt jelzi, hogy a fiókban engedélyezve van egy nem kompatibilis funkció (verziószámozás). Ebben az esetben letiltaná a funkciót, majd újra elindítaná az érvényesítési folyamatot.

   Bizonyos esetekben a konzolon megjelenik egy error.json nevű fájl elérési útja. A fájlt megnyitva megállapíthatja, hogy a fiók miért nem hajtotta végre az érvényesítési lépést.

   Az alábbi JSON azt jelzi, hogy a fiókon engedélyezve van egy nem kompatibilis funkció. Ebben az esetben letiltaná a funkciót, majd újra elindítaná az érvényesítési folyamatot.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

5. A fiók sikeres érvényesítése után indítsa el a frissítést az alábbi parancs futtatásával.

   az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
   

   Fontos

   Az írási műveletek le vannak tiltva a fiók frissítése közben. Az olvasási műveletek nincsenek letiltva, de határozottan javasoljuk, hogy függessze fel az olvasási műveleteket, mert azok destabilizálhatják a frissítési folyamatot.

   Ha az áttelepítés sikeres, a folyamat befejeződik, és nem jelennek meg hibák.

A frissítés leállítása

A migrálás befejeződése előtt leállíthatja az áttelepítést.

Portál

Ha le szeretné állítani a frissítést, mielőtt befejeződik, válassza a Frissítés megszakítása lehetőséget, amíg a frissítés folyamatban van.

PowerShell

Ha le szeretné állítani a frissítést, mielőtt befejeződik, használja a Stop-AzStorageAccountHierarchicalNamespaceUpgrade parancsot.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Azure CLI

Ha le szeretné állítani a frissítést, mielőtt befejeződik, használja a az storage account hns-migration stop parancsot.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Adatok, számítási feladatok és alkalmazások migrálása

1. Konfigurálja a számítási feladatokban lévő szolgáltatásokat úgy, hogy a Blob szolgáltatásvégpontra vagy a Data Lake Storage-végpontra mutasson.

   

2. A Windows Azure Storage Blob-illesztőprogramot vagy WASB-illesztőprogramot használó Hadoop-számítási feladatok esetében mindenképpen módosítsa őket az Azure Blob Fájlrendszer (ABFS) illesztőprogram használatára. A Blob szolgáltatásvégpontra irányuló kéréseket küldő WASB-illesztővel ellentétben az ABFS-illesztő kéréseket küld a fiók Data Lake Storage-végpontjára.

3. Tesztelje az egyéni alkalmazásokat, hogy biztosan a várt módon működjenek a frissített fiókkal.

   A Data Lake Storage többprotokollos hozzáférése lehetővé teszi, hogy a legtöbb alkalmazás módosítás nélkül használja a Blob API-kat. Ha problémákat tapasztal, vagy api-kat szeretne használni a címtárműveletek és az ACL-ek használatához, érdemes lehet áthelyezni a kód egy részét a Data Lake Storage API-k használatára. A .NET, a Java, a Python, a Node.js és a REST útmutatóinak megtekintése.

4. Tesztelje az egyéni szkripteket, hogy biztosan a várt módon működjenek a frissített fiókkal.

   Ahogy a Blob API-k esetében is, a szkriptek nagy része valószínűleg úgy fog működni, hogy nem kell módosítania őket. Szükség esetén azonban frissítheti a szkriptfájlokat a Data Lake Storage PowerShell-parancsmagok és az Azure CLI-parancsok használatára.

Lásd még

Az Azure Data Lake Storage bemutatása