Azure Blob Storage frissítése Azure Data Lake Storage Gen2 képességekkel
Ez a cikk segít engedélyezni a hierarchikus névteret, és feloldani az olyan képességeket, mint a fájl- és címtárszintű biztonság és a gyorsabb műveletek. Ezeket a képességeket a big data-elemzési számítási feladatok széles körben használják, és együttesen Azure Data Lake Storage Gen2 néven említik. A legnépszerűbb képességek a következők:
Nagyobb átviteli sebesség, bemeneti/kimeneti műveletek másodpercenként (IOPS) és tárolási kapacitáskorlátok.
Gyorsabb műveletek (például átnevezési műveletek), mert az egyes csomóponti URI-kon is működhet.
Hatékony lekérdezési motor, amely csak az adott művelet végrehajtásához szükséges adatokat továbbítja.
Biztonság a tároló, a könyvtár és a fájl szintjén.
További információ ezekről: Bevezetés a Azure Data Lake Storage Gen2.
Ez a cikk segít felmérni a számítási feladatokra, alkalmazásokra, költségekre, szolgáltatásintegrációkra, eszközökre, funkciókra és dokumentációra gyakorolt hatást. Gondosan tekintse át ezeket a hatásokat. Ha készen áll egy fiók frissítésére, tekintse meg ezt a részletes útmutatót: Azure Blob Storage frissítése Azure Data Lake Storage Gen2 képességekkel.
Fontos
A frissítés egyirányú. A frissítés után már nem állhat vissza a korábbi fiókállapotra. Javasoljuk, hogy ne éles környezetben ellenőrizze a frissítést.
A rendelkezésre állásra gyakorolt hatás
A frissítési folyamat befejeződése közben mindenképpen tervezze meg a fiók állásidejét. Az írási műveletek le vannak tiltva a fiók frissítése közben. Az olvasási műveletek nincsenek letiltva, de határozottan javasoljuk, hogy függessze fel az olvasási műveleteket, mivel ezek a műveletek destabilizálhatják a frissítési folyamatot.
A számítási feladatokra és alkalmazásokra gyakorolt hatás
A Blob API-k hierarchikus névtérrel rendelkező fiókokkal működnek, így a fiókokkal ezen API-k használatával kommunikáló alkalmazások többsége módosítás nélkül is működik.
A problémák és kerülő megoldások teljes listáját a Blob Storage API-kkal kapcsolatos ismert problémák című témakörben találja.
A Windows Azure Storage Blob Driver (WASB) illesztőprogramot használó Hadoop-számítási feladatokat módosítani kell az Azure Blob Fájlrendszer (ABFS) illesztőprogram használatához. A blobszolgáltatás végpontjára irányuló kéréseket küldő WASB-illesztőprogramtól eltérően az ABFS-illesztő kéréseket küld a fiók Data Lake Storage végpontjára.
Data Lake Storage végpont
A frissített fióknak egy Data Lake Storage-végpontja lesz. A végpont URL-címét a Azure Portal a fiók Tulajdonságok lapjának megnyitásával találja meg.
A végpont használatához nem kell módosítania a meglévő alkalmazásokat és számítási feladatokat. A többprotocolos hozzáférés Data Lake Storage lehetővé teszi, hogy a Blob szolgáltatásvégpontot vagy a Data Lake Storage-végpontot használja az adatok kezeléséhez.
Az Azure-szolgáltatások és -eszközök (például az AzCopy) a Data Lake Storage-végpontot használhatják a tárfiók adatainak kezeléséhez. Emellett ezt az új végpontot kell használnia minden olyan művelethez, amelyet az Data Lake Storage Gen2 SDK-k, PowerShell-parancsok vagy Azure CLI-parancsok használatával hajt végre.
Könyvtárak
A hierarchikus névtérrel nem rendelkező Blob Storage-fiókok a hierarchikus paradigma helyett egy sima paradigmában rendezik a fájlokat. A blobok virtuális könyvtárakba vannak rendezve a mappaszerkezet utánzásához. A virtuális könyvtár a blob nevének része, és a határoló karakter jelöli. Mivel a virtuális könyvtár a blobnév része, valójában nem létezik független objektumként.
Az új fiók hierarchikus névtérrel rendelkezik. Ez azt jelenti, hogy a könyvtárak nem virtuálisak. Ezek konkrét, független objektumok, amelyeken közvetlenül lehet dolgozni. A címtárak fájl nélkül is létezhetnek. Amikor töröl egy könyvtárat, a könyvtárban lévő összes fájl el lesz távolítva. A címtár eltűnése előtt már nem kell törölnie az egyes blobokat.
Blob metaadatai
A migrálás előtt a blob metaadatai a blob nevéhez és a teljes virtuális elérési úthoz lesznek társítva. A migrálás után a metaadatok csak a blobhoz lesznek társítva. A blob virtuális elérési útja könyvtárak gyűjteményévé válik. A blob metaadatai egyik címtárra sem vonatkoznak.
Műveletek üzembe helyezéséhez
Amikor feltölt egy blobot, és a megadott elérési út tartalmaz egy nem létező könyvtárat, a művelet létrehozza a könyvtárat, majd hozzáadja a blobot. Ez a viselkedés egy hierarchikus mappastruktúra kontextusában logikus. Olyan Blob Storage-fiókban, amely nem rendelkezik hierarchikus névtérrel, a művelet nem hoz létre könyvtárat. Ehelyett a címtárnév hozzá lesz adva a blob nevéhez.
Műveletek listázása
A Listablobok művelet címtárakat és fájlokat is visszaad. Mindegyik külön van felsorolva. A címtárak nulla hosszúságú blobként jelennek meg a listában. Egy olyan Blob Storage-fiókban, amely nem rendelkezik hierarchikus névtérrel, a Listablobok művelet csak blobokat ad vissza, címtárakat nem. Ha a Data Lake Storage Gen2 Elérési út – Lista műveletet használja, a címtárak nem nulla hosszúságú blobként, hanem címtárbejegyzésként jelennek meg.
A lista sorrendje is eltérő. A címtárak és fájlok az első keresési sorrendben jelennek meg. Egy olyan Blob Storage-fiók, amely nem rendelkezik hierarchikus névtérrel, lexikográfiai sorrendben listázza a blobokat.
Blobok átnevezéséhez használandó műveletek
A blob átnevezése sokkal hatékonyabb, mert az ügyfélalkalmazások egyetlen művelettel átnevezhetnek egy blobot. A hierarchikus névtérrel nem rendelkező fiókokban az eszközöknek és alkalmazásoknak ki kell másolniuk egy blobot, majd törölniük kell a forrásblobot.
Megjegyzés
Blob átnevezésekor a blob utolsó módosítási időpontja nem frissül. Ennek az az oka, hogy a blob tartalma változatlan.
A költségekre gyakorolt hatás
A frissítés végrehajtása nem jár költséggel. A frissítés után az adatok tárolásának költsége nem változik, de a tranzakció költsége nem változik. Ezekkel a lapokkal mérheti fel a költségek összehasonlítását.
Az Azure DíjkalkulátorTárfiókok lehetőségével megbecsülheti a költségek hatását a frissítés után.
A díjszabás változásain kívül vegye figyelembe a Data Lake Storage Gen2 képességekhez kapcsolódó költségmegtakarítást. A teljes bekerülési költség általában csökken a nagyobb átviteli sebesség és az optimalizált műveletek miatt. A nagyobb átviteli sebesség lehetővé teszi, hogy kevesebb idő alatt több adatot továbbítson. A hierarchikus névtér javítja a műveletek hatékonyságát.
A szolgáltatásintegrációkra gyakorolt hatás
Bár a legtöbb Azure-szolgáltatásintegráció továbbra is működni fog, miután engedélyezte ezeket a képességeket, néhányuk előzetes verzióban marad, vagy még nem támogatott. A Azure Data Lake Storage Gen2 támogató Azure-szolgáltatásokról a Data Lake Storage Gen2 azure-szolgáltatásintegrációk jelenlegi támogatásáról olvashat.
Az eszközökre, funkciókra és dokumentációra gyakorolt hatás
A frissítés után megváltozik az egyes funkciókkal való interakció módja. Ez a szakasz ezeket a módosításokat ismerteti.
A Blob Storage szolgáltatás támogatása
Bár a Blob Storage legtöbb funkciója továbbra is működni fog, miután engedélyezte ezeket a képességeket, néhányuk előzetes verzióban marad, vagy még nem támogatott.
Az Azure Data Lake Storage Gen2 elérhető Blob Storage-funkciókról a Blob Storage-szolgáltatások Data Lake Storage Gen2 való jelenlegi támogatásáról olvashat.
Diagnosztikai naplók
Ha engedélyezi a Storage Analytics naplózását, most már használhatja a 2.0-s verziójú naplóformátumot.
Ezt az új verziót nem kell használnia. A Data Lake Storage-végpontra alkalmazott műveletek azonban csak a 2.0-s verziójú naplókban vannak rögzítve. Egyes szolgáltatások és eszközök (például az AzCopy) ezt a végpontot használják a fiók műveleteinek végrehajtásához. A naplózási adatok minden tevékenységből való rögzítéséhez fontolja meg a 2.0-s verziójú naplóformátum használatát.
Azure-életciklus-kezelés
Hatékonyan ismerteti, hogy a címtárban lévő összes blob áthelyezésére vagy törlésére vonatkozó szabályzatok mindaddig nem törlik magát a címtárat, amíg a benne lévő összes blob el nem távolítódik, és a címtárat a következő napon eltávolítják.
Event Grid
Az új fiók két végponttal rendelkezik: a Data Lake Storage-végponttal és a Blob szolgáltatásvégponttal. A szolgáltatások, eszközök és alkalmazások bármelyik végpontot használhatják az adatok kezelésére. Ennek eredményeképpen az Event Grid által visszaadott eseményválasz a két végpont bármelyikét megjelenítheti az érintett blobot leíró URL-mezőben .
Az alábbi JSON egy blob URL-címét mutatja, amely akkor jelenik meg az eseményválaszban, ha a blob a Blob szolgáltatásvégpont használatával jön létre.
{
"topic": "/subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account",
"subject": "/blobServices/default/containers/test-container/blobs/new-file.txt",
"eventType": "Microsoft.Storage.BlobCreated",
"eventTime": "2017-06-26T18:41:00.9584103Z",
"id": "831e1650-001e-001b-66ab-eeb76e069631",
"data": {
"api": "PutBlockList",
"clientRequestId": "6d79dbfb-0e37-4fc4-981f-442c9ca65760",
"requestId": "831e1650-001e-001b-66ab-eeb76e000000",
"eTag": "\"0x8D4BCC2E4835CD0\"",
"contentType": "text/plain",
"contentLength": 524288,
"blobType": "BlockBlob",
"url": "https://my-storage-account.blob.core.windows.net/testcontainer/new-file.txt",
"sequencer": "00000000000004420000000000028963",
"storageDiagnostics": {
"batchId": "b68529f3-68cd-4744-baa4-3c0498ec19f0"
}
},
"dataVersion": "",
"metadataVersion": "1"
}
Az alábbi JSON egy blob URL-címét mutatja, amely akkor jelenik meg az eseményválaszban, ha egy blobot a Data Lake Storage-végpont használatával hoznak létre.
{
"topic": "/subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account",
"subject": "/blobServices/default/containers/my-file-system/blobs/new-file.txt",
"eventType": "Microsoft.Storage.BlobCreated",
"eventTime": "2017-06-26T18:41:00.9584103Z",
"id": "831e1650-001e-001b-66ab-eeb76e069631",
"data": {
"api": "CreateFile",
"clientRequestId": "6d79dbfb-0e37-4fc4-981f-442c9ca65760",
"requestId": "831e1650-001e-001b-66ab-eeb76e000000",
"eTag": "\"0x8D4BCC2E4835CD0\"",
"contentType": "text/plain",
"contentLength": 0,
"contentOffset": 0,
"blobType": "BlockBlob",
"url": "https://my-storage-account.dfs.core.windows.net/my-file-system/new-file.txt",
"sequencer": "00000000000004420000000000028963",
"storageDiagnostics": {
"batchId": "b68529f3-68cd-4744-baa4-3c0498ec19f0"
}
},
"dataVersion": "2",
"metadataVersion": "1"
}
Ha az alkalmazások az Event Gridet használják, előfordulhat, hogy módosítania kell ezeket az alkalmazásokat, hogy ezt figyelembe vegye.
Storage Explorer
A következő gombok még nem jelennek meg a Azure Storage Explorer menüszalagjában:
| Gomb | Ok |
|---|---|
| URL-cím másolása | Még nincs megvalósítva |
| Pillanatképek kezelése | Még nincs megvalósítva |
| Törlés visszavonása | Attól függ, hogy a Blob Storage funkciói még nem támogatottak-e a Data Lake Storage Gen2 |
Az alábbi gombok másképp viselkednek az új fiókban.
| Gomb | A Blob Storage viselkedése | Data Lake Storage Gen2 viselkedése |
|---|---|---|
| Mappa | A mappa virtuális, és eltűnik, ha nem ad hozzá fájlokat. | A mappa akkor is létezik, ha nincs hozzá hozzáadott fájl. |
| Átnevezés | A forrásblob másolatát, majd törlését eredményezi | Átnevezi ugyanazt a blobot. Sokkal hatékonyabb. |
Dokumentáció
A Data Lake Storage Gen2 képességek használatához itt talál útmutatást: Bevezetés a Azure Data Lake Storage Gen2 használatába.
Semmi sem változott az összes meglévő Blob Storage-funkció útmutatásának megkeresése kapcsán. Ez az útmutató a következő: Bevezetés az Azure Blob Storage használatába.
A tartalomkészletek közötti váltáskor némi terminológiai különbséget fog tapasztalni. A Data Lake Storage Gen2 tartalomban kiemelt tartalom például a fájl és a fájlrendszer kifejezést használhatja blob és tároló helyett. A fájl és a fájlrendszer kifejezés mélyen gyökerezik a big data-elemzések világában, ahol a Data Lake Storage hosszú múltra tekint vissza. A tartalom ezeket a kifejezéseket tartalmazza, hogy azok a közönség számára is elérhetőek maradjanak. Ezek a kifejezések nem írnak le külön dolgokat.
Következő lépések
Ha készen áll a tárfiók frissítésére, hogy Data Lake Storage Gen2 képességeket is tartalmazzon, tekintse meg ezt a részletes útmutatót.