Az Azure Blob Storage frissítése az Azure Data Lake Storage képességeivel

Ez a cikk segít engedélyezni a hierarchikus névteret, és feloldani az olyan képességeket, mint a fájl- és címtárszintű biztonság és a gyorsabb műveletek. Ezeket a képességeket a big data-elemzési számítási feladatok széles körben használják, és együttesen Azure Data Lake Storage-nak nevezik őket. A legnépszerűbb képességek a következők:

• Nagyobb átviteli sebesség, bemeneti/kimeneti műveletek másodpercenként (IOPS) és tárolási kapacitáskorlátok.

• Gyorsabb műveletek (például átnevezési műveletek), mert az egyes csomóponti URI-kon is működhet.

• Hatékony lekérdezési motor, amely csak az adott művelet végrehajtásához szükséges adatokat továbbítja.

• Biztonság a tároló, a könyvtár és a fájl szintjén.

További információ ezekről: Bevezetés az Azure Data Lake Storage használatába.

Ez a cikk segít felmérni a számítási feladatokra, alkalmazásokra, költségekre, szolgáltatásintegrációkra, eszközökre, funkciókra és dokumentációra gyakorolt hatást. Ügyeljen arra, hogy gondosan tekintse át ezeket a hatásokat. Ha készen áll egy fiók frissítésére, tekintse meg ezt a részletes útmutatót: Az Azure Blob Storage frissítése az Azure Data Lake Storage képességeivel.

Fontos

A frissítés egyirányú. A frissítés után már nem állhat vissza a korábbi fiókállapotra. Javasoljuk, hogy ne gyártási környezetben ellenőrizze a frissítést.

A rendelkezésre állásra gyakorolt hatás

Ügyeljen arra, hogy a frissítési folyamat befejeződése közben tervezze meg a fiók állásidejét. Az írási műveletek le vannak tiltva a fiók frissítése közben. Az olvasási műveletek nincsenek letiltva, de határozottan javasoljuk, hogy függessze fel az olvasási műveleteket, mivel ezek a műveletek destabilizálhatják a frissítési folyamatot.

A számítási feladatokra és alkalmazásokra gyakorolt hatás

A Blob API-k hierarchikus névtérrel rendelkező fiókokkal működnek, így a fiókokat ezen API-k használatával kezelő alkalmazások többsége továbbra is módosítás nélkül működik.

A problémák és kerülő megoldások teljes listájáért tekintse meg a Blob Storage API-kkal kapcsolatos ismert problémákat.

A Windows Azure Storage Blob-illesztőprogramot (WASB) használó Hadoop-számítási feladatokat módosítani kell az Azure Blob Fájlrendszer (ABFS) illesztőprogram használatához. A Blob szolgáltatásvégpontra irányuló kéréseket küldő WASB-illesztővel ellentétben az ABFS-illesztő kéréseket küld a fiók Data Lake Storage-végpontjára.

Data Lake Storage-végpont

A frissített fiók rendelkezik egy Data Lake Storage-végpontkal. Ennek a végpontnak az URL-címe az Azure Portalon található, ha megnyitja a fiók Tulajdonságok lapját.

A végpont használatához nem kell módosítania a meglévő alkalmazásait és számítási feladatait. A Többprotocol-hozzáférés a Data Lake Storage-ban lehetővé teszi, hogy a Blob szolgáltatásvégpontot vagy a Data Lake Storage-végpontot használja az adatok kezeléséhez.

Az Azure-szolgáltatások és -eszközök (például az AzCopy) a Data Lake Storage-végpont használatával kezelhetik a tárfiókban lévő adatokat. Emellett ezt az új végpontot kell használnia minden olyan művelethez, amelyet a Data Lake Storage SDK-kkal, a PowerShell-parancsokkal vagy az Azure CLI-parancsokkal hajt végre.

Címtárak

A hierarchikus névtérrel nem rendelkező Blob Storage-fiókok a hierarchikus paradigma helyett egy sima paradigmában rendezik a fájlokat. A blobok virtuális könyvtárakba vannak rendezve a mappastruktúra utánzásához. A virtuális címtár a blob nevének része, és a határoló karakter jelzi. Mivel a virtuális könyvtár a blobnév része, valójában nem létezik független objektumként.

Az új fiók hierarchikus névtérrel rendelkezik. Ez azt jelenti, hogy a könyvtárak nem virtuálisak. Ezek konkrét, független objektumok, amelyeken közvetlenül lehet dolgozni. A címtárak fájl nélkül is létezhetnek. Címtár törlésekor a címtárban lévő összes fájl el lesz távolítva. A címtár eltűnése előtt már nem kell törölnie az egyes blobokat.

Blob metaadatai

A migrálás előtt a blob metaadatai a blob nevéhez és a teljes virtuális elérési úthoz lesznek társítva. A migrálás után a metaadatok csak a blobhoz lesznek társítva. A blob virtuális elérési útja könyvtárak gyűjteményévé válik. A blob metaadatai egyik könyvtárra sem vonatkoznak.

Műveletek üzembe helyezésére

Amikor feltölt egy blobot, és a megadott elérési út tartalmaz egy nem létező könyvtárat, a művelet létrehozza a könyvtárat, majd hozzáadja a blobot. Ez a viselkedés egy hierarchikus mappastruktúra kontextusában logikus. Olyan Blob Storage-fiókban, amely nem rendelkezik hierarchikus névtérrel, a művelet nem hoz létre könyvtárat. Ehelyett a címtár neve hozzáadódik a blob nevéhez.

Műveletek listázása

A Listablobok művelet a könyvtárakat és a fájlokat is visszaadja. Mindegyik külön van felsorolva. A könyvtárak nulla hosszúságú blobként jelennek meg a listában. Hierarchikus névtérrel nem rendelkező Blob Storage-fiókban a Listablobok művelet csak blobokat ad vissza, könyvtárakat nem. Ha a Data Lake Storage Elérési útja – Lista műveletet használja, a címtárak nem nulla hosszúságú blobokként, hanem címtárbejegyzésekként jelennek meg.

A lista sorrendje is eltérő. A könyvtárak és fájlok részletes keresési sorrendben jelennek meg. A hierarchikus névtérrel nem rendelkező Blob Storage-fiók lexikográfiai sorrendben listázza a blobokat.

Blobok átnevezésére használt műveletek

A blob átnevezése sokkal hatékonyabb, mert az ügyfélalkalmazások egyetlen műveletben átnevezhetnek egy blobot. A hierarchikus névtérrel nem rendelkező fiókokban az eszközöknek és alkalmazásoknak ki kell másolniuk egy blobot, majd törölniük kell a forrásblobot.

Feljegyzés

Blob átnevezésekor a blob utolsó módosított időpontja nem frissül. Ennek az az oka, hogy a blob tartalma nem változik.

A költségekre gyakorolt hatás

A frissítés végrehajtása nem jár költséggel. A frissítés után az adatok tárolásának költsége nem változik, de a tranzakció költsége attól függően változhat, hogy mely Storage-fiókvégpontok ügyfelei, alkalmazásai és számítási feladatait használja az adatok olvasásához és írásához. Lásd : A blobszolgáltatás végpontjának kérései és a Data Lake Storage-végpontra irányuló kérések.

A díjszabási változásokon kívül vegye figyelembe a Data Lake Storage képességeihez kapcsolódó költségmegtakarítást. A teljes bekerülési költség általában a magasabb átviteli sebesség és az optimalizált műveletek miatt csökken. A nagyobb átviteli sebesség lehetővé teszi, hogy kevesebb idő alatt több adatot továbbítson. A hierarchikus névtér javítja a műveletek hatékonyságát.

A szolgáltatásintegrációkra gyakorolt hatás

Bár a legtöbb Azure-szolgáltatásintegráció továbbra is működni fog, miután engedélyezte ezeket a képességeket, némelyik előzetes verzióban marad, vagy még nem támogatott. Tekintse meg az Azure Data Lake Storage-t támogató Azure-szolgáltatásokat az Azure-szolgáltatások Data Lake Storage-ral való integrációjának jelenlegi támogatásáról.

Az eszközökre, funkciókra és dokumentációra gyakorolt hatás

A frissítés után megváltozik az egyes funkciókkal való interakció módja. Ez a szakasz ezeket a módosításokat ismerteti.

A Blob Storage szolgáltatás támogatása

Bár a Blob Storage legtöbb funkciója továbbra is működni fog, miután engedélyezte ezeket a képességeket, némelyik előzetes verzióban marad, vagy még nem támogatott.

Tekintse meg az Azure Data Lake Storage-ban elérhető Blob Storage-funkciókat a Blob Storage-szolgáltatások data lake storage-beli jelenlegi támogatásának megismeréséhez.

Diagnosztikai naplók

Ha engedélyezi a Storage-elemzések naplózását, most már használhatja a 2.0-s verziójú naplóformátumot.

Ezt az új verziót nem kell használnia. A Data Lake Storage-végpontra alkalmazott műveletek azonban csak a 2.0-s verziójú naplókban lesznek rögzítve. Egyes ön által használt szolgáltatások és eszközök (például az AzCopy) ezt a végpontot fogják használni a fiókon végzett műveletek végrehajtásához. Annak érdekében, hogy minden tevékenység naplóadatait rögzíthesse, fontolja meg a 2.0-s verziójú naplóformátum használatát.

Azure-életciklus-felügyelet

Hatékonyan elmagyarázza, hogy a címtárban lévő összes blob áthelyezésére vagy törlésére vonatkozó szabályzatok nem törlik magát a címtárat, amíg el nem távolítja a benne lévő összes blobot, és a címtárat a következő napon eltávolítja.

Eseményhálózat

Az új fiók két végponttal rendelkezik: a Data Lake Storage-végponttal és a Blob szolgáltatásvégponttal. A szolgáltatások, eszközök és alkalmazások bármelyik végpontot használhatják az adatok kezelésére. Ennek eredményeképpen az Event Grid által visszaadott eseményválasz a két végpont egyikét is megjelenítheti az érintett blobot leíró URL-mezőben .

Az alábbi JSON egy blob URL-címét jeleníti meg, amely akkor jelenik meg az eseményválaszban, ha blob jön létre a Blob szolgáltatásvégpont használatával.

{
  "topic": "/subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account",
  "subject": "/blobServices/default/containers/test-container/blobs/new-file.txt",
  "eventType": "Microsoft.Storage.BlobCreated",
  "eventTime": "2017-06-26T18:41:00.9584103Z",
  "id": "831e1650-001e-001b-66ab-eeb76e069631",
  "data": {
    "api": "PutBlockList",
    "clientRequestId": "6d79dbfb-0e37-4fc4-981f-442c9ca65760",
    "requestId": "831e1650-001e-001b-66ab-eeb76e000000",
    "eTag": "\"0x8D4BCC2E4835CD0\"",
    "contentType": "text/plain",
    "contentLength": 524288,
    "blobType": "BlockBlob",
    "url": "https://my-storage-account.blob.core.windows.net/testcontainer/new-file.txt",
    "sequencer": "00000000000004420000000000028963",
    "storageDiagnostics": {
      "batchId": "b68529f3-68cd-4744-baa4-3c0498ec19f0"
    }
  },
  "dataVersion": "",
  "metadataVersion": "1"
}

Az alábbi JSON egy blob URL-címét jeleníti meg, amely akkor jelenik meg az eseményválaszban, ha egy blob a Data Lake Storage-végpont használatával jön létre.

{
  "topic": "/subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account",
  "subject": "/blobServices/default/containers/my-file-system/blobs/new-file.txt",
  "eventType": "Microsoft.Storage.BlobCreated",
  "eventTime": "2017-06-26T18:41:00.9584103Z",
  "id": "831e1650-001e-001b-66ab-eeb76e069631",
  "data": {
    "api": "CreateFile",
    "clientRequestId": "6d79dbfb-0e37-4fc4-981f-442c9ca65760",
    "requestId": "831e1650-001e-001b-66ab-eeb76e000000",
    "eTag": "\"0x8D4BCC2E4835CD0\"",
    "contentType": "text/plain",
    "contentLength": 0,
    "contentOffset": 0,
    "blobType": "BlockBlob",
    "url": "https://my-storage-account.dfs.core.windows.net/my-file-system/new-file.txt",
    "sequencer": "00000000000004420000000000028963",
    "storageDiagnostics": {
      "batchId": "b68529f3-68cd-4744-baa4-3c0498ec19f0"
    }
  },
  "dataVersion": "2",
  "metadataVersion": "1"
}

Ha az alkalmazások az Event Gridet használják, előfordulhat, hogy módosítania kell ezeket az alkalmazásokat, hogy ezt figyelembe vegye.

Tároló Felfedező

A következő gombok még nem jelennek meg az Azure Storage Explorer menüszalagjában:

Gomb	Ok
URL-cím másolása	Még nincs implementálva
Pillanatképek kezelése	Még nincs implementálva

Az alábbi gombok másképp viselkednek az új fiókban.

Gomb	A Blob Storage viselkedése	A Data Lake Storage viselkedése
Mappa	A mappa virtuális, és eltűnik, ha nem ad hozzá fájlokat.	A mappa akkor is létezik, ha nincs hozzá hozzáadott fájl.
Átnevez	A forrásblob másolatát, majd törlését eredményezi	Ugyanazt a blobot átnevezi. Sokkal hatékonyabb.

Dokumentáció

A Data Lake Storage képességeinek használatához itt talál útmutatást: Bevezetés az Azure Data Lake Storage használatába.

Semmi sem változott az összes meglévő Blob Storage-funkció útmutatásának megkereséséhez. Ez az útmutató a következő: Bevezetés az Azure Blob Storage használatába.

A tartalomkészletek közötti váltás során némi terminológiai különbséget fog tapasztalni. A Data Lake Storage-tartalomban szereplő tartalom például blobés tároló helyett a fájl és a fájlrendszer kifejezést használhatja. A fájl- és fájlrendszer kifejezések mélyen gyökereznek a big data-elemzések világában, ahol a Data Lake Storage hosszú múltra tekint vissza. A tartalom ezeket a kifejezéseket tartalmazza, hogy azok a közönség számára is elérhetőek maradjanak. Ezek a kifejezések nem írnak le külön dolgokat.

Következő lépések

Ha készen áll a tárfiók frissítésére a Data Lake Storage képességeinek használatára, tekintse meg ezt a részletes útmutatót.

Az Azure Blob Storage frissítése az Azure Data Lake Storage képességeivel