Az Azure Storage szalagos migrálásának áttekintése
Ez a cikk a szalagos migrálással foglalkozik. Célja, hogy egyszerűsítse, útmutatást és megfontolandó szempontokat biztosítson a különböző szalagos adathordozókon tárolt adatok sikeres migrálásán az Azure Storage-szolgáltatásokba.
Áttekintés
A szalag a világadatok nagy részét tárolja, és továbbra is az egyik domináns tárolási adathordozó-típus marad. A szalagos adathordozók évtizedek óta léteznek, és még mindig nagy mértékben használják évente több száz exabájtnyi új szalaggal.
A szalagok kiválóan alkalmasak hideg adatok tárolására. Gyorsak a szekvenciális olvasásban, de a mechanikai mozgást igénylő szakaszok (például a szalagok be- és kirakodása, szalagkeresések stb.) lassabbak. Ez használhatatlanná teszi a szalagokat a hagyományos, véletlenszerű alapú hozzáféréshez, és ez a fő oka annak, hogy még ma is ritkán használják a szalagokon tárolt adatokat. Ezen kívül a szalag egy mágneses közeg, amely speciális kezelést igényel. Érzékenyek a környezetre, különösen a hőmérsékletre és a páratartalomra. Ha a működési környezeti tartományon belül maradnak, magas tartósságot és jó visszaállítási sikert érhetnek el. Ha azonban barátságtalan környezetben tartják, a romlás gyakran történik, és olvashatatlanná teszi a szalagot.
A szalagok nagy része sötét adatokat tárol (a létrehozott és tárolt adatokat, de semmilyen célra nem használják). A sötét adatok nem hoznak értéket az adattulajdonos számára. Az AI-képességek és az akadálymentesség növekedésével a trend változik. Az ügyfelek azt vizsgáljuk, hogy a sötét adatok hogyan segíthetik őket a hatékonyság növelésében, az új bevételi streamek megnyitásában vagy a versenyelőny növelésében. A sötét adatok előnyeinek kihasználásához számos szervezet fontolóra veszi az adatok szalagról felhőbeli tárolóba való migrálását. A felhőalapú tárolással egyszerűen elemezheti az adatokat, kinyerheti az üzleti értéket (például AI, Machine Learning, Azure Search stb.), vagy csökkentheti a költségeket azáltal, hogy kihasználja az archivált tárterületet a hosszú távú megőrzés érdekében.
A szalagok felhőbe történő migrálásának növekedésének néhány fő oka a következő:
- Üzleti érték kinyerése sötét adatokból,
- Csökkentse a hosszú távú megőrzéssel rendelkező adatok kezeléséhez szükséges erőfeszítéseket,
- Kerülje az áttelepítési folyamatot az egyik szalaggenerálásból a másikba,
- Az adatvesztés kockázatának csökkentése, különösen a szalagok idősebb generációi számára,
- Helyen kívüli szalagos tárolóhelyek cseréje,
- A vészhelyreállítási folyamatok egyszerűsítése,
- Modern eszközök, például az AI és az ml alkalmazása az előzményadatokra.
Megfontolások
A szalagos migrálási folyamat megkezdése előtt alaposan meg kell fontolni a beállításokat. Első szempont a migrálás végrehajtásának eldöntése. Két lehetőség gyakran használatos:
- Az ügyfél migrálást hajtott végre, ahol az ügyfél végrehajtja a teljes körű migrálást,
- Szalagos áttelepítési partner , ahol az ügyfél a szalagokat a partnerhez szállítja, és a partner végrehajtja a migrálási folyamatot.
| Módszer | Előnyök | Hátrányok |
|---|---|---|
| Ügyfél által végrehajtott migrálás | - Az adatok soha nem hagyják el a webhelyet - Nincs logisztikai szállítási szalagok |
– Hardvererőforrásokat igényel – További munkát ad a személyzetnek - Speciális ismereteket igényel a szalagok kezeléséhez - Lehetséges ismeretlen költségek |
| Szalagos migrálási partner | - Egyszerű díjszabás és előre ismert költség (szalagonként fizetve) - Nincs hatással az éles környezetre - Nincs hatással a személyzetre |
- Logisztikát igényel a szállítási szalagokhoz - A szállítási szalagok miatt szükséges biztonsági szempontok – Több másolat szükséges az adatok rendelkezésre állásához a migrálás során |
Számos fontos szempont segíthet eldönteni, hogy ki hajthatja végre a migrálást, az ügyfelet vagy a partnert.
Források
Az erőforrások a szalagos migrálási folyamat legkritikusabb részét képezik, és a következő kategóriákba soroljuk őket:
| Kategória | Jegyzetek |
|---|---|
| Nép | - Speciális készségekre van szükség - A folyamat munkaigényes |
| Hardver | - A különböző szalaggenerációk eltérő hardvertípust igényelnek – A migrálás sebessége arányos a rendelkezésre álló meghajtókkal és a hálózati sávszélességsel |
| Szoftver | – Az adatokat létrehozó szoftverekhez való hozzáférésre van szükség - A titkosítási kulcsokhoz való hozzáférésre van szükség |
A hardver általában a legnagyobb kihívást jelentő rész. Ha a meglévő szalaggenerációk migrálása történik, a hardver elérhető, de a meglévő gyártás részeként használatos. Az idősebb szalagos generációk esetében azonban a hardverek gyakran az élettartamuk végéhez érnek, és nehezebb beszerezni. A régebbi szalagok létrehozásakor előnyben részesített és egyszerűbb megoldás a szalagmigrálási partner használata. Ha éles hardvert használnak az áttelepítéshez, gondos tervezésre van szükség annak érdekében, hogy a migrálás ne zavarja az éles számítási feladatokat. Az alábbiakban három különböző modellt alkalmazhatunk:
- Dedikált hardver használata a migráláshoz: a legegyszerűbb migrálási modell, könnyen ütemezhető, és az éles környezetre gyakorolt hatás nélkül tervezhető. Ez hozzáadja a hardver beszerzésének költségét (ha még nem érhető el), és a migrálás után alacsony hardverkihasználtságot okoz.
- Munkaidőn kívüli migrálás futtatása az éles hardveren: az áttelepítési modell nincs hatással az éles környezetre. Összetett ütemezést, végrehajtást és munkaidőn kívüli munkát igényel. Csak akkor lehetséges, ha az éles hardver nem használja a 24x7-et.
- Futtassa együtt az éles üzemet és a migrálást: a legkevésbé előnyben részesített migrálási modell, mivel könnyen befolyásolhatja az éles üzemet. Ez a modell csökkenti az éles környezetben elérhető hardvereket, összetett ütemezést és tervezést igényel. Ha ezt a modellt használja, az éles környezetre gyakorolt hatás csökkentésére irányuló folyamatok kritikus fontosságúak a migrálási ütemterv szabályozásának fenntartása érdekében. Ez a modell csak akkor ajánlott, ha az éles hardverek kihasználtsága alacsony.
Adatátviteli lehetőségek
Miután az adatokat szalagokból olvasták be, át kell helyezni az Azure Storage-ba. Az adatok áthelyezhetők hálózati vagy offline eszközökkel, például az Azure Data Box használatával. Az adatátviteli lehetőségek kiválasztását befolyásoló paraméterek némelyike a következő:
- Elérhető hálózati sávszélesség
- A migrálás befejezéséhez szükséges ütemterv
- Az adatváltozások gyakorisága
Az optimális beállítás kiválasztásával kapcsolatos útmutatást itt talál. A hálózatátvitel egyszerűbb és előnyben részesített lehetőség. A hálózat és az offline módszer kombinációja is lehetséges, de nagyobb tervezést igényel annak érdekében, hogy az áttelepített adatok ne fedjenek át átfedést.
Ha nincs elérhető erőforrás a migrálás végrehajtásához, függetlenül attól, hogy milyen típusú erőforrásról van szó, az egyetlen lehetőségünk egy szalagos áttelepítési partner használata. Ebben az esetben két lehetőség közül választhatunk:
- Az ügyfél webhelyén végzett migrálás: a szalagos migrálási partner szállítja a hardvert, felbéreli az embereket, és elvégzi a munkát az ügyfél helyén. Az ügyfélnek hozzáférést kell biztosítania a szalagokhoz, dedikált helyet kell biztosítania a berendezésekhez, a hálózati kapcsolatokhoz és az Azure Storage szolgáltatáshoz való hozzáférést. A partner minden más tevékenységért felelős.
- A partner webhelyén végrehajtott migrálás: az ügyfél a szalagokat a partnerhez szállítja, és hozzáférést biztosít az Azure Storage szolgáltatáshoz. A szalagos migrálási partner elvégzi az adatok szalagokból az Azure Storage-ba való migrálását.
A második lehetőség egyszerűbb, és gyakrabban használatos. A szalagos migrálási partnerek olyan létesítményekkel rendelkeznek, amelyeket úgy terveztek és szereltek fel, hogy nagy léptékben végezzenek szalagos migrálást. Ez a lehetőség csökkenti a kockázatot és az ütemtervet is, mivel a partnerek több hardvererőforrással rendelkeznek. A migrálást az ügyfél webhelyén csak akkor használja a rendszer, ha a biztonsági és adatvédelmi szempontok nem teszik lehetővé az ügyfél számára, hogy a szalagokat a partnernek szállítsa.
Több partner szalagos migrálást végezhet az Azure-ba. A partnerek teljes listája az offline médiaimportáláson található.
Íme egy egyszerű folyamatábra a kiválasztási folyamat megkönnyítéséhez.
Adatformátum
Az adatformátum nagy hatással van a migrálás tervezésére, és ez a jövőbeli adatok használhatóságának kritikus szempontja. Az adatok védett vagy natív formátumban tárolhatók. A védett formátumokat gyakran virtuális szalagként tárolják. A natív formátumhoz vissza kell állítani a fájlokat a szalagokról, és fájlként vagy objektumként kell őket tárolni.
| Modell | Előnyök | Hátrányok |
|---|---|---|
| Virtuális szalagok | – Egyszerűbb és gyorsabb migrálás - Újra létrehozhatja az eredeti szalagos adathordozót – Az adatok írásához nincs szükség az eredeti szoftverhez való hozzáférésre |
– A virtuális szalagok leltárának karbantartását igényli - Az alkalmazásfüggő formátumban tárolt adatokhoz az eredeti szoftver szükséges az adatok visszaállításához – Az Azure-szolgáltatások (AI/ML) által nem elérhető adatok visszaállítás nélkül |
| Natív fájlok | - Bármely alkalmazás és szolgáltatás által elérhető fájlok (AI/ML) - Lehetséges az adatok bevételszerzése - Nincs szükség az eredeti szoftverhez való hozzáférésre a visszaállításhoz |
– Összetettebb migrálás – Az adatok írásához hozzáférésre van szükség az eredeti szoftverhez |
A formátum kiválasztásának fő kritériuma az adatok használatának megtervezése. Ha az adatok migrálása csak hosszú távú megőrzés céljából történik, akkor a virtuális szalagok nagyszerű választásnak számítanak. Minden más esetben előnyben részesíti az adatok natív formátumban történő tárolását. Lehetővé teszi az adatok egyszerű használatát a jövőben, és számos lehetőséget nyit meg az adatelemzéssel.
Migrálási folyamat
Miután döntéseket hoztunk a migrálás végrehajtásáról és az előnyben részesített adatformátumról, megkezdhetjük a migrálást. A migrálás több fázison megy keresztül.
Információs fázis
Az információs fázis kritikus fontosságú a kulcskövetelmények összegyűjtése szempontjából. Az összegyűjtött információk útmutatást adnak a helyes tervezéshez és tervezéshez. Annak ellenére, hogy bizonyos információk később frissíthetők, pontos információkat szolgáltatva beállítják a jelenetet, és elkerüli a folyamat jelentős módosításainak szükségességét. Az ebben a fázisban megválaszolandó legfontosabb kérdések a következők:
- Milyen típusú szalagokat kell migrálni (például LTO3, LTO6, 3592JC stb.)?
- Milyen mennyiségű szalagot kell migrálni az egyes modellekhez (például 100xLTO3, 200xLTO6 stb.)?
- Milyen szoftvereket használtak az adatok szalagokra való írásához, ez a szoftver továbbra is elérhető?
- Milyen formátumot használnak az adatok szalagokra való írásához, a formátum nyitott vagy védett, a tömörítés alkalmazható?
- Használták a titkosítást, és ha igen, mi a legbiztonságosabb megoldás a titkosítási kulcsok cseréjére?
- Mi a célrégió?
- Milyen tárolási szolgáltatást használ?
- Milyen szabályozási követelmények kritikusak (HIPAA, GDPR stb.)? Kötelező a felügyeleti lánc?
- Mi a migrálási határidő? Vannak kritikus mérföldkövek?
- Mennyi hálózati sávszélesség érhető el a migráláshoz?
- Hol vannak fizikailag tárolva a szalagok, és szállíthatók?
- Már rendelkezik kivonatértékekkel az összes fájlhoz? Ha igen, melyik kivonatoló algoritmust használja?
- Szükség van szalagokra a migrálás után?
- Hogyan lehet fenntartani a hőmérsékletet és a páratartalmat a szalagok számára a migrálás / szállítás során?
- Kik a fő érdekelt felek?
Előkészítési fázis
Miután összegyűjtöttük az alapvető információkat, felkészülhetünk a migrálásra. Az előkészítési fázis számos különböző lépést tartalmazhat, de a legtöbb migrálásnak van néhány gyakori lépése:
Az adatelemzés információt nyújt a migrálni kívánt adatokról. Az információk kritikus fontosságúak ahhoz, hogy megbecsüljük, milyen gyorsan olvashatók be az adatok a szalagokról, és mennyi párhuzamosságot kell elérnünk ahhoz, hogy sikeresen befejezzük a migrálást a határidő előtt. Hatással van a szükséges hardverekre (kódtárak, robotok, meghajtók) vonatkozó becslésekre. Az adatelemzés több szalag mintavételezésével történik, amelyek a migrálni kívánt adathalmazt jelölik. A keresett általános információk a következőek:
- fájlméretek,
- szalagonként tárolt adatok mennyisége,
- fájlok száma szalagonként,
- minimális és maximális fájlméret,
- fájltípusok.
Az adatminőség segít megbecsülni a végleges és az áttelepítendő egyedi adathalmazokat. A szalagos migrálás egyik leggyakoribb problémája az adatok duplikálása. A szalagos migrálás ideális idő a duplikált adatok törlésére. Ez a folyamat javítja az adatok minőségét a jövőbeni használathoz, csökkenti a költségeket és a migrálás időtartamát.
Az adatok rangsorolása határozza meg az adatok áttelepítésének sorrendjét. Ideális esetben közvetlen streamelést szeretnénk elérni az egyes szalagokról ahelyett, hogy véletlenszerűen olvasnánk be a különböző szalagokból származó fájlokat (az állandó betöltés, a kipakolás és a keresések elkerülése érdekében). Ez a megközelítés a lehető legnagyobb átviteli sebességet éri el, és mindig a leggyorsabb migrálási útvonal. Az adatok rangsorolása üzleti követelményeket és műszaki megvalósíthatóságot igényel a legjobb eredmények eléréséhez.
A migrálás tervezése magában foglalja a migrálás összes technikai aspektusát, valamint a végleges migrálási folyamat létrehozásához gyűjtött információkat. Ez egy írásos dokumentum, amely a fennmaradó szakaszok igazságforrásává válik. Legalább a következőket kell tartalmaznia:
- egyértelmű migrálási folyamat és a migrálási határidő,
- hardver- és személyzeti követelmények,
- infrastruktúra és hálózattervezés,
- biztonsági szempontok,
- olvashatatlan szalagok kezelése,
- szerepkörök és felelősségek stb.
Migrálási fázis
A migrálási terv véglegesítése után elindítjuk a migrálási folyamatot. Mielőtt teljes migrálási ütemre lépnénk, mindig kisebb mintával végezzük el a tesztet. A teszt célja, hogy a végpontok közötti folyamat működjön. Lehetővé teszi, hogy finomhangolásokat végezzünk, és javítsuk a folyamatot. Ha a teszt sikeres, és elégedettek vagyunk az eredménnyel, végrehajtjuk a migrálást. A migrálási fázis kissé eltérő, ha natív fájlokat és virtuális szalagokat használunk. Mindkét esetben ez egy ismétlődő folyamat, amely az összes szalagon áthalad, és felolvassa a teljes tartalmat. Ez a folyamatábra a natív fájlokba való migrálás migrálási fázisát mutatja be.
Adatellenőrzés engedélyezése
Minden migrált fájl esetében adatérvényesítést kell végrehajtanunk, hogy meggyőződjünk arról, hogy az adatok nem sérültek az áttelepítési folyamat során. Az adatérvényesítés úgy történik, hogy összehasonlítja a kivonat értékeit az áttelepítés előtt és az áttelepítés után. Számos típusú kivonatoló algoritmus használható. Gyakori módszer az MD5 használata, mivel az Azure Storage tartalmaz egy előre definiált Content-MD5 metaadatmezőt, amely kitölthető a migrálás során. Ez a módszer lehetővé teszi ugyanazon MD5-érték ellenőrzését, amikor hozzáférünk az adatokhoz annak ellenőrzéséhez, hogy az adatok nem módosultak vagy sérültek-e. Ideális esetben a forrásadatok már tartalmaznak kivonatértékeket, amelyek könnyen összehasonlíthatók a migrálás utáni kivonatértékekkel. Ha a kivonatok nem léteznek, a fájl áttelepítése előtt ki kell számítani őket. Ha a kivonatok egyeznek, a fájl áttelepítettként van megjelölve. Ha nem, a rendszer elveti a fájlt, és újra migrálja. Előfordulhat, hogy az adatok sérültek a forrásszalagokon. Az eredeti kivonatértékek segítenek elkapni ezeket a ritka eseteket. Ha ezek előfordulnak, akkor a másodlagos másolatból is beolvashatjuk az adatokat, ha léteznek. Az adatérvényesítési folyamat kritikus fontosságú összetevője a migrálási tervnek. Meg kell határozni a sikertelen ellenőrzés kezelésének folyamatát. A migrálási fázist is folyamatosan figyeljük, hogy biztosan reagáljunk a kiszámíthatatlan helyzetre, és alkalmazkodjunk hozzá. A fő érdekelt feleknek való rendszeres jelentéskészítés fontos a migrálás nyomon követése érdekében.
Áttelepítés utáni fázis
A migrálás befejezése után még néhány lépést meg kell fontolnunk, mielőtt sikeresen bezárnánk a migrálási projektet. A migráláshoz használt hardvert el kell dobnunk, ha már nincs rá szükség. A legfontosabb kérdés az, hogyan kell megsemmisíteni a szalagokat. A szalagos eltávolítás két lépésből áll. Ha a szalagok bizalmas és bizalmas adatokat tárolnak (és általában igen), először degaussednek. A degaussing biztosítja, hogy minden adat mágnesesen törlődik az adathordozóról. A törlés után a szalagokat megfelelően el kell pusztítani és újra kell hasznosítani. Szalagos migrálási partner használata esetén a partner biztonságosan el is helyezheti a szalagokat.