Nagy méretű adathalmazok átvitele közepes vagy nagy hálózati sávszélességen
Ez a cikk áttekintést nyújt az adatátviteli megoldásokról, ha mérsékelt vagy nagy hálózati sávszélességet használ a környezetben, és nagy adathalmazok átvitelét tervezi. A cikk emellett ismerteti a javasolt adatátviteli lehetőségeket és a megfelelő kulcsképességi mátrixot ehhez a forgatókönyvhöz.
Az összes elérhető adatátviteli lehetőség áttekintésének megismeréséhez tekintse meg az Azure-beli adatátviteli megoldás kiválasztása című témakört.
Forgatókönyv leírása
A nagy adathalmazok a TB-k és AB-k sorrendjében lévő adatméretekre vonatkoznak. A közepes vagy nagy hálózati sávszélesség 100 Mbps és 10 Gb/s közötti sávszélességet jelent.
Ajánlott lehetőségek
Az ebben a forgatókönyvben javasolt lehetőségek attól függnek, hogy Ön közepes vagy nagy hálózati sávszélességgel rendelkezik.
Közepes sávszélesség (100 Mbps – 1 Gbps)
Mérsékelt hálózati sávszélesség mellett ki kell vetítenie a hálózaton keresztüli adatátvitel idejét.
Az alábbi táblázat segítségével megbecsülheti az időt, és ennek alapján választhat az offline átvitel vagy a hálózati átvitel között. A táblázat a hálózati adatátvitel várható idejét mutatja a különböző rendelkezésre álló hálózati sávszélességek esetében (90%-os kihasználtságot feltételezve).
Ha a hálózati átvitel túl lassú, akkor fizikai eszközt kell használnia. Ebben az esetben a javasolt lehetőségek az Azure Data Box-családból származó offline adatátviteli eszközök vagy az Azure Import/Export saját lemezek használatával.
- Azure Data Box-család offline átvitelhez – A Microsoft által biztosított Data Box-eszközök eszközeivel nagy mennyiségű adatot helyezhet át az Azure-ba, ha az idő, a hálózat rendelkezésre állása vagy a költségek korlátozottak. A helyszíni adatokat az olyan eszközökkel másolhatja át, mint például a Robocopy. Az áthelyezendő adatok méretétől függően a következő lehetőségek közül választhat: Data Box Disk, Data Box vagy Data Box Heavy.
- Azure Import/Export – Az Azure Import/Export szolgáltatással saját lemezmeghajtókat szállítva biztonságosan importálhat nagy mennyiségű adatot az Azure Blob Storage-ba és Azure Files. Ez a szolgáltatás az adatoknak az Azure Blob-tárolóból lemezmeghajtókra való átvitelére, majd saját helyszíni helyeire való eljuttatására is használható.
Ha a hálózat átvitele ésszerűnek számít, az alábbi eszközök bármelyikét használhatja a nagy hálózati sávszélességről.
Nagy sávszélesség (1 Gbps – 100 Gbps)
Ha a rendelkezésre álló hálózati sávszélesség magas, használja az alábbi eszközök egyikét.
- AzCopy – Ezzel a parancssori eszközzel egyszerűen másolhat adatokat az Azure Blobok, Fájlok és Table Storage szolgáltatásba és onnan optimális teljesítménnyel. Az AzCopy támogatja az egyidejűséget és a párhuzamosságot, valamint lehetővé teszi a másolási műveletek folytatását egy esetleges megszakítás esetén.
- Azure Storage REST API-k/SDK-k – Alkalmazás létrehozásakor az alkalmazást az Azure Storage REST API-kkal fejlesztheti, és használhatja a több nyelven kínált Azure SDK-kat.
- Azure Data Box-család online átvitelhez – Az Azure Stack Edge és a Data Box Gateway olyan online hálózati eszközök, amelyek adatokat helyezhetnek át az Azure-ba és onnan ki. Akkor használja az Azure Stack Edge fizikai eszközt, ha a feltöltés előtt egyidejűleg szükség van az adatok folyamatos betöltésére és előfeldolgozására. A Data Box Gateway az eszköz virtuális verziója, amely ugyanazokkal az adatátviteli képességekkel rendelkezik. Az adatátvitelt mindkét esetben az eszköz kezeli.
- Azure Data Factory – A Data Factoryt kell használni az átviteli műveletek vertikális felskálázásához, és ha vezénylési és nagyvállalati szintű monitorozási képességekre van szükség. A Data Factory használatával rendszeresen továbbíthatja a fájlokat több Azure- vagy helyszíni szolgáltatás, illetve a kettő kombinációja között. A Data Factory segítségével létrehozhatók és ütemezhetők a különböző adattárolókból adatokat beolvasó, valamint az adatátvitelt és adatátalakítást automatizáló adatvezérelt munkafolyamatok.
A legfontosabb képességek összehasonlítása
Az alábbi táblázatok összefoglalják az ajánlott lehetőségek fő képességeinek különbségeit.
Hálózati sávszélesség moderálása
Ha offline adatátvitelt használ, az alábbi táblázatból megismerheti a főbb képességek különbségeit.
| Data Box Disk | Data Box | Data Box Heavy | Import/Export | |
|---|---|---|---|---|
| Adatméret | Legfeljebb 35 TB | Eszközönként akár 80 TB | Eszközönként akár 800 TB | Változó |
| Adattípus | Azure Blobs Azure Files* |
Azure Blobs Azure Files |
Azure Blobs Azure Files |
Azure Blobs Azure Files |
| Űrlaptényező | 5 SSD rendelésenként | 1 X 50 lbs. asztali méretű eszköz megrendelésenként | 1 X ~500-lbs. nagy méretű eszköz megrendelésenként | Megrendelésenként legfeljebb 10 HDD/SSD |
| Kezdeti beállítási idő | Alacsony (15 perc) |
Alacsonytól közepesig (<30 perc) |
Mérsékelt (1-2 óra) |
Közepes vagy nehéz (változó) |
| Adatok küldése az Azure-ba | Igen | Igen | Igen | Yes |
| Adatok exportálása az Azure-ból | Nem | Nem | Nem | Igen |
| Titkosítás | AES 128 bites | AES 256 bites | AES 256 bites | AES 128 bites |
| Hardver | Microsoft által biztosított | Microsoft által biztosított | Microsoft által biztosított | Ügyfél által megadott |
| Hálózati adapter | USB 3.1/SATA | RJ 45, SFP+ | RJ45, QSFP+ | SATA II/SATA III |
| Partnerintegráció | Néhány | Magas | Magas | Néhány |
| Szállítás | Microsoft által felügyelt | Microsoft által felügyelt | Microsoft által felügyelt | Ügyfél által felügyelt |
| Adatátmozgatások használata | Kereskedelmi határon belül | Kereskedelmi határon belül | Kereskedelmi határon belül | Földrajzi határokon keresztül, pl. USA-ból EU-ba |
| Díjszabás | Díjszabás | Díjszabás | Díjszabás | Díjszabás |
* Data Box Disk nem támogatja a nagyméretű fájlmegosztásokat, és nem őrzi meg a fájl metaadatait
Ha online adatátvitelt használ, használja a következő szakaszban található táblázatot a nagy hálózati sávszélesség érdekében.
Nagy hálózati sávszélesség
| Eszközök AzCopy, Azure PowerShell, Azure CLI |
Azure Storage REST API-k, SDK-k | Data Box Gateway vagy Azure Stack Edge | Azure Data Factory | |
|---|---|---|---|---|
| Adattípus | Azure Blobs, Azure Files, Azure Tables | Azure Blobs, Azure Files, Azure Tables | Azure Blobok, Azure Files | Több mint 70 adatösszekötőt támogat adattárakhoz és formátumokhoz |
| Űrlaptényező | Parancssori eszközök | Programozott felület | A Microsoft egy virtuális gépet biztosít vagy fizikai eszköz |
Szolgáltatás Azure Portal |
| Kezdeti egyszeri beállítás | Könnyű | Mérsékelt | Egyszerű (<30 perc) közepes (1-2 óra) | Kiterjedt |
| Adatok előzetes feldolgozása | Nem | Nem | Igen (Edge-számítással) | Yes |
| Átvitel más felhőkből | Nem | Nem | Nem | Igen |
| Felhasználó típusa | It Pro vagy dev | Dev | IT-szakértő | IT-szakértő |
| Díjszabás | Ingyenes, adatforgalommal kapcsolatos díjak érvényesek | Ingyenes, adatforgalommal kapcsolatos díjak érvényesek |
Az Azure Stack Edge díjszabása A Data Box Gateway díjszabása |
Díjszabás |
Következő lépések
Megtudhatja, hogyan vihet át adatokat importálással/exportálással.
Ismerje meg, hogyan:
Az adatok átviteléhez használja a REST API-kat: