Självstudie: Kopiera data till en Azure Data Box-disk och verifiera
Kopiera data till Azure Data Box Disk och verifiera
När diskarna har anslutits och låsts upp kan du kopiera data från källdataservern till diskarna. När datakopieringen är klar bör du verifiera dina data för att säkerställa att de kan laddas upp till Azure.
Viktigt!
Azure Data Box har nu stöd för tilldelning på åtkomstnivå på blobnivå. Stegen i den här självstudien återspeglar den uppdaterade datakopieringsprocessen och är specifika för blockblobar.
Tilldelning på åtkomstnivå stöds inte vid kopiering av data med hjälp av verktyget För delad dataruta. Om ditt användningsfall kräver tilldelning av åtkomstnivå följer du stegen i avsnittet Kopiera data till diskar för att kopiera dina data till lämplig åtkomstnivå med hjälp av robocopy-verktyget.
Hjälp med att fastställa lämplig åtkomstnivå för dina blockblobdata finns i avsnittet Fastställa lämpliga åtkomstnivåer för blockblobar .
Informationen i detta avsnitt gäller för beställningar som gjorts efter den 1 april 2024.
Varning
Den här artikeln refererar till CentOS, en Linux-distribution som har statusen End Of Life (EOL). Överväg att använda och planera i enlighet med detta.
I den här självstudien beskrivs hur du kopierar data från värddatorn och genererar kontrollsummor för att verifiera dataintegriteten.
I den här självstudien lär du dig att:
- Fastställa lämpliga åtkomstnivåer för blockblobar
- Kopiera data till en Data Box-disk
- Verifiera data
Förutsättningar
Innan du börjar bör du kontrollera att:
- Du har slutfört självstudien Installera och konfigurera Azure Data Box Disk.
- Diskarna låses upp och ansluts till en klientdator.
- Klientdatorn som används för att kopiera data till diskarna kör ett operativsystem som stöds.
- Den avsedda lagringstypen för dina data matchar lagringstyperna som stöds.
- Du har granskat gränser för hanterade diskar i storleksgränser för Azure-objekt.
Fastställa lämpliga åtkomstnivåer för blockblobar
Viktigt!
Informationen i detta avsnitt gäller beställningar som görs efter den 1 april 2024.
Med Azure Storage kan du lagra blockblobdata på flera åtkomstnivåer inom samma lagringskonto. Med den här möjligheten kan data organiseras och lagras mer effektivt baserat på hur ofta de används. Följande tabell innehåller information och rekommendationer om Azure Storage-åtkomstnivåer.
Nivå | Rekommendation | Bästa metod |
---|---|---|
Frekvent | Användbart för onlinedata som används eller ändras ofta. Den här nivån har de högsta lagringskostnaderna, men de lägsta åtkomstkostnaderna. | Data på den här nivån bör användas regelbundet och aktivt. |
Lågfrekvent | Användbart för onlinedata som används eller ändras sällan. Den här nivån har lägre lagringskostnader och högre åtkomstkostnader än den frekventa nivån. | Data på den här nivån ska lagras i minst 30 dagar. |
Kall | Användbart för onlinedata som används eller ändras sällan men som fortfarande kräver snabb hämtning. Den här nivån har lägre lagringskostnader och högre åtkomstkostnader än lågfrekvent nivå. | Data på den här nivån ska lagras i minst 90 dagar. |
Arkiv | Användbart för offlinedata som sällan används och som har lägre svarstidskrav. | Data på den här nivån bör lagras i minst 180 dagar. Data som tas bort från arkivnivån inom 180 dagar debiteras en avgift för tidig borttagning. |
Mer information om blobåtkomstnivåer finns i Åtkomstnivåer för blobdata. Mer detaljerade metodtips finns i Metodtips för att använda blobåtkomstnivåer.
Du kan överföra blockblobdata till lämplig åtkomstnivå genom att kopiera dem till motsvarande mapp i Data Box Disk. Den här processen beskrivs mer detaljerat i avsnittet Kopiera data till diskar .
Kopiera data till diskar
Ha följande i åtanke när du kopierar data till diskarna:
Det är ditt ansvar att kopiera lokala data till resursen som motsvarar rätt dataformat. Kopiera till exempel blockblobdata till BlockBlob-resursen. Kopiera virtuella hårddiskar till PageBlob-resursen. Om det lokala dataformatet inte matchar lämplig mapp för den valda lagringstypen misslyckas dataöverföringen till Azure i ett senare steg.
Du kan inte kopiera data direkt till en resurss rotmapp . Skapa i stället en mapp inom lämplig resurs och kopiera dina data till den.
Mappar som finns i PageBlob-resursens rot motsvarar containrar i ditt lagringskonto. En ny container skapas för alla mappar vars namn inte matchar en befintlig container i ditt lagringskonto.
Mappar som finns i AzFile-resursens rot motsvarar Azure-filresurser. En ny filresurs skapas för alla mappar vars namn inte matchar en befintlig filresurs i ditt lagringskonto.
BlockBlob-resursens rotnivå innehåller en mapp som motsvarar varje åtkomstnivå. När du kopierar data till BlockBlob-resursen skapar du en undermapp i mappen på den översta nivån som motsvarar den önskade åtkomstnivån. Precis som med PageBlob-resursen skapas en ny container för alla mappar vars namn inte matchar en befintlig container. Data i containern kopieras till den nivå som motsvarar undermappens överordnade överordnad nivå.
En container skapas också för alla mappar som finns i BlockBlob-resursens rot och data som den innehåller kopieras till containerns standardåtkomstnivå. För att säkerställa att dina data kopieras till önskad åtkomstnivå skapar du inte mappar på rotnivå .
Viktigt!
Data som laddas upp till arkivnivån förblir offline och måste extraheras innan de läss eller ändras. Data som kopieras till arkivnivån måste finnas kvar i minst 180 dagar eller bli föremål för en avgift för tidig borttagning. Arkivnivån stöds inte för ZRS-, GZRS- eller RA-GZRS-konton.
När du kopierar data ser du till att datastorleken överensstämmer med de storleksgränser som beskrivs i artikeln begränsningar för Azure Storage och Data Box Disk.
Inaktivera inte BitLocker-kryptering på Data Box-diskar. Om du inaktiverar BitLocker-kryptering uppstår ett uppladdningsfel när diskarna har returnerats. Om du inaktiverar BitLocker lämnas även diskarna i ett olåst tillstånd, vilket skapar säkerhetsproblem.
Om du vill bevara metadata som ACL:er, tidsstämplar och filattribut vid överföring av data till Azure Files följer du riktlinjerna i artikeln Bevara fil-ACL:er, attribut och tidsstämplar med Azure Data Box Disk .
Om du använder både Data Box Disk och andra program för att ladda upp data samtidigt kan det uppstå problem med att ladda upp jobb och skadade data.
Viktigt!
Läs detta avsnitt om du angav hanterade diskar som ett av lagringsmålen när ordern skapades.
Kontrollera att virtuella hårddiskar (VHD) som laddats upp till de förskapade mapparna har unika namn i resursgrupper. Hanterade diskar måste ha unika namn i en resursgrupp i alla förskapade mappar på Data Box Disk. Om du använder flera Data Box-diskar måste hanterade disknamn vara unika för alla mappar och diskar. När virtuella hårddiskar med dubblettnamn hittas konverteras bara en till en hanterad disk med det namnet. De återstående virtuella hårddiskarna laddas upp som sidblobar till mellanlagringskontot.
Kopiera alltid de virtuella hårddiskarna till en av de förskapade mapparna. Virtuella hårddiskar som placeras utanför dessa mappar eller i en mapp som du har skapat laddas upp till Azure Storage-konton som sidblobar i stället för hanterade diskar.
Endast fasta virtuella hårddiskar kan laddas upp för att skapa hanterade diskar. Dynamiska virtuella hårddiskar, differentiering av virtuella hårddiskar och VHDX-filer stöds inte.
Verktygen
DataBoxDiskSplitCopy.exe
För delad kopiering och validering av Data Box Disk ochDataBoxDiskValidation.cmd
, rapporterar fel när långa sökvägar bearbetas. Dessa fel är vanliga när långa sökvägar inte är aktiverade på klienten och datakopians sökvägar och filnamn överskrider 256 tecken. Följ anvisningarna i artikeln aktivera långa sökvägar i Windows-klienten för att undvika dessa fel.
Viktigt!
Powershell ISE stöds inte för Data Box Disk Tools
Utför stegen nedan för att ansluta och kopiera data från din dator till Data Box-disken.
Visa innehållet på den upplåsta enheten. Listan över förskapade mappar och undermappar på enheten varierar beroende på vilka alternativ du väljer när du placerar Data Box Disk-ordningen. Det är inte tillåtet att skapa extra mappar eftersom kopiering av data till en användarskapad mapp orsakar uppladdningsfel.
Valt lagringsmål Storage account type Typ av mellanlagringskonto Mappar och undermappar Lagringskonto GPv1 eller GPv2 NA BlockBlob - Arkiv
- Kall
- Lågfrekvent
- Het
AzureFileLagringskonto Bloblagringskonto NA BlockBlob - Arkiv
- Kall
- Lågfrekvent
- Het
Hanterade diskar NA GPv1 eller GPv2 ManagedDisk - PremiumSSD
- StandardSSD
- StandardHDD
Lagringskonto
Hanterade diskarGPv1 eller GPv2 GPv1 eller GPv2 BlockBlob - Arkiv
- Kall
- Lågfrekvent
- Het
AzureFile
ManagedDisk- PremiumSSD
- StandardSSD
- StandardHDD
Lagringskonto
Hanterade diskarBloblagringskonto GPv1 eller GPv2 BlockBlob - Arkiv
- Kall
- Lågfrekvent
- Het
- PremiumSSD
- StandardSSD
- StandardHDD
Följande skärmbild visar en ordning där ett GPv2-lagringskonto och arkivnivå har angetts:
Kopiera VHD- eller VHDX-data till mappen PageBlob . Alla filer som kopieras till mappen PageBlob kopieras till en standardcontainer
$root
i Azure Storage-kontot. En container skapas i Azure Storage-kontot för varje undermapp i mappen PageBlob .Kopiera data som ska placeras i Azure-filresurser till en undermapp i Mappen AzureFile . Alla filer som kopieras till Mappen AzureFile kopieras som filer till en standardcontainer av typen
databox-format-[GUID]
, till exempeldatabox-azurefile-7ee19cfb3304122d940461783e97bf7b4290a1d7
.Du kan inte kopiera filer direkt till BlockBlob-rotmappen. I rotmappen hittar du en undermapp som motsvarar var och en av de tillgängliga åtkomstnivåerna. Om du vill kopiera dina blobdata måste du först välja den mapp som motsvarar någon av åtkomstnivåerna. Skapa sedan en undermapp i den nivåns mapp för att lagra dina data. Kopiera slutligen dina data till den nyligen skapade undermappen. Den nya undermappen representerar containern som skapades i lagringskontot under inmatningen. Dina data laddas upp till den här containern som blobar. Precis som med AzureFile-resursen skapas en ny bloblagringscontainer för varje undermapp som finns i BlockBlob-rotmappen. Data i dessa mappar sparas enligt lagringskontots standardåtkomstnivå.
Innan du börjar kopiera data måste du flytta filer och mappar som finns i rotkatalogen till en annan mapp.
Viktigt!
Alla containrar, blobar och filnamn måste följa namngivningskonventionerna för Azure. Om dessa regler inte uppfylls misslyckas datauppladdningen till Azure.
När du kopierar filer kontrollerar du att filerna inte överskrider 4,7 TiB för blockblobar, 8 TiB för sidblobar och 1 TiB för Azure Files.
Du kan använda Utforskaren dra och släpp-funktioner för att kopiera data. Du kan också använda valfritt SMB-kompatibelt filkopieringsverktyg, till exempel Robocopy, för att kopiera data.
En fördel med att använda ett filkopieringsverktyg är möjligheten att initiera flera kopieringsjobb, som i följande exempel med robocopy-verktyget:
Robocopy <source> <destination> * /MT:64 /E /R:1 /W:1 /NFL /NDL /FFT /Log:c:\RobocopyLog.txt
Kommentar
De parametrar som används i det här exemplet baseras på den miljö som används vid intern testning. Dina paramters och värden är sannolikt olika.
Parametrarna och alternativen för kommandot används på följande sätt:
Parametrar/alternativ beskrivning Källa Anger sökvägen till källkatalogen. Mål Anger sökvägen till målkatalogen. /E Kopierar underkataloger, inklusive tomma kataloger. /MT[:n] Skapar flertrådade kopior med n trådar där n är ett heltal mellan 1 och 128.
Standardvärdet för n är 8./R: <n> Anger antalet återförsök vid misslyckade kopieringar.
Standardvärdet för n är 1 000 000 återförsök./W: <n> Anger väntetiden mellan återförsök i sekunder.
Standardvärdet för n är 30 och motsvarar en väntetid på 30 sekunder./NFL Anger att filnamn inte ska loggas. /NDL Anger att katalognamn inte ska loggas. /FFT Förutsätter FAT-filtider med en upplösningsprecision på två sekunder. /Log:<Log File> Skriver statusutdata till loggfilen.
Alla befintliga loggfiler skrivs över.Flera diskar kan användas parallellt med flera jobb som körs på varje disk. Tänk på att dubbletter av filnamn antingen skrivs över eller resulterar i ett kopieringsfel.
Kontrollera kopieringsstatusen när jobbet pågår. Följande exempel visar utdata från robocopy-kommandot för filkopiering till Data Box-disken.
C:\Users>robocopy ------------------------------------------------------------------------------- ROBOCOPY :: Robust File Copy for Windows ------------------------------------------------------------------------------- Started : Thursday, March 8, 2018 2:34:53 PM Simple Usage :: ROBOCOPY source destination /MIR source :: Source Directory (drive:\path or \\server\share\path). destination :: Destination Dir (drive:\path or \\server\share\path). /MIR :: Mirror a complete directory tree. For more usage information run ROBOCOPY /? **** /MIR can DELETE files as well as copy them ! C:\Users>Robocopy C:\Repository\guides \\10.126.76.172\AzFileUL\templates /MT:64 /E /R:1 /W:1 /FFT ------------------------------------------------------------------------------- ROBOCOPY :: Robust File Copy for Windows ------------------------------------------------------------------------------- Started : Thursday, March 8, 2018 2:34:58 PM Source : C:\Repository\guides\ Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\ Files : *.* Options : *.* /DCOPY:DA /COPY:DAT /MT:8 /R:1000000 /W:30 ------------------------------------------------------------------------------ 100% New File 206 C:\Repository\guides\article-metadata.md 100% New File 209 C:\Repository\guides\content-channel-guidance.md 100% New File 732 C:\Repository\guides\index.md 100% New File 199 C:\Repository\guides\pr-criteria.md 100% New File 178 C:\Repository\guides\pull-request-co.md 100% New File 250 C:\Repository\guides\pull-request-ete.md 100% New File 174 C:\Repository\guides\create-images-markdown.md 100% New File 197 C:\Repository\guides\create-links-markdown.md 100% New File 184 C:\Repository\guides\create-tables-markdown.md 100% New File 208 C:\Repository\guides\custom-markdown-extensions.md 100% New File 210 C:\Repository\guides\file-names-and-locations.md 100% New File 234 C:\Repository\guides\git-commands-for-master.md 100% New File 186 C:\Repository\guides\release-branches.md 100% New File 240 C:\Repository\guides\retire-or-rename-an-article.md 100% New File 215 C:\Repository\guides\style-and-voice.md 100% New File 212 C:\Repository\guides\syntax-highlighting-markdown.md 100% New File 207 C:\Repository\guides\tools-and-setup.md ------------------------------------------------------------------------------ Total Copied Skipped Mismatch FAILED Extras Dirs : 1 1 1 0 0 0 Files : 17 17 0 0 0 0 Bytes : 3.9 k 3.9 k 0 0 0 0 Times : 0:00:05 0:00:00 0:00:00 0:00:00 Speed : 5620 Bytes/sec. Speed : 0.321 MegaBytes/min. Ended : Thursday, August 31, 2023 2:34:59 PM
Du kan optimera prestanda med hjälp av följande robocopy-parametrar när du kopierar data.
Plattform Mestadels små filer < 512 KB Främst medelstora filer 512 kB–1 MB Mestadels stora filer > 1 MB Data Box Disk 4 Robocopy-sessioner*
16 trådar per session2 Robocopy-session*
16 trådar per session2 Robocopy-session*
16 trådar per session*En enskild Robocopy-session kan omfatta upp till högst 7 000 kataloger och 150 miljoner filer.
Mer information om Robocopy-kommandot finns i artikeln Robocopy och några exempel .
Öppna målmappen och visa och verifiera sedan de kopierade filerna. Om det uppstod fel under kopieringsprocessen laddar du ned loggfilerna för felsökning. Robocopy-kommandots utdata anger platsen för loggfilerna.
Dela upp och kopiera data till diskar
Verktyget Dela upp i Data Box hjälper dig att dela upp och kopiera data mellan två eller flera Azure Data Box-diskar. Verktyget är endast tillgängligt för användning på en Windows-dator. Den här valfria proceduren är användbar när du har en stor datauppsättning som måste delas upp och kopieras mellan flera diskar.
Viktigt!
Data Box Split Copy-verktyget kan också verifiera dina data. Om du använder Data Box Split Copy för att kopiera data kan du hoppa över verifieringssteget.
Tilldelning på åtkomstnivå stöds inte vid kopiering av data med hjälp av verktyget För delad dataruta. Om ditt användningsfall kräver tilldelning av åtkomstnivå följer du stegen i avsnittet Kopiera data till diskar för att kopiera dina data till lämplig åtkomstnivå med hjälp av robocopy-verktyget.
Verktyget Delad kopiering i Data Box stöds inte med hanterade diskar.
Se till att verktyget Data Box Split Copy har laddats ned och extraherats i en lokal mapp. Det här verktyget ingår i Data Box Disk-verktygsuppsättningen för Windows.
Öppna Utforskaren. Anteckna datakällans enhet och enhetsbokstäver som tilldelats till Data Box Disk.
Identifiera de källdata som ska kopieras. I det här fallet:
Navigera till mappen där programvaran extraheras och leta upp
SampleConfig.json
filen. Den här filen är en skrivskyddad fil som du kan ändra och spara.Ändra filen
SampleConfig.json
.Ange ett jobbnamn. En mapp med det här namnet skapas på Data Box Disk. Namnet används också för att skapa en container i azure-lagringskontot som är associerat med dessa diskar. Jobbnamnet måste följa namngivningskonventionerna för Azure-container.
Ange en källsökväg och anteckna sökvägsformatet i
SampleConfigFile.json
.Ange enhetsbokstäverna som motsvarar måldiskarna. Data hämtas från källsökvägen och kopieras över flera diskar.
Ange en sökväg för loggfilerna. Som standard skickas loggfiler till katalogen där
.exe
filen finns.Verifiera filformatet genom att gå till
JSONlint
.Spara filen som
ConfigFile.json
.
Öppna ett kommandotolksfönster med förhöjd behörighet och kör
DataBoxDiskSplitCopy.exe
med hjälp av följande kommando.DataBoxDiskSplitCopy.exe PrepImport /config:ConfigFile.json
När du uppmanas att göra det trycker du på valfri tangent för att fortsätta köra verktyget.
När datamängden har delats upp och kopierats visas sammanfattningen av verktyget Dela kopia för kopieringssessionen enligt följande exempelutdata.
Kontrollera att data delas korrekt mellan måldiskarna.
Granska enhetens
H:
innehåll och se till att två undermappar skapas som motsvarar blockblob- och sidblobformatdata.Om kopieringssessionen misslyckas använder du följande kommando för att återställa och återuppta:
DataBoxDiskSplitCopy.exe PrepImport /config:ConfigFile.json /ResumeSession
Om du stöter på fel när du använder verktyget Dela kopia följer du stegen i artikeln fel med verktyget Dela kopia .
Viktigt!
Data Box Split Copy-verktyget verifierar även dina data. Om du använder Data Box Split Copy för att kopiera data kan du hoppa över verifieringssteget. Verktyget Dela kopiering stöds inte med hanterade diskar.
Kontrollera data
Om du inte använde verktyget Dela upp i Data Box för att kopiera data måste du verifiera dina data. Verifiera data genom att utföra följande steg på var och en av dina Data Box-diskar. Om du får fel under valideringen följer du stegen i artikeln felsöka valideringsfel .
Kör
DataBoxDiskValidation.cmd
för kontrollsummaverifiering i mappen DataBoxDiskImport på enheten. Det här verktyget är endast tillgängligt för Windows-miljön. Linux-användare måste verifiera att källdata som kopieras till disken uppfyller kraven för Azure Data Box.Välj lämpligt valideringsalternativ när du uppmanas att göra det. Vi rekommenderar att du alltid validerar filerna och genererar kontrollsummor genom att välja alternativ 2. Avsluta kommandofönstret när skriptet har slutförts. Hur länge verifieringen ska slutföras beror på storleken på dina data. Verktyget meddelar dig om eventuella fel som påträffas under verifierings- och kontrollsummagenereringen och ger dig en länk till felloggarna.
Dricks
- Återställ verktyget mellan två körningar.
- Kontrollsummaprocessen kan ta längre tid om du har en stor datauppsättning som innehåller många filer som tar upp relativt lite lagringskapacitet. Om du validerar filer och hoppar över skapande av kontrollsummor bör du oberoende verifiera dataintegriteten på Data Box Disk innan du tar bort kopior. Den här verifieringen omfattar helst att generera kontrollsummor.
Nästa steg
I den här självstudien har du lärt dig hur du utför följande uppgifter med Azure Data Box Disk:
- Kopiera data till en Data Box-disk
- Verifiera dataintegriteten
Gå vidare till nästa självstudie och lär dig hur du returnerar Data Box-disken och verifierar dataöverföringen till Azure.
Kopiera data till diskar
Utför stegen nedan för att ansluta och kopiera data från din dator till Data Box-disken.
Visa innehållet på den upplåsta enheten. Listan över de förskapade mapparna och undermapparna på enheten varierar beroende på vilka alternativ du valde när du beställde Data Box Disk.
Kopiera data till mappar som har lämpligt dataformat. Kopiera till exempel ostrukturerade data till mappen BlockBlob , VHD eller VHDX till mappen PageBlob och filer till mappen AzureFile . Om dataformatet inte matchar lämplig mapp (lagringstyp) misslyckas dataöverföringen till Azure i ett senare steg.
- Se till att alla containrar, blobar och filer följer Azures namngivningskonventioner och storleksgränserna för Azure-objekt. Om dessa regler eller gränser inte följs misslyckas dataöverföringen till Azure.
- Om hanterade diskar är ett av lagringsmålen i din beställning kontrollerar du namngivningskonventionerna för hanterade diskar.
- En container skapas i Azure Storage-kontot för varje undermapp i mapparna BlockBlob och PageBlob . Alla filer i mapparna BlockBlob och PageBlob kopieras till standardcontainern $root i Azure Storage-kontot. Alla filer i $root containern laddas alltid upp som blockblobar.
- Skapa en undermapp i mappen AzureFile . Den här undermappen mappar till en filresurs i molnet. Kopiera filer till undermappen. Filer som kopieras direkt till AzureFile-mappen misslyckas och laddas upp som blockblobar.
- Om det finns filer och mappar i rotkatalogen måste de flyttas till en annan mapp innan datakopiering kan börja.
Använd dra och släpp med Utforskaren eller ett SMB-kompatibelt filkopieringsverktyg som Robocopy för att kopiera dina data. Flera kopieringsjobb kan initieras med hjälp av följande kommando:
Robocopy <source> <destination> * /MT:64 /E /R:1 /W:1 /NFL /NDL /FFT /Log:c:\RobocopyLog.txt
Öppna målmappen för att visa och verifiera de kopierade filerna. Om det uppstod fel under kopieringsprocessen laddar du ned loggfilerna för felsökning. Loggfilerna finns på den plats som anges i kommandot robocopy.
Använd den valfria proceduren för att dela upp och kopiera när du använder flera diskar och har en stor datauppsättning som måste delas upp och kopieras över alla diskar.
Kontrollera data
Verifiera dina data genom att följa dessa steg:
Kör
DataBoxDiskValidation.cmd
för validering av kontrollsumma i mappen DataBoxDiskImport för din enhet.Använd alternativ 2 för att validera dina filer och generera kontrollsummor. Beroende på din datastorlek kan det här steget ta en stund. Om det finns några fel under verifierings- och kontrollsummagenereringen meddelas du och en länk till felloggarna finns också.
Mer information om dataverifiering finns i Verifiera data. Om det uppstår fel under verifieringen läser du Felsöka verifieringsfel.