Tutorial: Copy data to Azure Data Box Heavy via SMB

Copy data to Azure Data Box Heavy

Fontos

Az Azure Data Box mostantól blobszinten támogatja a hozzáférési szint hozzárendelését. Az oktatóanyagban szereplő lépések a frissített adatmásolási folyamatot tükrözik, és a blobok blokkolására vonatkoznak.

Az ebben a szakaszban található információk a 2024. április 1. után leadott megrendelésekre vonatkoznak.

Ez az oktatóanyag bemutatja, hogyan lehet csatlakozni a gazdaszámítógépéhez, majd adatokat másolni a helyi webes felhasználói felület használatával.

Ebben az oktatóanyagban a következőket sajátíthatja el:

  • Connect to Data Box Heavy
  • A Data Box Heavyre adatok másolása

You can copy data from your source server to your Data Box via SMB, NFS, REST, data copy service or to managed disks.

In each case, make sure that the share names, folder names, and data size follow guidelines described in the Azure Storage and Data Box Heavy service limits.

Előfeltételek

Mielőtt hozzákezd, győződjön meg az alábbiakról:

  1. You complete the Tutorial: Set up Azure Data Box Heavy.
  2. You receive your Data Box Heavy and that the order status in the portal is Delivered.
  3. You have a host computer that has the data that you want to copy over to Data Box Heavy. A gazdaszámítógépnek a következőnek kell lennie:
    • Futtasson támogatott operációs rendszert.
    • egy nagy sebességű hálózathoz kell csatlakoznia. A legnagyobb másolási sebesség érdekében két 40 GbE sebességű kapcsolat (csomópontonként egy) használható egyidejűleg. Ha nem rendelkezik 40 GbE sebességű kapcsolattal, javasoljuk, hogy legalább két 10 GbE sebességű kapcsolattal (csomópontonként eggyel) rendelkezzen.

Connect to Data Box Heavy shares

Based on the storage account selected, Data Box Heavy creates up to:

  • Three shares for each associated storage account for GPv1 and GPv2.
  • One share for premium storage.
  • Egy blobtároló-fiók egy-egy megosztása, amely a négy hozzáférési szint mindegyikéhez tartalmaz egy mappát.

Az alábbi táblázat azoknak a Data Box-megosztásoknak a nevét határozza meg, amelyekhez csatlakozhat, valamint a céltárfiókba feltöltött adatok típusát. Emellett azonosítja azon megosztások és könyvtárak hierarchiáját is, amelyekbe a forrásadatokat másolja.

Tárolási típus Megosztott név Első szintű entitás Második szintű entitás Harmadik szintű entitás
Block blob <storageAccountName>_BlockBlob <\hozzáférésiSzint> <\containerName> <\blockBlob>
Page blob <\storageAccountName>_PageBlob <\containerName> <\pageBlob>
Fájl tárolás <\storageAccountName>_AzFile <\fileShareName> <\file>

Nem másolhat fájlokat közvetlenül a Data Box-megosztások gyökérmappájába . Ehelyett hozzon létre mappákat a Data Box-megosztásban a használati esettől függően.

A blokkblobok támogatják a hozzáférési szintek fájlszintű hozzárendelését. Ha fájlokat másol a blokkblobmegosztásba, ajánlott új almappákat hozzáadni a megfelelő hozzáférési szinthez. Az új almappák létrehozása után szükség szerint adja hozzá a fájlokat az egyes almappákhoz.

A blokkblobos megosztás legfelső szintjén lévő bármelyik mappához új tároló jön létre. A mappa minden fájlja blokkblobként lesz átmásolva a tárfiók alapértelmezett hozzáférési szintjére.

A blobelérési szintekről további információt a Blob-adatok hozzáférési szintjei című témakörben talál. A hozzáférési szint ajánlott eljárásaival kapcsolatos további információkért tekintse meg a blobelérési szintek használatának ajánlott eljárásait.

Az alábbi táblázat a Data Boxon lévő megosztások UNC-elérési útját és a megfelelő Azure Storage-elérési út URL-címét mutatja be, amelyre az adatok feltöltődnek. Az Azure Storage elérési útjának végső URL-címe a megosztás UNC elérési útjából származik.

Azure Storage-tárolótípusok Data Box-megosztások
Azure Block blobs
  • UNC path to shares: \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt
  • Azure Storage URL: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
    		•
    Azure-oldalblobok
  • UNC path to shares: \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd
  • Azure Storage URL: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
    		•
    Azure Files
  • UNC path to shares: \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt
  • Azure Storage URL: https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt
    		•

    A blobelérési szintekről további információt a Blob-adatok hozzáférési szintjei című témakörben talál. A hozzáférési szint ajánlott eljárásaival kapcsolatos további információkért tekintse meg a blobelérési szintek használatának ajánlott eljárásait.

    The steps to connect using a Windows or a Linux client are different.

    Megjegyzés:

    Follow the same steps to connect to both the nodes of the device in parallel.

    Connect on a Windows system

    If using a Windows Server host computer, follow these steps to connect to the Data Box Heavy.

    1. Az első lépés a hitelesítés elvégzése, majd a munkamenet elindítása. Lépjen a Connect and copy (Kapcsolódás és másolás) elemre. Click Get credentials to get the access credentials for the shares associated with your storage account.

      Get share credentials

    2. Az Access share and copy data (Megosztási és másolási adatok másolása) párbeszédpanelen másolja ki a megosztásnak megfelelő Username (Felhasználónév) és Password (Jelszó) értékeket. Kattintson az OK gombra.

      Get share credentials 2

    3. To access the shares associated with your storage account (databoxe2etest in the following example) from your host computer, open a command window. A parancssorba írja be a következőt:

      net use \\<IP address of the device>\<share name> /u:<user name for the share>

      Az adatok formátumától függően a megosztások útvonalai a következők:

      • Azure Block blob - \\10.100.10.100\databoxe2etest_BlockBlob
      • Azure Page blob - \\10.100.10.100\databoxe2etest_PageBlob
      • Azure Files – \\10.100.10.100\databoxe2etest_AzFile

    4. Ha a rendszer kéri, adja meg a megosztás jelszavát. The following sample can be used to connect to BlockBlob share on the Data Box having in IP address of 10.100.10.100.

      net use \\10.100.10.100\databoxe2etest_BlockBlob /u:databoxe2etest
Enter the password for 'databoxe2etest' to connect to '10.100.10.100':
The command completed successfully.

    5. Nyomja le a Windows + R billentyűkombinációt. A Futtatás ablakban adja meg a következőt: \\<device IP address>. Kattintson az OK gombra a Fájlkezelő megnyitásához.

      Kapcsolódás a megosztáshoz a Fájlkezelővel

      A megosztásoknak ezután mappaként kell megjelenniük. Note that in this example the BlockBlob share is being used. Accordingly, the four folders representing the four available access tiers are present. These folders are not available in other shares.

      Connect to share via File Explorer 2

      Mindig hozzon létre egy mappát azokhoz a fájlokhoz, amelyeket másolni szeretne a megosztás alatt, majd másolja a fájlokat a létrehozott mappába. You cannot copy files directly to the root folder in the storage account. Any folders created under the PageBlob share represents containers into which data is uploaded as blobs. Similarly, any sub-folders created within the folders representing access tiers in the BlockBlob share also represents a blob storage container. Folders created within the AzFile share represent file shares.

      Folders created at the root of the BlockBlob share will be created as blob containers. The access tier of these container will be inherited from the storage account.

    Connect on a Linux system

    Linux-ügyfél használata esetén csatlakoztassa az SMB-megosztást az alábbi parancs használatával.

    sudo mount -t nfs -o vers=2.1 10.126.76.172:/databoxe2etest_BlockBlob /home/databoxubuntuhost/databox

    The vers parameter is the version of SMB that your Linux host supports. Plug in the appropriate version in the above command.

    For versions of SMB that the Data Box Heavy supports, see Supported file systems for Linux clients.

    A Data Box Heavyre adatok másolása

    Once you're connected to the Data Box Heavy shares, the next step is to copy data.

    Copy considerations

    Az adatok másolásának megkezdése előtt tekintse át a következőket:

    • Make sure that you copy the data to shares that correspond to the appropriate data format. For instance, copy the block blob data to the share for block blobs. Copy the VHDs to page blob.

      If the data format doesn't match the appropriate share type, then at a later step, the data upload to Azure will fail.

    • While copying data, make sure that the data size conforms to the size limits described in the Azure storage and Data Box Heavy limits.

    • If data, which is being uploaded by Data Box Heavy, is concurrently uploaded by other applications outside of Data Box Heavy, then this could result in upload job failures and data corruption.

    • We recommend that:

      • You don't use both SMB and NFS at the same time.
      • Copy the same data to same end destination on Azure.

      Ilyen esetekben a végeredmény nem garantálható.

    • Always create a folder for the files that you intend to copy under the share and then copy the files to that folder. The folder created under block blob and page blob shares represents a container to which the data is uploaded as blobs. You cannot copy files directly to root folder in the storage account.

    After you've connected to the SMB share, begin data copy.

    1. You can use any SMB compatible file copy tool such as Robocopy to copy your data. A Robocopyval több másolási feladat is elindítható. Használja a következő parancsot:

      robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /Log+:<LogFile>

      Az attribútumok leírását az alábbi táblázatban találja meg.

      Attribútum Leírás
      /e Copies subdirectories including empty directories.
      /r: A meghiúsult másolások esetén indított újrapróbálkozások számát határozza meg.
      /w: Az újrapróbálkozások közötti várakozási időt határozza meg másodpercben.
      /is Ugyanazokat a fájlokat tartalmazza.
      /nfl Meghatározza, hogy a fájlnevek ne legyenek naplózva.
      /ndl Meghatározza, hogy a könyvtárnevek ne legyenek naplózva.
      /np Specifies that the progress of the copying operation (the number of files or directories copied so far) will not be displayed. Az előrehaladás megjelenítése jelentősen csökkenti a teljesítményt.
      /MT Több szál használata. 32 vagy 64 szál használata ajánlott. Titkosított fájlokhoz ez a beállítás nem használható. You may need to separate encrypted and unencrypted files. Vegye figyelembe, hogy az egyszálas másolás jelentősen csökkenti a teljesítményt.
      /fft Ennek használatával bármilyen fájlrendszerben csökkentheti a timestamp részletességét.
      /b A fájlokat biztonsági mentési módban másolja.
      /z Copies files in Restart mode, use this if the environment is unstable. Ez a beállítás a fokozott naplózás miatt csökkenti az átviteli sebességet.
      /zb Az újraindítási mód használata. A hozzáférés megtagadása esetén áttér a biztonsági mentési mód használatára. Ez a beállítás csökkenti az átviteli sebességet az ellenőrzőpontok létrehozása miatt.
      /efsraw Az összes titkosított fájlt EFS feldolgozatlan módban másolja át. Csak titkosított fájlokhoz használja.
      log+:<LogFile> Hozzáfűzi a kimenetet a meglévő naplófájlhoz.

      The following sample shows the output of the robocopy command to copy files to the Data Box Heavy.

      C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.100.10.100\devicemanagertest1_AzFile\templates /MT:24
-------------------------------------------------------------------------------
    ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------
    Started : Thursday, April 4, 2019 2:34:58 PM
    Source : C:\Git\azure-docs-pr\contributor-guide\
    Dest : \\10.100.10.100\devicemanagertest1_AzFile\templates\
    Files : *.*
    Options : *.* /DCOPY:DA /COPY:DAT /MT:24 /R:5 /W:60
------------------------------------------------------------------------------

100%        New File                 206        C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
100%        New File                 209        C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
100%        New File                 732        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
100%        New File                 199        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
            New File                 178        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100%  .md
            New File                 250        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100%  e.md
100%        New File                 174        C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
100%        New File                 197        C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
100%        New File                 184        C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
100%        New File                 208        C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
100%        New File                 210        C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
100%        New File                 234        C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
100%        New File                 186        C:\Git\azure-docs-pr\contributor-guide\release-branches.md
100%        New File                 240        C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
100%        New File                 215        C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
100%        New File                 212        C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
100%        New File                 207        C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
    Dirs :         1         1         1         0         0         0
    Files :        17        17         0         0         0         0
    Bytes :     3.9 k     3.9 k         0         0         0         0          
C:\Users>

    2. A teljesítmény optimalizálása érdekében használja a következő Robocopy-paramétereket az adatok másolásához. (The numbers below represent the best case scenarios.)

      Plattform Többnyire kis fájlok < 512 KB Többnyire közepes méretű fájlok, 512 kB–1 MB Többnyire nagy fájlok > 1 MB
      Data Box Heavy 6 Robocopy sessions
      24 threads per sessions      		 6 Robocopy sessions
      16 threads per sessions      		 6 Robocopy sessions
      16 threads per sessions

      A Robocopy-paranccsal kapcsolatos további információért lásd a Robocopyt és néhány példát bemutató témakört.

    3. Open the target folder to view and verify the copied files.

      View copied files

    4. As the data is copied:

      • The file names, sizes, and format are validated to ensure those meet the Azure object and storage limits as well as Azure file and container naming conventions.
      • To ensure data integrity, checksum is also computed inline.

      If you have any errors during the copy process, download the error files for troubleshooting. Select the arrow icon to download the error files.

      Download error files

      For more information, see View error logs during data copy to Data Box Heavy. For a detailed list of errors during data copy, see Troubleshoot Data Box Heavy issues.

    5. Open the error file in Notepad. The following error file indicates that the data is not aligned correctly.

      Open error file

      For a page blob, the data needs to be 512 bytes aligned. After this data is removed, the error resolves as shown in the following screenshot.

      Error resolved

    6. After the copy is complete, go to View Dashboard page. Verify the used space and the free space on your device.

      A szabad és a felhasznált tárhely ellenőrzése az irányítópulton

    Repeat the above steps to copy data on to the second node of the device.

    Következő lépések

    Ebben az oktatóanyagban az Azure Data Box Heavyvel kapcsolatos témakörökkel ismerkedett meg, például a következőkkel:

    • Connect to Data Box Heavy
    • A Data Box Heavyre adatok másolása

    Advance to the next tutorial to learn how to ship your Data Box Heavy back to Microsoft.

    Ship your Azure Data Box Heavy to Microsoft

    Copy data via SMB

    1. If using a Windows host, use the following command to connect to the SMB shares:

      \\<IP address of your device>\ShareName

    2. A megosztás eléréséhez szükséges hitelesítő adatokat a Data Box helyi webes kezelőfelületének Connect & copy (Kapcsolódás és másolás) lapján tekintheti meg.

    3. Use an SMB compatible file copy tool such as Robocopy to copy data to shares.

    For step-by-step instructions, go to Tutorial: Copy data to Azure Data Box via SMB.

    Copy data via NFS

    1. If using an NFS host, use the following command to mount the NFS shares:

      sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

    2. To get the share access credentials, go to the Connect & copy page in the local web UI of the Data Box Heavy.

    3. Use cp or rsync command to copy your data.

    4. Repeat these steps to connect and copy data to the second node of your Data Box Heavy.

    For step-by-step instructions, go to Tutorial: Copy data to Azure Data Box via NFS.

    Copy data via REST

    1. To copy data using Data Box Blob storage via REST APIs, you can connect over http or https.
    2. To copy data to Data Box Blob storage, you can use AzCopy.
    3. Repeat these steps to connect and copy data to the second node of your Data Box Heavy.

    For step-by-step instructions, go to Tutorial: Copy data to Azure Data Box Blob storage via REST APIs.

    Copy data via data copy service

    1. To copy data by using the data copy service, you need to create a job. In the local web UI of your Data Box Heavy, go to Manage > Copy data > Create.
    2. Fill out the parameters and create a job.
    3. Repeat these steps to connect and copy data to the second node of your Data Box Heavy.

    For step-by-step instructions, go to Tutorial: Use the data copy service to copy data into Azure Data Box Heavy.

    Copy data to managed disks

    1. When ordering the Data Box Heavy device, you should have selected managed disks as your storage destination.
    2. You can connect to Data Box Heavy via SMB or NFS shares.
    3. You can then copy data via SMB or NFS tools.
    4. Repeat these steps to connect and copy data to the second node of your Data Box Heavy.

    For step-by-step instructions, go to Tutorial: Use Data Box Heavy to import data as managed disks in Azure.

    • Last updated on