Поделиться через


Руководство по копированию данных в Azure Data Box с помощью S МБ

Копирование данных в Azure Data Box

Внимание

Azure Data Box теперь поддерживает назначение уровня доступа на уровне BLOB-объектов. Действия, содержащиеся в этом руководстве, отражают обновленный процесс копирования данных и зависят от блочных BLOB-объектов.

Сведения о том, как определить соответствующий уровень доступа для данных блочного BLOB-объекта, см . в разделе "Определение соответствующих уровней доступа для блочных BLOB-объектов ". Выполните действия, содержащиеся в разделе "Копирование данных в Azure Data Box ", чтобы скопировать данные на соответствующий уровень доступа.

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

В этом руководстве объясняется, как подключиться к главному компьютеру и скопировать данные с него с помощью локального пользовательского веб-интерфейса.

В этом руководстве описано следующее:

  • Необходимые компоненты
  • Подключение к Data Box
  • Определение соответствующих уровней доступа для блочных BLOB-объектов
  • Копирование данных в Data Box

Необходимые компоненты

Перед тем как начать, убедитесь в следующем.

  1. Вы выполнили руководство. Настройка Azure Data Box.
  2. Вы получили Data Box. Состояние заказа на портале — Доставлено.
  3. У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box. Компьютер узла должен:
    • поддерживаемая операционная система;
    • Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуем использовать хотя бы одно соединение Ethernet со скоростью передачи данных 10 Гбит/с. Если подключение 10 ГбE недоступно, используйте ссылку данных 1 ГбE, но скорость копирования влияет.

Подключение к Data Box

В зависимости от выбранной учетной записи хранения Data Box создает указанные ниже ресурсы.

  • До трех общих папок для каждой связанной учетной записи хранения (GPv1 и GPv2).
  • Одна общая папка для хранилища класса Premium.
  • Одна общая папка для учетной записи хранения BLOB-объектов, содержащая одну папку для каждого из четырех уровней доступа.

В следующей таблице указаны имена общих папок Data Box, к которым можно подключиться, и тип данных, отправленных в целевую учетную запись хранения. Он также определяет иерархию общих папок и каталогов, в которые копируются исходные данные.

Тип хранилища Имя общего ресурса Сущность первого уровня Сущность второго уровня Сущность третьего уровня
Блочный BLOB-объект <storageAccountName>_BlockBlob <\accessTier> <\containerName> <\blockBlob>
Страничный BLOB-объект <\storageAccountName>_PageBlob <\containerName> <\pageBlob>
Хранилище файлов <\storageAccountName>_AzFile <\fileShareName> <\Файл>

Файлы нельзя копировать непосредственно в корневую папку общего ресурса Data Box. Вместо этого создайте папки в общей папке Data Box в зависимости от варианта использования.

Блочные BLOB-объекты поддерживают назначение уровней доступа на уровне файла. При копировании файлов в общую папку блочных BLOB-объектов рекомендуется добавить новые вложенные папки в соответствующий уровень доступа. После создания новых вложенных папок продолжайте добавлять файлы в каждую вложенную папку соответствующим образом.

Новый контейнер создается для любой папки, размещенной в корневом каталоге блочного общей папки BLOB-объектов. Любой файл в этой папке копируется на уровень доступа учетной записи хранения по умолчанию в виде блочного BLOB-объекта.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Дополнительные сведения о рекомендациях уровня доступа см. в рекомендациях по использованию уровней доступа к BLOB-объектам.

В следующей таблице показан UNC-путь к общим папкам в Data Box и соответствующий URL-адрес пути служба хранилища Azure, в который передаются данные. Конечный URL-адрес службы хранилища Azure может быть производным от UNC-пути к общей папке.

Типы служб хранилища Azure Общие папки Data Box
Блочные BLOB-объекты Azure
  • UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt
  • URL-адрес службы хранилища Azure: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
  • Страничные BLOB-объекты Azure
  • UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd
  • URL-адрес службы хранилища Azure: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
  • Файлы Azure
  • UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt
  • URL-адрес службы хранилища Azure: https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt
  • Если вы используете главный компьютер с ОС Windows Server, для подключения к Data Box выполните указанные ниже действия.

    1. В первую очередь необходимо выполнить проверку подлинности и начать сеанс. Перейдите на страницу Подключение и копирование. Выберите SMB, чтобы получить учетные данные для доступа к общим папкам, связанным с вашей учетной записью хранения.

      Получение учетных данных для общих папок SMB

    2. В диалоговом окне "Доступ к общей папке и копирование данных" скопируйте имя пользователя и пароль, соответствующие необходимой общей папке. Затем выберите OK.

      Получение имени пользователя и пароля для общей папки

    3. В следующем примере используется пример учетной записи хранения с именем utsac1. Чтобы получить доступ к общим папкам, связанным с учетной записью хранения, с главного компьютера откройте командное окно. В командной строке введите:

      net use \\<DeviceIPAddress>\<share name> /u:<IP address of the device>\<user name for the share>

      В зависимости от формата ваших данных, пути к общей папке могут быть следующими:

      • Блочный BLOB-объект Azure — \\<DeviceIPAddress>\utsac1_BlockBlob.
      • Страничный BLOB-объект Azure — \\<DeviceIPAddress>\utsac1_PageBlob.
      • Файлы Azure — \\<DeviceIPAddress>\utsac1_AzFile.
    4. При отображении соответствующего запроса введите пароль для общей папки. Если пароль включает специальные знаки, заключите его в двойные кавычки. В примере ниже показан процесс подключения к общей папке с помощью указанной выше команды.

      C:\Users\Databoxuser>net use \\<DeviceIPAddress>\utSAC1_202006051000_BlockBlob /u:<DeviceIPAddress>\testuser1
      Enter the password for 'testuser1' to connect to '<DeviceIPAddress>': "ab1c2def$3g45%6h7i&j8kl9012345"
      The command completed successfully.
      
    5. Нажмите клавиши WINDOWS+R. В окне Выполнить введите \\<DeviceIPAddress>. Нажмите кнопку ОК, чтобы открыть проводник.

      Подключение к общей папке с помощью проводника

      Должны отобразиться папки, в том числе общие.

      Общие папки в проводнике

      Внимание

      Файлы нельзя копировать непосредственно в корневую папку учетной записи хранения. В корневой папке учетной записи хранения блочных BLOB-объектов вы найдете папку, соответствующую каждому из доступных уровней доступа.

      Чтобы скопировать данные в Azure Data Box, необходимо сначала выбрать папку, соответствующую одному из уровней доступа. Затем создайте вложенную папку в папке этого уровня для хранения данных. Наконец, скопируйте данные в только что созданную вложенную папку. Новая вложенная папка представляет контейнер, созданный в учетной записи хранения во время приема. Данные передаются в этот контейнер в виде больших двоичных объектов.

    Если вы используете клиент Linux, вставьте общий ресурс SMB с помощью следующей команды. Значение vers параметра определяет версию S МБ, которую поддерживает узел Linux. Вставьте соответствующую версию в приведенную примерную команду. Список версий S МБ, поддерживаемых Data Box, см. в статье "Поддерживаемые файловые системы для клиентов Linux".

    sudo mount -t cifs -o vers=2.1 10.126.76.138:/utsac1_BlockBlob /home/databoxubuntuhost/databox
    

    Определение соответствующих уровней доступа для блочных BLOB-объектов

    Внимание

    Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

    служба хранилища Azure позволяет хранить данные блочных BLOB-объектов в нескольких уровнях доступа в одной учетной записи хранения. Эта возможность позволяет упорядочивать и хранить данные более эффективно на основе частоты доступа. В следующей таблице содержатся сведения и рекомендации по служба хранилища Azure уровням доступа.

    Уровень Рекомендация Рекомендация
    высокая Полезно для частого доступа к данным в Интернете или изменения. Горячий уровень отличается самыми высокими затратами на хранение, но наименьшими затратами на доступ. Данные на этом уровне должны находиться в регулярном и активном использовании.
    Холодный Полезно для доступа к интернет-данным или редко изменяемых. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем горячий уровень. Данные на этом уровне должны храниться не менее 30 дней.
    низкая Полезно для доступа к интернет-данным или изменениям редко, но по-прежнему требуется быстрое извлечение. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем холодный уровень. Данные на этом уровне должны храниться не менее 90 дней.
    Архив Полезно для автономных данных редко обращаться к данным и иметь более низкие требования к задержке. Данные на этом уровне должны храниться не менее 180 дней. Данные, удаленные из архивного уровня в течение 180 дней, подлежат досрочному удалению.

    Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Дополнительные рекомендации см. в рекомендациях по использованию уровней доступа к BLOB-объектам.

    Данные блочного большого двоичного объекта можно передать на соответствующий уровень доступа, скопировать его в соответствующую папку в Data Box. Этот процесс подробно рассматривается в разделе "Копирование данных в Azure Data Box ".

    Копирование данных в Data Box

    После подключения к одному или нескольким общим папкам Data Box следующим шагом является копирование данных. Перед началом копирования данных рассмотрите следующие ограничения:

    • Убедитесь, что данные копируются в общую папку, соответствующую требуемому формату данных. Например, скопируйте данные блочных BLOB-объектов в общую папку для блочных BLOB-объектов. Скопируйте виртуальные жесткие диски в общую папку BLOB-объектов страницы. Если формат данных не соответствует соответствующему типу общего ресурса, отправка данных в Azure завершается сбоем во время последующего шага.
    • При копировании данных в общие папки AzFile или PageBlob сначала создайте папку в корне общей папки, а затем скопируйте файлы в ту папку.
    • При копировании данных в общую папку BlockBlob создайте вложенную папку в требуемом уровне доступа, а затем скопируйте данные в только что созданную вложенную папку. Вложенная папка представляет контейнер, в который передаются данные в виде больших двоичных объектов. Файлы нельзя копировать непосредственно в корневую папку общего ресурса.
    • При копировании данных убедитесь, что их размер соответствует ограничениям размера, указанным в статье Ограничения размера для учетной записи хранения Azure.
    • Если вы хотите сохранить метаданные (списки управления доступом, метки времени и атрибуты файлов) при передаче данных в Файлы Azure, следуйте инструкциям из статьи Сохранение файловых списков управления доступом, атрибутов и меток времени с помощью Azure Data Box.
    • Одновременные отправки Data Box и другого приложения, отличного от Data Box, могут привести к сбоям заданий отправки и повреждению данных.
    • Если для копирования данных используются протоколы S МБ и NFS, рекомендуется:
      • Использовать разные учетные записи хранения для SMB и NFS.
      • Не копировать одни и те же данные в одно расположение в Azure с помощью SMB и NFS. В таких случаях невозможно предсказать окончательный результат.
      • Хотя параллельное копирование через SMB и NFS может работать, мы не советуем делать это, так могут возникать ошибки из-за действий человека. Дождитесь завершения копирования данных через SMB, прежде чем начать копирование данных через NFS.

    Внимание

    Убедитесь, что вы сохраняете копию исходных данных, пока не сможете подтвердить, что данные скопированы в служба хранилища Azure.

    После подключения к общей папке SMB начните копирование данных. Кроме того, для копирования данных можно использовать любое средство для копирования файлов, совместимое с протоколом SMB, например Robocopy. С помощью средства Robocopy можно запустить несколько заданий копирования. Используйте следующую команду:

    robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /B /Log+:<LogFile>
    

    Атрибуты команды описаны в таблице ниже.

    Атрибут Description
    /e Копирование подкаталогов, включая пустые каталоги.
    /r: Указание количества повторных попыток для неудавшихся копий.
    /w: Указание времени ожидания между повторными попытками в секундах.
    /is Включает одни и те же файлы.
    /nfl Указывает, что имена файлов не регистрируются.
    /ndl Указывает, что имена каталогов не регистрируются.
    /np Указывает, что ход выполнения операции копирования (количество файлов или каталогов, скопированных до сих пор) не будет отображаться. Отображение хода выполнения значительно снижает производительность.
    /MT Использование многопоточности; рекомендуется использовать 32 или 64 потока. Этот параметр не используется при работе с зашифрованными файлами. Возможно, потребуется разделить зашифрованные и незашифрованные файлы. Копирование с использованием одного потока значительно снижает производительность.
    /fft Используется для уменьшения степени детализации меток времени при работе с любыми файловыми системами.
    /B Копирует файлы в режиме резервного копирования.
    /z Копирует файлы в режиме перезапуска; используйте этот параметр, если среда нестабильна. Этот параметр уменьшает пропускную способность из-за внесения дополнительных сведений в журналы.
    /zb Использует режим перезапуска. Если доступ запрещен, то для этого параметра используется режим резервного копирования. Этот параметр уменьшает пропускную способность из-за создания контрольных точек.
    /efsraw Копирование всех зашифрованных файлов в режиме необработанных данных в файловой системе EFS. Используется только при работе с зашифрованными файлами.
    log+:<LogFile> Добавление выходных данных в существующий файл журнала.

    Ниже приведен пример выходных данных команды robocopy для копирования файлов в Data Box.

    C:\Users>robocopy
    
        -------------------------------------------------------------------------------
        ROBOCOPY     ::     Robust File Copy for Windows
        -------------------------------------------------------------------------------
    
            Started : Thursday, March 8, 2018 2:34:53 PM
            Simple Usage :: ROBOCOPY source destination /MIR
    
            source :: Source Directory (drive:\path or \\server\share\path).
            destination :: Destination Dir  (drive:\path or \\server\share\path).
                    /MIR :: Mirror a complete directory tree.
    
        For more usage information run ROBOCOPY /?
    
        ****  /MIR can DELETE files as well as copy them !
    
    C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.126.76.172\devicemanagertest1_AzFile\templates /MT:32
    
        -------------------------------------------------------------------------------
        ROBOCOPY     ::     Robust File Copy for Windows
        -------------------------------------------------------------------------------
    
            Started : Thursday, March 8, 2018 2:34:58 PM
            Source : C:\Git\azure-docs-pr\contributor-guide\
                Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\
    
            Files : *.*
    
            Options : *.* /DCOPY:DA /COPY:DAT /MT:32 /R:5 /W:60
    
        ------------------------------------------------------------------------------
    
        100%        New File                 206        C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
        100%        New File                 209        C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
        100%        New File                 732        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
        100%        New File                 199        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
                    New File                 178        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100%  .md
                    New File                 250        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100%  e.md
        100%        New File                 174        C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
        100%        New File                 197        C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
        100%        New File                 184        C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
        100%        New File                 208        C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
        100%        New File                 210        C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
        100%        New File                 234        C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
        100%        New File                 186        C:\Git\azure-docs-pr\contributor-guide\release-branches.md
        100%        New File                 240        C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
        100%        New File                 215        C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
        100%        New File                 212        C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
        100%        New File                 207        C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
        ------------------------------------------------------------------------------
    
                    Total    Copied   Skipped  Mismatch    FAILED    Extras
        Dirs :         1         1         1         0         0         0
        Files :        17        17         0         0         0         0
        Bytes :     3.9 k     3.9 k         0         0         0         0
    C:\Users>
    

    Более конкретные сценарии, например использование robocopy для перечисления, копирования или удаления файлов в Data Box, см. в разделе Использование robocopy для перечисления, копирования и изменения файлов в Data Box.

    Чтобы оптимизировать производительность, при копировании данных используйте указанные ниже параметры robocopy.

    Платформа В основном небольшие файлы < 512 КБ В основном средние файлы 512 КБ - 1 МБ В основном большие файлы > 1 МБ
    Data Box 2 сеанса Robocopy
    16 потоков на сеанс
    3 сеансы Robocopy
    16 потоков на сеанс
    2 сеанса Robocopy
    24 потока на сеанс

    Дополнительные сведения о команде Robocopy см. в статье Robocopy и несколько примеров.

    Уведомления отображаются во время процесса копирования для выявления ошибок.

    Уведомление об ошибке копирования на странице

    Выберите Скачать список ошибок.

    Подключение и копирование, скачивание списка проблем

    Откройте список, чтобы просмотреть подробные сведения об ошибке, и выберите соответствующий URL-адрес, чтобы просмотреть рекомендуемое решение.

    Подключение и копирование, скачивание и просмотр ошибок

    Дополнительные сведения см. в разделе Просмотр журналов ошибок во время копирования данных в Data Box. Подробный список ошибок во время копирования данных см. в статье об устранении неполадок, связанных с Azure Data Box.

    Чтобы обеспечить целостность данных, при копировании данных система вычисляет их контрольные суммы. По завершении копирования проверьте использованное и свободное место на устройстве.

    Проверка свободного и использованного места на панели мониторинга

    Данные можно скопировать с исходного сервера в Data Box с помощью SMB, NFS, REST, службы копирования данных или же скопировать их на управляемые диски.

    В каждом случае необходимо убедиться, что имена общих ресурсов и папок, а также объем данных соответствуют рекомендациям, приведенным в разделе об ограничениях службы хранилища Azure и Data Box.

    копировать данные по протоколу SMB;

    Копирование данных по протоколу SMB

    1. При использовании узла Windows подключитесь к общим папкам SMB с помощью такой команды:

      \\<Device IP address>\ShareName

    2. Чтобы получить учетные данные общего доступа, перейдите на страницу Подключение и копирования в локальном пользовательском веб-интерфейсе Data Box.

    3. Для копирования данных в общие папки можно использовать любое средство копирования файлов, совместимое с протоколом SMB, например Robocopy.

    Пошаговые инструкции см. в руководстве по копированию данных в Azure Data Box через S МБ.

    копировать данные по протоколу NFS.

    Копирование данных по протоколу NFS

    1. При использовании узла NFS используйте следующую команду для подключения общих папок NFS в Data Box:

      sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

    2. Учетные данные для доступа к общему ресурсу можно узнать на странице Connect & copy (Подключение и копирование) в локальном пользовательском веб-интерфейсе Data Box.

    3. Используйте команду cp или rsync для копирования данных.

    Пошаговые инструкции см. в руководстве по копированию данных в Azure Data Box с помощью NFS.

    Копирование данных с помощью REST

    Копирование данных с помощью REST

    1. Чтобы скопировать данные, используя хранилище BLOB-объектов службы Data Box и интерфейсы REST API, выполните подключение по протоколу HTTP или HTTPS.
    2. Для копирования данных в хранилище BLOB-объектов службы Data Box можно использовать AzCopy.

    Пошаговые инструкции см. в руководстве по копированию данных в хранилище BLOB-объектов Azure Data Box с помощью REST API.

    Копирование данных с помощью службы копирования данных

    Копирование данных с помощью службы копирования данных

    1. Чтобы скопировать данные с помощью службы копирования данных, необходимо создать задание. В локальном веб-интерфейсе Data Box перейдите к разделу "Управление копированием > данных>".
    2. Укажите параметры и создайте задание.

    Пошаговые инструкции см. в руководстве. Использование службы копирования данных для копирования данных в Azure Data Box.

    Копирование данных на управляемые диски

    Копирование управляемых дисков с данными

    1. При заказе устройства Data Box выберите управляемые диски в качестве места назначения хранилища.
    2. Подключение в Data Box с помощью общих папок S МБ или NFS.
    3. Копирование данных с помощью средств S МБ или NFS.

    Пошаговые инструкции см. в руководстве . Использование Data Box для импорта данных в качестве управляемых дисков в Azure.

    Следующие шаги

    В этом руководстве были освещены следующие темы относительно Azure Data Box.

    • Необходимые компоненты
    • Подключение к Data Box
    • Копирование данных в Data Box

    Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.