Руководство по копированию данных в Azure Data Box с помощью NFS

Внимание

Azure Data Box теперь поддерживает назначение уровня доступа на уровне BLOB-объектов. Действия, содержащиеся в этом руководстве, отражают обновленный процесс копирования данных и зависят от блочных BLOB-объектов.

Сведения о том, как определить соответствующий уровень доступа для данных блочного BLOB-объекта, см . в разделе "Определение соответствующих уровней доступа для блочных BLOB-объектов ". Выполните действия, содержащиеся в разделе "Копирование данных в Data Box ", чтобы скопировать данные на соответствующий уровень доступа.

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

В этом руководстве объясняется, как подключиться к главному компьютеру и скопировать данные с него с помощью локального пользовательского веб-интерфейса.

В этом руководстве описано следующее:

• Необходимые компоненты
• Подключение к Data Box
• Копирование данных в Data Box

Необходимые компоненты

Перед тем как начать, убедитесь в следующем.

1. В этом руководстве описано, как настроить Azure Data Box.
2. Вы получаете Data Box и состояние заказа на портале доставлено.
3. У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box. Компьютер узла должен:
   • поддерживаемая операционная система;
   • Компьютер должен быть подключен к высокоскоростной сети. Настоятельно рекомендуем использовать хотя бы одно соединение Ethernet со скоростью передачи данных 10 Гбит/с. Если такое соединение недоступно, можно использовать канал передачи данных 1 Гбит/с, но это повлияет на скорость копирования.

Подключение к Data Box

В зависимости от выбранной учетной записи хранения Data Box создает указанные ниже ресурсы.

• До трех общих папок для каждой связанной учетной записи хранения (GPv1 и GPv2).
• Одна общая папка для хранилища класса Premium.
• Одна общая папка для учетной записи хранения BLOB-объектов, содержащая одну папку для каждого из четырех уровней доступа.

В следующей таблице указаны имена общих папок Data Box, к которым можно подключиться, и тип данных, отправленных в целевую учетную запись хранения. Он также определяет иерархию общих папок и каталогов, в которые копируются исходные данные.

Тип хранилища	Имя общего ресурса	Сущность первого уровня	Сущность второго уровня	Сущность третьего уровня
Блочный BLOB-объект	<storageAccountName>_BlockBlob	<\accessTier>	<\containerName>	<\blockBlob>
Страничный BLOB-объект	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
Хранилище файлов	<\storageAccountName>_AzFile	<\fileShareName>	<\Файл>

Файлы нельзя копировать непосредственно в корневую папку общего ресурса Data Box. Вместо этого создайте папки в общей папке Data Box в зависимости от варианта использования.

Блочные BLOB-объекты поддерживают назначение уровней доступа на уровне файла. Перед копированием файлов в общую папку блочных BLOB-объектов рекомендуется добавить новые вложенные папки в соответствующий уровень доступа. После создания новых вложенных папок продолжайте добавлять файлы в каждую вложенную папку соответствующим образом.

Новый контейнер создается для любой папки, размещенной в корневом каталоге блочного общей папки BLOB-объектов. Любой файл в папке копируется на уровень доступа учетной записи хранения по умолчанию в виде блочного BLOB-объекта.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Дополнительные сведения о рекомендациях уровня доступа см. в рекомендациях по использованию уровней доступа к BLOB-объектам.

В следующей таблице показан UNC-путь к общим папкам в Data Box и соответствующий URL-адрес пути служба хранилища Azure, в который передаются данные. Конечный URL-адрес службы хранилища Azure может быть производным от UNC-пути к общей папке.

Типы служб хранилища Azure	Общие папки Data Box
Блочные BLOB-объекты Azure	UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt URL-адрес службы хранилища Azure: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
Страничные BLOB-объекты Azure	UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd URL-адрес службы хранилища Azure: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
Файлы Azure	UNC-путь к общим папкам: \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt URL-адрес службы хранилища Azure: https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt

Если вы используете главный компьютер Linux, выполните следующие действия, чтобы настроить Data Box, чтобы разрешить доступ к клиентам NFS.

1. Укажите IP-адреса клиентов, которым разрешен доступ к общей папке. В локальном пользовательском веб-интерфейсе перейдите на страницу Подключение и копирование. В разделе Параметры NFS выберите Клиентский доступ NFS.

   

2. Укажите IP-адрес клиента NFS и нажмите кнопку "Добавить". Вы можете настроить доступ для нескольких NFS-клиентов, выполнив это действие для каждого клиента. Нажмите ОК.

   

3. Убедитесь, что на главном компьютере с ОС Linux установлен NFS-клиент поддерживаемой версии. Используйте версию, подходящую для используемого вами дистрибутива ОС Linux.

4. После установки NFS-клиента подключите общую папку NFS на устройстве Data Box, выполнив указанную ниже команду.

   sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

   Используйте следующий пример для подключения к общей папке Data Box с помощью NFS. В примере ip-адрес устройства Data Box — это 10.161.23.130. Общая папка Mystoracct_Blob подключена к ubuntuVM, а точка подключения — /home/databoxubuntuhost/databox.

   sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

   Для клиентов Mac необходимо добавить дополнительный параметр следующим образом:

   sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

   Внимание

   Файлы нельзя копировать непосредственно в корневую папку учетной записи хранения. В корневой папке учетной записи хранения блочных BLOB-объектов вы найдете папку, соответствующую каждому из доступных уровней доступа.

   Чтобы скопировать данные в Azure Data Box, необходимо сначала выбрать папку, соответствующую одному из уровней доступа. Затем создайте вложенную папку в папке этого уровня для хранения данных. Наконец, скопируйте данные в только что созданную вложенную папку. Новая вложенная папка представляет контейнер, созданный в учетной записи хранения во время приема. Данные передаются в этот контейнер в виде больших двоичных объектов.

Определение соответствующих уровней доступа для блочных BLOB-объектов

Внимание

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

служба хранилища Azure позволяет хранить данные блочных BLOB-объектов в нескольких уровнях доступа в одной учетной записи хранения. Эта возможность позволяет упорядочивать и хранить данные более эффективно на основе частоты доступа. В следующей таблице содержатся сведения и рекомендации по служба хранилища Azure уровням доступа.

Уровень	Рекомендация	Рекомендация
высокая	Полезно для частого доступа к данным в Интернете или изменения. Горячий уровень отличается самыми высокими затратами на хранение, но наименьшими затратами на доступ.	Данные на этом уровне должны находиться в регулярном и активном использовании.
Холодный	Полезно для доступа к интернет-данным или редко изменяемых. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем горячий уровень.	Данные на этом уровне должны храниться не менее 30 дней.
низкая	Полезно для доступа к интернет-данным или изменениям редко, но по-прежнему требуется быстрое извлечение. Этот уровень имеет более низкие затраты на хранение и более высокие затраты на доступ, чем холодный уровень.	Данные на этом уровне должны храниться не менее 90 дней.
Архив	Полезно для автономных данных редко обращаться к данным и иметь более низкие требования к задержке.	Данные на этом уровне должны храниться не менее 180 дней. Данные, удаленные из архивного уровня в течение 180 дней, подлежат досрочному удалению.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Дополнительные рекомендации см. в рекомендациях по использованию уровней доступа к BLOB-объектам.

Данные блочного большого двоичного объекта можно передать на соответствующий уровень доступа, скопировать его в соответствующую папку в Data Box. Этот процесс подробно рассматривается в разделе "Копирование данных в Azure Data Box ".

Копирование данных в Data Box

После подключения к одному или нескольким общим папкам Data Box следующим шагом является копирование данных. Перед началом копирования данных рассмотрите следующие ограничения:

• Убедитесь, что данные копируются в общую папку, соответствующую требуемому формату данных. Например, скопируйте данные блочных BLOB-объектов в общую папку для блочных BLOB-объектов. Скопируйте виртуальные жесткие диски в общую папку BLOB-объектов страницы. Если формат данных не соответствует соответствующему типу общего ресурса, отправка данных в Azure завершается сбоем во время последующего шага.
• При копировании данных в общие папки AzFile или PageBlob сначала создайте папку в корне общей папки, а затем скопируйте файлы в ту папку.
• При копировании данных в общую папку BlockBlob создайте вложенную папку в требуемом уровне доступа, а затем скопируйте данные в только что созданную вложенную папку. Вложенная папка представляет контейнер, в который передаются данные в виде больших двоичных объектов. Файлы нельзя копировать непосредственно в корневую папку общего ресурса.
• При копировании данных убедитесь, что их размер соответствует ограничениям размера, указанным в статье Ограничения размера для учетной записи хранения Azure.
• Одновременные отправки Data Box и другого приложения, отличного от Data Box, могут привести к сбоям заданий отправки и повреждению данных.
• Если для копирования данных используются протоколы S МБ и NFS, рекомендуется:
  • Использовать разные учетные записи хранения для SMB и NFS.
  • Не копировать одни и те же данные в одно расположение в Azure с помощью SMB и NFS. В таких случаях невозможно предсказать окончательный результат.
  • Хотя параллельное копирование через SMB и NFS может работать, мы не советуем делать это, так могут возникать ошибки из-за действий человека. Дождитесь завершения копирования данных через SMB, прежде чем начать копирование данных через NFS.
• При копировании данных в общую папку блочных BLOB-объектов создайте вложенную папку в требуемом уровне доступа, а затем скопируйте данные в только что созданную вложенную папку. Вложенная папка представляет контейнер, в который передаются данные в виде больших двоичных объектов. Вы не можете копировать файлы напрямую в корневую папку в учетной записи хранения.
• Если прием конфиденциальных регистров каталогов и имен файлов из общей папки NFS в NFS в Data Box:

  • регистр в имени сохраняется;

  • регистр в файлах не учитывается.

    Например, при копировании SampleFile.txt и Samplefile.Txtсохранении регистра в имени при копировании в Data Box. Тем не менее, поскольку они считаются одним и тем же файлом, последний отправленный файл перезаписывает первый файл.

Внимание

Убедитесь, что вы сохраняете копию исходных данных, пока не сможете подтвердить, что данные скопированы в служба хранилища Azure.

Если у вас главный компьютер с ОС Linux, используйте программу копирования, аналогичную Robocopy. Вот некоторые альтернативы, доступные в Linux: rsync, FreeFileSync, Unison или Ultracopier.

Команда cp — один из лучших способов копировать каталоги. Дополнительные сведения об использовании команды см. на страницах руководства команды cp.

При копировании при помощи rsync с использованием нескольких потоков следуйте следующим рекомендациям:

• Установите пакет CIFS Utils или NFS Utils (в зависимости от того, какая файловая система используется в клиенте с ОС Linux).

  sudo apt-get install cifs-utils

  sudo apt-get install nfs-utils

• Установка rsync и параллель (зависит от распределенной версии Linux).

  sudo apt-get install rsync

  sudo apt-get install parallel

• Создайте точку подключения.

  sudo mkdir /mnt/databox

• Подключите том.

  sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox

• Сделайте зеркальное отражение структуры каталогов.

  rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox

• Скопируйте файлы.

  cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

  где j задает число параллелизации, X = число параллельных копий

  Рекомендуем начать работу с 16 параллельных копий и увеличить количество потоков в зависимости от доступных ресурсов.

Внимание

Не поддерживаются следующие типы файлов Linux: символьные ссылки, символьные файлы, блочные файлы, сокеты и каналы. Эти типы файлов приведут к сбоям на этапе Подготовка к отправке.

Уведомления отображаются во время действия копирования для выявления ошибок.

Выберите Скачать список ошибок.

Откройте список, чтобы просмотреть подробные сведения об ошибке, и выберите соответствующий URL-адрес, чтобы просмотреть рекомендуемое решение.

Дополнительные сведения см. в разделе Просмотр журналов ошибок во время копирования данных в Data Box. Подробный список ошибок во время копирования данных см. в статье об устранении неполадок, связанных с Azure Data Box.

Чтобы обеспечить целостность данных, при копировании данных система вычисляет их контрольные суммы. По завершении копирования проверьте использованное и свободное место на устройстве.

Следующие шаги

В этом руководстве были освещены следующие темы относительно Azure Data Box.

• Предварительные требования для копирования данных Data Box
• Подключение в Data Box
• Определение соответствующих уровней доступа для блочных BLOB-объектов
• Копирование данных в Data Box

Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.

Отправка Azure Data Box в корпорацию Майкрософт