Перенос данных в Azure — обзор

Перенос рабочих нагрузок с большим объемом данных и хранения в Azure обеспечивает доступ к масштабируемому и безопасному облачному хранилищу, что позволяет быстро внедрять инновации и рост. В этом документе приведены четкие практические рекомендации по обеспечению простой миграции блоков, файлов и хранилища объектов. Он описывает различные рекомендации, предоставляет ключевые метрики, описывает соответствующие службы хранилища Azure и помогает выбрать средства.

Предыстория

Выберите, чтобы развернуть или свернуть этот раздел

Различные бизнес-требования и технические требования определяют общую стратегию миграции Azure. Для учета конкретных требований для вариантов использования, чтобы можно принимать соответствующие архитектурные и технические решения по проектированию, Microsoft Well-architected Framework (WAF) включает в себя основные наборы рекомендаций для всех рабочих нагрузок и миграций служб. Когда соблюдаются, процесс уделяет внимание надежности, безопасности, оптимизации затрат, операционному совершенству и эффективности производительности. Рекомендуется ознакомиться как с рекомендациями WAF, так и со следующими сведениями, чтобы создать комплексный подход к миграции для конкретных приложений и служб.

Замечание

Приведенные ниже рекомендации содержат сведения, относящиеся к неструктурированной миграции данных в службы хранилища Azure. Сценарии, связанные с структурированными данными, такими как SQL, Oracle или Таблицы, и не рассматриваются в этом документе.

В этом руководстве основное внимание уделяется переносу неструктурированных данных в службы хранилища Azure. Содержимое принимает подход, ориентированный на миграцию данных, поэтому такие темы, как эффективность работы и оптимизация затрат, могут потребовать отдельных подробных обсуждений. В сценариях с структурированными данными, такими как SQL, Oracle или Таблицы, вводятся дополнительные рекомендации, которые зависят от приложения.

Следующее содержимое не заменяет или не отменяет какие-либо методологии, платформы или рекомендации, описанные в другой официальной документации Майкрософт.

Этапы и действия миграции

Полная миграция состоит из различных этапов , включая оценку, выбор целевого объекта, планирование, выбор инструментов, выполнение миграции. Следуя мудрому подходу, данные можно перенести в Azure с меньшим временем простоя и рисками. Каждый шаг гарантирует, что все необходимые параметры рассматриваются, и выбран наиболее подходящий подход для данных диска, файла и объекта .

Оценка

Выберите, чтобы развернуть или свернуть этот раздел

На этом этапе вы определяете и инвентаризируете все источники, которые необходимо перенести, такие как SMB-ресурсы, тома NFS или пространства имен объектов. Весь процесс обычно включает в себя следующее:

  • Создание каталога или инвентаризации всех ресурсов данных и источников данных.
  • Определение и понимание типов данных и шаблонов доступа.
  • Общие сведения о надежности, производительности и бизнес-требованиях к данным.
  • Оценка репликации, скорости изменения, отказоустойчивости и устойчивости к простоям.
  • Общие сведения о требованиях к безопасности и соответствию требованиям.

Этот этап можно выполнить вручную или использовать автоматизированные средства. Существует несколько коммерческих средств, доступных от независимых поставщиков программного обеспечения (НЕЗАВИСИМЫх поставщиков программного обеспечения), которые могут помочь на этапе оценки. Дополнительные сведения см. в статье матрицы сравнения .

Узнать больше о действиях этапа оценки.

Выбор целевого объекта

Выберите, чтобы развернуть или свернуть этот раздел

Важно понимать доступные варианты, которые могут соответствовать требованиям, указанным на этапе оценки. Microsoft Azure предлагает несколько служб хранилища, таких как файлы Azure, хранилище BLOB-объектов, Azure NetApp Files и управляемые диски для виртуальных машин. Кроме того, существуют партнеры ISV, которые предлагают программно-определяемые версии локальных платформ хранения для блоковых, файловых и объектных рабочих нагрузок, созданные на основе наших основных служб хранения.

Этот этап в первую очередь включает следующие действия:

  • Оценка технических требований для определения оптимальной целевой службы хранилища Azure
  • Создайте соответствующую архитектуру целевого решения (на основе приложения или рабочей нагрузки) с идентифицированным решением хранилища.
  • Оценка цен и затрат, связанных с миграцией и целевым решением

Узнать больше о действиях на этапе выбора цели.

Планирование стратегии миграции

Выберите, чтобы развернуть или свернуть этот раздел

Планирование стратегии миграции включает определение подходящего метода, с помощью которого можно переместить данные в Azure. Он также может включать другие рекомендации, соответствующие конкретным рабочим нагрузкам, характеру данных или участвующим приложениям. В следующем списке приведены некоторые примеры этих рекомендаций:

  • Онлайн против офлайн переноса
  • Целесообразность миграции по модели "lift-and-shift"
  • Скорость изменения данных и уровневое разделение
  • Требования к гибридному хранилищу и перемещение данных
  • Репликация в качестве стратегии
  • Резервное копирование и восстановление в качестве стратегии миграции

Дополнительные сведения о стратегии планирования миграции.

Выбор средств миграции

Существуют различные средства миграции, которые помогут вам выполнить миграцию. Например, некоторые средства с открытым кодом включают AzCopy, robocopy, xcopy и rsync. Корпорация Майкрософт предлагает управляемые средства, такие как Azure Storage Mover, Azure Data Box, Azure File Sync, Azure Migrate и Data Box Gateway. Существует также множество других коммерческих средств, отличных от Майкрософт. Список доступных коммерческих инструментов доступен в нашей матрице сравнения , которая также предоставляет сравнения между ними.

В следующей таблице представлен выбор средств миграции на основе сценариев для справки. Хотя возможные альтернативные варианты могут существовать в каждом конкретном случае, приведенные ниже примеры считаются наиболее подходящими.

Сценарий Рекомендуемые инструменты
— Требуется полностью управляемое, автоматизированное, устойчивое средство с одной областью управления (в Azure);
— Миграция файлов или общих ресурсов, превышающая небольшие передачи, обычно > 1 ТБ данных, с возможностью перемещения до миллионов файлов или объектов
— перенос и (или) непрерывная синхронизация с локального NAS
— файловые серверы Windows без установленной или уже настроенной синхронизации файлов Azure
— Миграция в Azure с участием:
— SMB (2.x, 3.x) в объект Blob Azure (горячий/холодный) или ADLS с включенной поддержкой HNS (иерархическое пространство имен)
— SMB (2.x, 3.x) в Azure Files (только SMB)
— NFS (версия 3, версия 4.1) на Blob-объекты Azure (горячие/холодные) или ADLS с поддержкой HNS (исключительно для NFS версии 3)
— один раз или непрерывный (включая многооблачные среды)
— S3 в хранилище Azure Blob (горячий/холодный) или ADLS (иерархическое пространство имен)
— функция копирования только метаданных, предполагающая копирование только метаданных или структуры файлов без их содержимого (например, установка начальных разрешений или выполнение тестовой миграции)
 Перемещение службы хранилища Azure
— автономная передача данных (низкая пропускная способность или отсутствие сетевого подключения, удаленные сайты)
— Копировать из локальных общих папок SMB/NFS и источников NAS в Azure Blob, Azure Files и ADLS непосредственно на определенные уровни хранения, включая прямой импорт в другой регион за пределами исходного региона.
— автономный перенос из файлов Azure, Premium FileStorage, BLOB-объектов (горячий или холодный) в локальную среду
— офлайн передача локальной HDFS в объект BLOB в Azure (горячее хранение или архивация) или ADLS (с включенным HNS)		 Azure Data Box
— необходимо передать большие объемы данных в короткий период как через автономные, так и сетевые решения.
— офлайн заполнение начальных массовых данных вследствие ограничений сети, за которым следует разностная синхронизация.		 Azure Data Box для начальной загрузки с использованием Azure Storage Mover для дифференциальной синхронизации
— физические компьютеры, виртуальные машины и подключенные диски; Виртуальные машины, работающие в Hyper-V, VMware, AWS, GCP. Azure Migrate
— Быстрая, однократная или инкрементальная передача данных небольшого и среднего объема (обычно < 1 ТБ на задание) в или из Azure
— обмен данными между службами (передача файлов-файлы, файлов-BLOB и т. д.) через магистраль Azure (внутри сети Azure)
— Требование к возможности такого скрипта (фильтрация по критериям, обновление метаданных или любое преобразование, например) и точный контроль таких передач
— не включает миллионы файлов или объектов, передаваемых
— Подключение локальной файловой системы, SMB, NFS к Azure
— S3 в BLOB-хранилище Azure (обычно < 1 ТБ)
— AWS EFS или AWS FSx для Windows в файлы Azure
— Google Cloud Storage (S3, GCS API) в Azure Blob Storage, ADLS (с поддержкой HNS)		 AzCopy (всегда использует REST API HTTPS)
— источник файлового сервера Windows (от SMB 2.x или 3.x к Azure Files)
— гибридная синхронизация данных с обратной или двунаправленной синхронизацией файлов
— централизованное управление файловым сервером с локальным кэшем и распределением по уровням в облаке
— сотрудничество и командная работа с развертываниями типа branch-out (многосайтовый доступ и синхронизация)
— облачное резервное копирование с непрерывностью бизнес-процессов и аварийное восстановление, а также наличие локального кэша
— При единичной необходимости миграции общих папок, служба "Синхронизация файлов Azure" уже развернута и конфигурирована.		 Синхронизация файлов Azure
— требования к непрерывной загрузке и облачному иерархированию в хранилище Azure (Blob) с локальным кэшем
— источник — локальная (NFS версии 3, 4.1 или SMB 2.x, 3.x) (односторонняя синхронизация) или двунаправленная (с ручной синхронизацией) с Azure или из Azure
— нет необходимости в нескольких локальных копиях этих данных с односторонней синхронизацией		 Шлюз Azure Data Box
— небольшие масштабы, однократные передачи с помощью пользовательских сценариев или миграции на основе Linux или Windows CLI AzCopy, rsync, Robocopy
— Сложное управление данными, аналитика, многоуровневая обработка или неподдерживаемые варианты использования и целевые объекты (НАПРИМЕР, ANF или Lustre) за пределами возможностей собственных инструментов Azure Средства ISV (Komprise, Cirata, Data Dynamics, Atempo)
— миграция больших архивных данных из локальных лент в хранилище Azure Ознакомьтесь с руководством по миграции лент и изучите партнерские решения, такие как Tape Ark
— Крупные локальные резервные копии или архив с помощью решений ISV (например, Commvault, Veeam или RUbrik)
— автономное заполнение с разностной синхронизацией с помощью средства резервного копирования.		 Использование конкретных рекомендаций для партнеров;
Azure Data Box с решением ISV
— Другие сценарии, в том числе:
— локальный NAS для файлов Azure (за исключением службы копирования данных Data Box)
— локальная установка Linux в Azure Files NFS
— AWS EFS/FSx/S3 в Azure Files
— GCP FileStorage в Azure Files		 - Средства ISV (Komprise, Cirata, Data Dynamics, Atempo)
ИЛИ
— подключите источник к клиенту и используйте Azure Storage Mover или AzCopy

Дополнительные сведения о средствах и вариантах миграции.

Выполнение миграции

Выберите, чтобы развернуть или свернуть этот раздел

Этап миграции — это последний этап миграции. На этом шаге выполняются операции перемещения данных и миграции. Как правило, этап миграции состоит из начальной репликации или массовой миграции, за которой следует несколько добавочных итераций синхронизации до окончательного переключения. Этот подход обычно обеспечивает более плавное и более эффективное переключение.

Длительность неструктурированной миграции данных зависит от нескольких аспектов. За пределами выбранного метода наиболее важными факторами являются общий размер данных и распределение размера файла. Чем больше общий набор данных, тем дольше требуется время миграции. Чем меньше средний размер файла, тем дольше требуется время миграции. Если у вас есть большое количество небольших файлов, рассмотрите возможность архивации их в больших файлах (сжатие до .tar или .zip файлов), если это возможно, чтобы сократить общее время миграции.

Подробнее о выполнении миграции.

Миграция блочных устройств

Выберите, чтобы развернуть или свернуть этот раздел

Миграция блочных устройств обычно выполняется в рамках миграции виртуальных машин или физического узла. Задержка принятия решений о блокировке хранения до завершения миграции является распространенной ошибкой. Принятие этих решений заранее с подробным пониманием требований к рабочей нагрузке приводит к более плавной миграции в облако.

Миграция блочных устройств может выполняться двумя способами:

  • Миграция полных виртуальных машин вместе с базовыми блочными устройствами.
  • Миграция только устройств с блочной структурой.

Для помощи в миграции виртуальных машин с их базовыми блочными устройствами см. в документации по Azure Migrate. Для более сложных вариантов использования используйте Cirrus Migrate Cloud.

Сведения о рабочих нагрузках, подходящих для миграции, и их соответствующих подходов см. на странице продукта хранилища дисков, и типах дисков Azure. Вы можете узнать, какие диски лучше всего соответствуют вашим требованиям, а также ознакомиться с последними возможностями, такими как disk bursting.

См. также

  • Last updated on