Выбор средств миграции

В этой статье вы узнаете о различных типах решений для переноса данных как в сети, так и в автономном режиме. Некоторые решения также предоставляют возможности повторяемой синхронизации, слияния и гибридного развертывания. Часто эти средства предоставляют перекрывающиеся технические возможности и подходят для аналогичных вариантов использования. В этой статье приведены рекомендации по выбору соответствующего средства миграции для ваших потребностей и идентификации собственных средств Azure, а также партнеров и независимых поставщиков программного обеспечения (ISV).

В этой статье рассматриваются различные сценарии, для которых лучше всего подходит каждое средство. Он также предоставляет широкий взгляд на сравнение и контрастность этих инструментов.

Онлайн-инструменты

Сетевая передача через Интернет

Средства, обеспечивающие передачу данных через Интернет, позволяют передавать данные в Azure через сетевое подключение или общедоступный Интернет. Эта передача может выполняться различными способами и с помощью различных средств.

Azure Storage Mover (Служба переноса данных хранилища Azure)

Azure Storage Mover — это полностью управляемая служба миграции, которая помогает перенести данные объемом от терабайтов до петабайтов в хранилище Azure по сети. Storage Mover — это гибридная облачная служба, состоящая из компонента облачной службы и локальной виртуальной машины агента миграции. Средство переноса данных используется для сценариев миграции, таких как lift-and-shift, а также для периодически повторяющихся облачных миграций.

В следующем списке выделены многие ключевые сценарии и возможности Storage Mover, которые могут сделать его рекомендуемым для некоторых случаев использования.

  • Состоит из полностью управляемого, автоматизированного и устойчивого средства в Azure.
  • Один ресурс Azure Storage Mover может глобально управлять несколькими агентами, предоставляя полный обзор всех миграций на единой панели мониторинга.
  • Подходит как для относительно небольших объемов данных, составляющих несколько терабайт, так и для больших файлов, папок и общих ресурсов в масштабе петабайт. Для одноуровневой передачи данных и небольших наборов данных меньше 1 терабайт используйте AzCopy вместо этого.
  • Подходит для одноуровневых передач, таких как лифт и смена, или повторяющиеся, периодические синхронизации и передачи.
  • Предлагает простой, надежный процесс, для которого достаточно конфигураций по умолчанию.
  • Сохраняет метаданные файла.
  • К источникам миграции и назначениям относятся следующие:
    • Источник блока сообщений сервера (SMB) или сетевой файловой системы (NFS) в целевой объект BLOB-объектов Azure
    • Целевой объект SMB Source to Azure Files
    • Источник S3 в целевой объект BLOB-объектов Azure
    • Функция копирования только метаданных, где копируются только метаданные или структура файлов без содержимого файла. Например, для установки разрешений или выполнения миграции в режиме "пробного запуска".

Дополнительные сведения о службе перемещения хранилища Azure см. в статье об общем обзоре службы. Следующие статьи также помогут вам использовать инструмент перемещения данных в Azure Storage для переноса данных в облачную среду.

Средства синхронизации и упорядочивания по уровням

Служба синхронизации файлов Azure

Синхронизация файлов Azure обеспечивает миграцию файловых серверов Windows с почти нулевым временем простоя, а также предоставляет гибридное решение для хранения. Синхронизация файлов Azure позволяет централизировать общие папки вашей организации в файлах Azure, сохраняя гибкость, производительность и совместимость файлового сервера Windows. Синхронизация файлов Azure в основном является средством синхронизации и управления уровнями хранения, а основная функция Storage Mover — это служба миграции.

Выберите службу "Синхронизация файлов Azure" для традиционных расширений файлового сервера и синхронизации с несколькими сайтами с общими папками Azure. Этот параметр включает интеграцию Entra ID и двустороннюю синхронизацию. Он также автоматически сохраняет разрешения и атрибуты файловой системы NTFS. Эти возможности делают синхронизацию файлов Azure идеальным подходом, если вы хотите сохранить локальный кэш и использовать распределение по уровням облака, или если сервер должен продолжать обслуживаться во время миграции.

Вы можете использовать любой доступный протокол Windows Server для доступа к данным локально, включая SMB, NFS и FTPS. Вы также можете иметь столько кэшей, сколько вам нужно во всем мире.

Все поддерживаемые сценарии миграции для синхронизации файлов можно найти в статье обзора миграции .

Дополнительные сведения о синхронизации файлов Azure и различных сценариях миграции см. здесь.

Шлюз «Data Box»

Шлюз Data Box — это облачное хранилище, которое выступает в качестве виртуального устройства, обеспечивая простой односторонний перенос данных между локальной инфраструктурой и Azure. Она состоит из виртуальной машины в локальной среде и подключается к Azure через стандартные протоколы, такие как SMB или NFS.

Шлюз кэширует и передает данные в Azure Blob Storage или хранилище файлов эффективно и безопасно. Data Box Gateway — это постоянный шлюз для потоковой передачи данных, идеально подходит для гибридных облачных рабочих процессов.

Выберите шлюз Data Box Gateway для одностороннего, крупномасштабного направления данных в Azure, особенно для данных NFS или постоянных потоков данных. Шлюз Data Box также является подходящим выбором, если вам не требуется несколько локальных копий данных, хранящихся в синхронизации. Основная функция шлюза Data Box заключается в том, чтобы быстро перемещать данные вне сайта и в Azure, особенно для обработки или архивации. Поддерживается также опция ручной синхронизации для обновления локальной общей папки с содержимым Azure.

Дополнительные сведения о шлюзе Azure Data Box см. в статье " Варианты использования ".

Фабрика данных Azure

Фабрика данных Azure (ADF) позволяет подготавливать и преобразовывать данные из различных источников, включая базы данных, хранилища данных, озера и потоки в режиме реального времени. Затем данные интегрируются в вашу сеть для дальнейшего использования. ADF — это идеальный выбор, если вам потребуется один или несколько следующих функций или возможностей:

  • Пользовательские рабочие процессы
  • Преобразование данных во время миграции
  • Сложные или повторяемые конвейеры
  • Перенос рабочих нагрузок больших данных, озера данных или корпоративного хранилища данных (EDW) в Microsoft Azure

Перед началом миграции с помощью ADF необходимо выполнить проверку концепции (POC), чтобы убедиться, что служба соответствует вашим требованиям из-за количества сложных аспектов. В статье по миграции ADF рассматриваются несколько поддерживаемых сценариев.

Неуправляемые средства

AzCopy

AzCopy — это программа командной строки, позволяющая копировать данные между учетными записями хранения. Он идеально подходит для быстрой, скриптируемой, одноразовой передачи, особенно для данных объектов или небольших наборов файлов. AzCopy является отличным выбором, если вам нужен точный контроль над передачей или необходимо реализовать автоматизацию с помощью скриптов. Это также полезно для небольших передач данных, которые могут быть завершены в течение относительно короткого периода времени.

Однако как неуправляемое средство не может автоматически синхронизировать изменения или отслеживать состояние передачи. Нет возможности обработки ошибок, поэтому вам нужно вручную просмотреть журналы и повторить любые неудачные операции самостоятельно. AzCopy может не быть идеальным для крупномасштабных миграций с участием миллиардов объектов из-за ограничений производительности, особенно в списке и сканировании.

Замечание

AzCopy не поддерживает копию только метаданных, в которой копируются только метаданные или структура файла без связанного содержимого файла. Например, не поддерживаются разрешения для инициализации или выполнение тестовой миграции. Вместо этого используйте Storage Mover для этих типов сценариев использования.

Дополнительные сведения об AzCopy см. в статье " Начало работы с AzCopy ".

Партнерские решения для специализированных возможностей

Инструменты для партнеров и независимых поставщиков программного обеспечения (ISV)

Если вам нужны расширенные функции, которые собственные средства Azure не охватывают, рассмотрите средства партнера или поставщика программного обеспечения. К этим функциям могут относиться следующие функции:

  • Предупреждение.
  • Обработка каждого файла отдельно.
  • Глубокие оценки.
  • Специализированные исходные файловые системы.
  • Перемещения по политике
  • Разностная синхронизация с минимальным переходом.
  • Поддержка источников и возможностей.

Дополнительные сведения помогут вам выбрать соответствующее средство, ознакомьтесь с рекомендациями и разделом матрицы возможностей .

Инструменты для работы офлайн

Средства автономной передачи данных используются, если требуется перенести большие объемы данных в Azure без использования сетевого подключения. Эти средства полезны для сценариев, когда пропускная способность сети ограничена, дорого или недоступна. Они позволяют физически отправлять данные в Azure, что может значительно ускорить процесс миграции.

Физические устройства, которые можно отправить, идеально подходят для однократной оффлайн передачи массовых данных. Эти варианты использования включают копирование данных на диск или специализированное устройство, а также доставку их в безопасное средство Майкрософт, где передаются данные. Вы можете приобрести и отправить собственные диски или заказать предоставленный корпорацией Майкрософт диск или устройство. Предоставляемые корпорацией Майкрософт решения для автономной передачи включают Azure Data Box Next-Gen и Data Box Disk.

Диск Azure Data Box и Data Box

Базовая служба Azure Data Box позволяет перенести данные в предпочитаемую службу хранилища Azure в автономном режиме. Существует несколько ключевых рекомендаций по миграции с помощью Azure Data Box. Azure Data Box — это логический выбор, если копирование данных по сети ограничено, слишком медленно, слишком затратно или не является вариантом.

Так как Data Box хорошо интегрируется с другими инструментами партнеров и поставщика программного обеспечения, вы можете использовать подход, известный как автономное заполнение. После переноса начального набора данных с помощью Data Box можно использовать онлайн-инструменты для более быстрой синхронизации изменений файлов.

Azure Data Box поддерживает прямой импорт данных между регионами, поэтому источник данных может находиться в совершенно другом регионе, отличном от учетной записи хранения. Например, эта возможность позволяет перенести данные, находящиеся в Великобритании, в новое место назначения в США. Эта возможность помогает управлять большими миграциями, включающими множество географических регионов, избегая затрат на расходы на сеть между регионами.

В следующих примерах рассматриваются распространенные варианты использования, в которых Azure Data Box может быть правильным выбором:

  • При миграции вычислительной инфраструктуры с помощью службы "Миграция Azure"
    Перенос неструктурированных данных с помощью автономного режима позволяет сократить время, затраты и использование пропускной способности сети. Это параллельное выполнение может ускорить общий процесс миграции и снизить нагрузку на сеть.

  • При выполнении начального заполнения данных
    Сначала можно перенести большой набор данных с помощью Azure Data Box, а затем переключиться на средства онлайн-передачи для синхронизации последних изменений или разностных изменений.

  • При экспорте данных из хранилища Azure
    Если у вас есть облачные данные, хранящиеся в Azure, вы можете экспортировать и вернуть его в локальную среду с помощью автономной передачи Data Box.

  • При передаче больших объемов данных
    Data Box может обрабатывать десятки до сотен терабайтов на каждое устройство, а несколько устройств можно использовать параллельно. Это особенно полезно для удаленных сайтов с ограниченным подключением или однократной массовой миграции.

  • Варианты использования миграции:
    • Преобразование SMB/NFS в BLOB-хранилище Azure, Azure Files или Azure Data Lake Storage (ADLS)
    • Преобразование локальных дисков виртуальных машин в управляемые диски
    • Переместите данные непосредственно на один или несколько определенных уровней доступа: горячий, холодный, холодный или архивный.

Дополнительные сведения о функциях Azure Data Box см. в документации Майкрософт.

Импорт и экспорт Azure

Служба импорта и экспорта Azure используется для безопасного импорта больших объемов данных в хранилище BLOB-объектов Azure и файлов Azure путем доставки дисков в центр обработки данных Azure. Эту службу также можно использовать для передачи данных из хранилища BLOB-объектов Azure на диски и отправку на локальные сайты. Вы можете предоставить собственные диски или диски, предоставляемые корпорацией Майкрософт.

Дополнительные сведения о импорте и экспорте Azure см. в статье обзора службы .

Другие инструменты

Графические интерфейсы

Если иногда вы переносите несколько файлов и не требуется автоматизировать передачу данных, вы можете выбрать графическое средство интерфейса, например Обозреватель службы хранилища Azure или средство просмотра веб-сайтов на портале Azure.

Передача с помощью скриптов или программируемая передача

Вы можете использовать оптимизированные программные средства Майкрософт или вызывать REST API Azure либо комплекты средств разработки программного обеспечения (SDK) напрямую. Доступные средства сценариев включают AzCopy, Azure PowerShell и Azure CLI. Для программного интерфейса можно использовать один из многих пакетов SDK и выбрать между .NET, Java, Python, Node/JS, C++, Go, PHP или Ruby.

Матрица рекомендаций и возможностей

Выбор подходящих средств для миграции данных жизненно важен для простой, эффективной и надежной передачи. Специализированные подходы, основанные на таких сценариях, как миграция общих папок или передача служб в службу, помогают оптимизировать процессы при снижении рисков и сбоев. Просмотрите ключевые сценарии и выберите наиболее подходящий и предпочтительный инструмент миграции для вариантов использования.

Хотя существуют возможные альтернативные варианты в каждом конкретном случае, рекомендации в следующих таблицах представлены для наиболее предпочтительных средств в распространенных сценариях. Они также включают более подробные возможности и поддерживаемые функции, позволяя сравнивать, контрастировать и принимать обоснованное решение для следующего этапа процесса миграции данных.

Средства миграции

При планировании миграции данных в Azure важно выбрать подходящее средство в зависимости от ваших потребностей, объема данных и сложности миграции. Всегда убедитесь, что вы читаете и тщательно понимаете соответствующие возможности перед завершением выбора инструмента.

В следующих таблицах представлена матрица поддержки на основе исходной и целевой платформы для ключевых средств миграции. В таблицах используются следующие значки, чтобы указать уровень поддержки:

Icon Description
✅ полностью поддерживается.
🟦 Частично поддерживается
❌ Пока не поддерживается

Средства Майкрософт

Это важно

Каждое средство миграции, предоставляемое корпорацией Майкрософт, предоставляет различные возможности. Ни одно средство не поддерживает каждое сочетание источника и целевого объекта или сетевой протокол.

Только Azure Data Box поддерживает автономную передачу данных в службу хранилища Azure. Все остальные средства — это онлайн-решения.

Tool Предоставленная оценка хранилища Исходный материал Исходный протокол блок BLOB в Azure; ADLS Файлы Azure Файлы Azure NetApp Диски Azure
Azure Storage Mover (Служба переноса данных хранилища Azure) ❌ Ресурсы общего доступа сервера SMB/NFS; NAS-устройства SMB 2.x, 3.x 🟦 1 🟦 2 ❌ ❌
Azure Storage Mover (Служба переноса данных хранилища Azure) ❌ Устройства NAS; Сетевые общие ресурсы NFS 3.x, 4.x 🟦 1 ❌ ❌ ❌
Azure Storage Mover (Служба переноса данных хранилища Azure) ❌ AWS S3 S3 ✅ ❌ ❌ ❌
Azure Data Box ❌ Ресурсы общего доступа сервера SMB/NFS; NAS-устройства - ✅ 🟦 2 🟦 3 🟦 4
Шлюз «Data Box» ❌ Местный; локально подключенный; SMB 2.x, 3.x; NFS v3, v4.1 - ✅ 🟦 2  ❌ ❌
Служба синхронизации файлов Azure ❌ Файловый сервер Windows Малый и средний бизнес (SMB) ❌ 🟦 2 ❌ ❌
Фабрика данных Azure ❌ Локальное озеро данных; HDFS; AWS S3 - ✅ 🟦 5 ❌ ❌
Azure Migrate 🟦 Гипервизоры; Диски виртуальных машин - ❌ ❌ ❌ ✅

1 HNS включено
Только SMB 2
3 Требуется два шага: сначала миграция в файлы Azure с помощью Data Box, а затем переход из файлов Azure в ANF
4 Можно перенести страничные BLOB-объекты на управляемые диски с максимальным поддерживаемым размером 8 ТБ; диски PV2 и Ultra не поддерживаются
Требуется 5 соединителя Multicloud
6 Хранилище Blob и файлов Azure поддерживает только NFS версий 3 и 4.1 соответственно; рассмотрите соответствующие функциональные возможности приложений и пользователей, а также доступность после миграции.

Инструменты для партнёров ISV

Это важно

Каждое средство миграции, предоставляемое партнером поставщика программного обеспечения, предоставляет различные возможности. Ни одно средство не поддерживает каждое сочетание источника и целевого объекта или сетевой протокол.

Только Tape Ark поддерживает автономную передачу данных в хранилище данных Azure. Все остальные средства — это онлайн-решения.

Tool Предоставленная оценка хранилища Исходный материал Исходный протокол Источник SAN Источник NAS блок BLOB в Azure; ADLS Файлы Azure Файлы Azure NetApp Диски Azure E-SAN Управляемый Lustre Управляемый партнером
Komprise 🟦 Устройства NAS; Облачное хранилище файлов; S3 SMB; NFS ❌ ✅ ✅ ✅ ✅ ❌ ❌ ❌ 3p1
Atempo 🟦 Устройства NAS; S3; PFS; Swift SMB; NFS ❌ ✅ 🟦 2 ✅ ✅ ❌ ❌ ✅ 3p1
Динамические данные 🟦 Устройства NAS; S3 SMB; NFS ❌ ✅ ✅ ✅ ✅ ❌ ❌ ❌ 3p1
Данные Cirrus 🟦 САН; AWS; Гипервизоры - ✅ ❌ ❌ ❌ ❌ ✅ ✅ ❌ 3p1
Cirata ❌ Hadoop, POSIX соответствующих FS - ❌ ❌ ✅ ❌ ❌ ❌ ❌ ❌ 3p
Тейп Арк ❌ Ленты, диски и другие автономные носители - ❌ ❌ ✅ ✅ ✅ ❌ ❌ ❌ 3p

1 Часть SMP (симметричная мультипроцессорная обработка).
2 Не поддерживает ADLS.

Другие инструменты командной строки, неуправляемые

Это важно

Неуправляемые средства командной строки, такие как AzCopy, Robocopy, Rsync и DistCP, предоставляют различные возможности. Сканирование нескольких миллионов файлов, отслеживание изменений файлов, вычисление общего размера данных, обнаружение ошибок и обработка, а также выполнение нескольких одновременных заданий копирования может представлять экстремальные проблемы.

Ни один из средств командной строки в следующей таблице не может выполнять автономную передачу данных, а также не предоставляет оценку хранилища. Ни один из средств не поддерживает корпоративный NAS или SAN в качестве источника, а также не поддерживает Azure E-SAN или управляемый Lustre в качестве назначения.

Tool Исходный материал Исходный протокол блок BLOB в Azure; ADLS Файлы Azure Файлы Azure NetApp Диски Azure Управляется
AzCopy Azure; местный; локально подключенный; AWS S3, Glacier; GCP SMB; S3 ✅ ✅ ✅ 🟦 1 Неуправляемые
Robocopy Местный; монтирован локально; SMB Малый и средний бизнес (SMB) ❌ ✅ ✅ 🟦 1 Неуправляемые
Rsync; fpsync Местный; монтировано локально; NFS NFS ✅ ✅ ✅ 🟦 1 Неуправляемые
DistCP Hadoop - ✅ ❌ ❌ ❌ Неуправляемые
  • Last updated on