Передача больших наборов данных со средней или высокой пропускной способностью сети

В этой статье представлен обзор решений для передачи больших наборов данных в среде со средней или высокой пропускной способностью сети. Также здесь описаны рекомендуемые варианты передачи данных и приведена матрица ключевых функций для указанного сценария.

Чтобы узнать больше обо всех доступных параметрах передачи данных, ознакомьтесь со статьей Choose an Azure solution for data transfer (Выбор решения Azure для передачи данных).

Описание сценария

Большими считаются наборы данных, размеры которых измеряются в терабайтах или петабайтах. В диапазон от средней до высокой пропускной способности входят сети со скоростью от 100 Мбит/с до 10 Гбит/с.

Рекомендуемые варианты

Рекомендуемые для этого сценария варианты зависят от пропускной способности сети (средняя или высокая).

Средняя пропускная способность сети (от 100 Мбит/с до 1 Гбит/с)

Для сетей со средней пропускной способностью следует оценить время, необходимое для передачи данных по сети.

Приведенная ниже таблица поможет оценить время и на основе этой оценки выбрать вариант передачи данных — по сети или вне сети. В таблице указано прогнозируемое время передачи данных по сетям с разной пропускной способностью (при условии загрузки на 90 %).

• Если прогнозируемая передача по сети окажется слишком длительной, следует использовать физическое устройство. В таком случае мы рекомендуем устройства для автономного переноса из семейства Azure Data Box или службу "Импорт и экспорт Azure" с использованием собственных дисков.

  • Семейство Azure Data Box для передачи вне сети. Устройства Data Box, предоставляемые корпорацией Майкрософт, удобны для перемещения больших объемов данных в Azure при наличии ограничений по времени, доступности сети или стоимости. Копируйте локальные данные с помощью специальных средств, таких как Robocopy. В зависимости от размера данных, предназначенных для передачи, можно выбрать Диск Data Box, Data Box или Data Box Heavy.
  • Импорт и экспорт Azure. Используйте службу "Импорт и экспорт Azure" для безопасного переноса больших объемов данных на своих дисках в хранилище BLOB-объектов Azure и службу файлов Azure. Кроме того, эту службу можно использовать, чтобы переносить данные из хранилища BLOB-объектов Azure на диски и передавать на локальные сайты.

• Если прогнозы передачи по сети дают приемлемый результат, вы можете использовать любое из средств, описанных ниже в разделе о решениях для высокой пропускной способности сети.

Высокая пропускная способность сети (от 1 до 100 Гбит/с)

При высоком уровне доступной пропускной способности используйте одно из описанных ниже средств.

• AzCopy. Используйте эту программу командной строки, чтобы копировать данные в хранилище BLOB-объектов Azure, хранилище файлов и таблиц и из них с оптимальной производительностью. AzCopy поддерживает параллелизм и возможность возобновить операции копирования в случае сбоя.
• Интерфейсы REST API и пакеты SDK службы хранилища Azure. При создании приложения вы можете использовать интерфейсы REST API службы хранилища Azure, а также пакеты SDK для Azure, которые доступны на нескольких языках.
• Семейство Azure Data Box для передачи данных в сети. Сетевые устройства Azure Stack Edge и Шлюз Data Box поддерживают передачу данных в Azure и из Azure. Использовать физическое устройство Azure Stack Edge удобно, когда есть дополнительная необходимость в непрерывном приеме и предварительной обработке отправляемых данных. Шлюз Data Box — виртуальная версия устройства с теми же возможностями передачи данных. В каждом из этих вариантов передача данных осуществляется устройством.
• Фабрика данных Azure. Фабрика данных позволяет увеличить масштаб операций передачи данных при отсутствии потребности в оркестрации и возможностях мониторинга корпоративного уровня. Используйте Фабрику данных для регулярной передачи файлов между несколькими службами Azure и (или) локальными расположениями в любом сочетании. С помощью Фабрики данных можно создавать и включать в расписание управляемые данными рабочие процессы (конвейеры), которые принимают данные из разнородных хранилищ и автоматизируют перемещение и преобразование данных.

Сравнение ключевых возможностей

В приведенных ниже таблицах описаны различия между основными возможностями для рекомендуемых вариантов.

Средняя пропускная способность сети

Приведенная ниже таблица поможет вам понять различия между основными возможностями для передачи данных вне сети.

	Диск Data Box	Data Box	Data Box Heavy	Импорт и экспорт
Размер данных	До 35 ТБ	До 80 ТБ на устройство	До 800 ТБ на устройство	Переменная
Data type	Большие двоичные объекты Azure Файлы Azure*	Большие двоичные объекты Azure Файлы Azure	Большие двоичные объекты Azure Файлы Azure	Большие двоичные объекты Azure Файлы Azure
Форм-фактор	Не более 5 SSD в одном заказе	1 x 23 кг одно устройство в заказе размером с настольный компьютер	1 X ~227 кг большое устройство в заказе	До 10 жестких дисков или твердотельных накопителей в одном заказе
Время начальной настройки	Низкий (15 мин)	От низкой до умеренной сложности (<30 мин)	Средняя (1–2 ч)	От умеренной до высокой сложности (переменная)
Отправка данных в Azure	Да	Да	Да	Да
Экспорт данных из Azure	Нет	Нет	Нет	Да
Шифрование	AES, 128-битное	AES, 256-битное	AES, 256-битное	AES, 128-битное
Оборудование	Предоставляется корпорацией Майкрософт	Предоставляется корпорацией Майкрософт	Предоставляется корпорацией Майкрософт	Предоставляется пользователем
Сетевой интерфейс	USB 3.1 или SATA	RJ 45, SFP+	RJ45, QSFP+	SATA II или SATA III
Интеграция партнеров	Некотор.	Высокая	Высокая	Некотор.
Отправка	Организуется корпорацией Майкрософт	Организуется корпорацией Майкрософт	Организуется корпорацией Майкрософт	Организуется пользователем
Используется при перемещении данных	В пределах коммерческого региона	В пределах коммерческого региона	В пределах коммерческого региона	Между любыми географическими регионами, например из США в ЕС
Цены	Цены	Цены	Цены	Цены

* Диск Data Box не поддерживает большие общие папки и не сохраняет метаданные файла

Если вы выбрали передачу данных в сети, воспользуйтесь сведениями в таблице в следующем разделе для сети с высокой пропускной способностью.

Большая пропускная способность сети

	Средства AzCopy, Azure PowerShell, Azure CLI	Интерфейсы REST API и пакеты SDK для службы хранилища Azure	Шлюз Data Box или Azure Stack Edge	Фабрика данных Azure
Data type	Большие двоичные объекты Azure, Файлы Azure, Таблицы Azure	Большие двоичные объекты Azure, Файлы Azure, Таблицы Azure	Большие двоичные объекты Azure, Файлы Azure	Поддерживает более 70 соединителей данных для разных хранилищ и форматов
Форм-фактор	Программы командной строки	Программный интерфейс	Корпорация Майкрософт предоставляет виртуальное или физическое устройство	Служба на портале Azure
Начальная однократная настройка	Низкий уровень сложности	Средняя	От низкого (< 30 мин) до среднего (1–2 часа) уровня сложности	Значительный уровень сложности
Предварительная обработка данных	Нет	Нет	Да (с пограничными вычислениями)	Да
Перенос из других облаков	Нет	Нет	Нет	Да
Тип пользователя	ИТ-специалист или разработчик	Разработка	ИТ-специалистам	ИТ-специалистам
Цены	Бесплатно, с обычной оплатой исходящего трафика	Бесплатно, с обычной оплатой исходящего трафика	Цены на Azure Stack Edge Цены на Шлюз Data Box	Цены

Дальнейшие действия

• Сведения о передаче данных с помощью службы "Импорт и экспорт".

• Практические руководства по:

  • передаче данных с помощью Диска Data Box;
  • передаче данных с помощью Data Box.
  • Сведения о передаче данных с помощью AzCopy.
  • Руководство по передаче данных с помощью Шлюза Data Box (предварительная версия).
  • Преобразование данных с помощью Azure Stack Edge перед отправкой в Azure

• Сведения о передаче данных с помощью службы "Фабрика данных Azure".

• Использование интерфейсов REST API для передачи данных:

  • в .NET;
  • В Java