Платформа Azure Well-Architected Framework для рабочих нагрузок данных

  • Статья

Методика планирования для этого сценария заключается в рационализации пространства данных, приоритезации технических трудозатрат и определении рабочих нагрузок данных. В отношении многих рабочих нагрузок важно соблюдать набор архитектурных принципов. Эти принципы помогают планировать процессы разработки и оптимизации рабочих нагрузок. В Azure Well-Architected Framework подробно описаны пять архитектурных конструкций. Это руководство содержит краткую информацию о том, как применять эти принципы при управлении рабочими нагрузками данных.

Оптимизация затрат

При разработке архитектуры важно подобрать верный инструмент для каждого конкретного решения. Такой подход поможет оценить затраты в перспективе. Он также помогает проанализировать возможности увеличения и уменьшения масштаба при необходимости. В отношении рабочих нагрузок данных рассмотрите следующие возможности: многократное использование, масштабирование по запросу, устранение дублирования данных, преимущества Помощника по Azure.

оптимизация производительности;

Уровень удовлетворения пользователей напрямую зависит от уровня производительности рабочих нагрузок. Производительность может меняться в зависимости от внешних факторов. Поэтому очень важно регулярно собирать данные телеметрии производительности и оперативно реагировать на изменения. Используйте элементы управления для мониторинга среды и управления ей, создавайте оповещения, панели мониторинга и уведомления для отслеживания производительности конкретных рабочих нагрузок. Основные аспекты:

  • абстракция службы хранилища и вычислительных ресурсов;
  • Динамическое масштабирование
  • Секционирование
  • удаление лишнего пространства хранения;
  • улучшенные драйверы;
  • многоуровневый кэш;

эффективность работы;

Операционное управление рабочими нагрузками данных может подразумевать расширенную автоматизацию, что позволяет быстрее реагировать на события в среде. Выстраивайте инфраструктуру на основе централизованных операций с данными за счет автоматизированных процессов, специфичных для ваших рабочих нагрузок, автоматизированного тестирования и согласованности. Для рабочих нагрузок ИИ рекомендуем использовать общую платформу MLOps в рамках обычного цикла выпуска.

Безопасность

Безопасность и управление данными должны быть встроены в архитектурный процесс на уровнях каждого приложения и рабочей нагрузки. Аналитика в масштабе облака фокусируется на создании основы для обеспечения безопасности. Этот фундамент основан на настройке целевых зон Azure и управлении ими отдельно от рабочих нагрузок. Однако команда по рабочим нагрузкам по-прежнему отвечает за проверку следующих минимальных требований. При необходимости для расширения конфигурации среды могут потребоваться решения для работы с конкретной рабочей нагрузкой.

  • Обеспечьте конфиденциальность и целостность данных, включая управление правами, конфиденциальность данных и установку соответствующих элементов управления.
  • Реализуйте должный уровень сетевой изоляции, сквозного шифрования, аудита и соблюдения политик на уровне платформы.
  • Используйте интеграцию с единым входом, условный доступ с многофакторной проверкой подлинности и идентификаторы управляемых служб.
  • Придерживайтесь разделения задач (например, панель управления отдельно от плоскости данных) с помощью управления доступом на основе ролей (RBAC) и, по возможности, управления доступом на основе атрибутов (ABAC).
  • Процессы, связанные с оценкой уязвимостей, обеспечением защиты от угроз и соответствия нормативным требованиям, должны быть частью рутины команды по рабочим нагрузкам на регулярной или постоянной основе.

Надежность

Сломаться может все, и конвейеры данных — не исключение. По этой причине лучшие архитектуры разрабатываются с учетом таких характеристик, как доступность и устойчивость. Основным моментом в этом вопросе является то, насколько быстро вы можете обнаружить изменение и возобновить работу.

Развертывая среду данных, стоит обратить внимание на следующие аспекты: устойчивые архитектуры, резервирование между регионами, уровень обслуживания, соглашения об уровне обслуживания (SLA) и поддержка критических операций. Аудит, мониторинг и система оповещений — не менее важные компоненты, реализация которых осуществляется посредством платформы мониторинга и уведомлений.

Помимо этих элементов управления, специалистам по рабочим нагрузкам стоит рассмотреть следующие вопросы.

  • Внесение дополнительных изменений в архитектуру для повышения уровня обслуживания в рамках соглашений SLA.
  • Избыточность архитектуры, связанной с конкретной рабочей нагрузкой.
  • Процессы мониторинга и уведомления, помимо тех, что предоставляются командами по операциям в облаке.

Дальнейшие действия

Общие сведения об архитектуре для аналитики в масштабе облака