аналитику в масштабах облака;
Благодаря более крупным и изощренным формам внедрения облачных технологий переход к облаку становится все более сложным. Аналитика в масштабе облака Azure — это масштабируемая, воспроизводимая платформа, которая соответствует уникальным потребностям вашей организации для создания современных платформ данных.
Аналитика в масштабе облака охватывает как технические, так и нетехнических аспекты аналитики и управления в облаке. В этом руководстве мы стремимся поддерживать внедрение гибридных и многооблачных сред, не зависящих от облака, но включенные примеры технической реализации посвящены продуктам Azure.
Облачная аналитика имеет следующие цели:
- Служить данными как продукт, а не побочный продукт
- Предоставление экосистемы продуктов данных, а не единственного хранилища данных, которое может не соответствовать вашему сценарию данных
- Использование подхода по умолчанию для обеспечения управления данными и обеспечения безопасности
- Повысьте командам последовательно определять приоритеты бизнес-результатов, а не сосредоточиться только на базовых технологиях.
Аналитика в масштабе облака основана на платформе внедрения облачных технологий Майкрософт и требует понимания целевых зон. Если у вас еще нет реализации целевых зон Azure, проконсультируйтесь с облачными командами о том, как выполнить предварительные требования. Дополнительные сведения см. в разделе Подготовка среды к реализации плана по внедрению в облако.
Эталонные архитектуры позволяют начать с небольшого объема ресурсов и со временем увеличиваться, адаптируя сценарий к вашим вариантам использования.
Аналитика в масштабе облака включает повторяемые шаблоны, которые ускоряют развертывание пяти основных инфраструктур и ресурсов. Она также адаптируется для различных размеров организации. Если вы являетесь небольшим предприятием с ограниченными ресурсами, централизованная модель операций, смешиваемая с некоторыми экспертами по бизнес-теме, может соответствовать вашей ситуации. Если вы являетесь более крупным предприятием с автономными бизнес-подразделениями (каждый из которых имеет собственные инженеры данных и аналитики), то распределенная операционная модель, такая как сетка данных или структура данных, может лучше удовлетворить ваши потребности.
Задачи
Аналитика в масштабе облака предоставляет платформу, построенную на следующих принципах. Эти принципы устраняют проблемы со сложными архитектурами данных, которые не масштабируется в соответствии с потребностями организаций.
| Принцип | Description |
|---|---|
| Разрешить |
|
| Follow |
|
| Поддержка |
|
| Внедрение |
|
| Фиксация |
|
| Включить |
|
Рекомендации по реализации
Руководство по реализации можно разбить на два раздела:
- Глобальное руководство, применимое ко всем рабочим нагрузкам.
- Рекомендации по масштабированию облака
Глобальное руководство
| Документация | Описание |
|---|---|
| Cloud Adoption Framework | Управление данными и управление ими — это процесс жизненного цикла, который начинается с разработки существующей облачной стратегии и обеспечивает выполнение текущих операций. Этот Cloud Adoption Framework помогает управлять полным жизненным циклом хранилища данных. |
| Хорошо спроектированная платформа Azure | Архитектура рабочей нагрузки и операции оказывают непосредственное влияние на данные. Узнайте, как архитектура может улучшить управление данными рабочей нагрузки и управление ими. |
Рекомендации по масштабированию облака
| Section | Описание |
|---|---|
| Создание начальной стратегии | Как создать стратегию работы с данными и стать организацией, управляемой данными. |
| Определение плана | Как разработать план для аналитики в масштабе облака. |
| Подготовка ресурсов аналитики | Общие сведения об управлении данными и целевых зонах данных с ключевыми вопросами проектирования, такими как регистрация предприятия, сеть, управление удостоверениями и доступом, политики, непрерывность бизнес-процессов и аварийное восстановление. |
| Управление аналитикой | Требования к управлению данными, каталогом данных, происхождением данных master управлением данными, качеством данных, соглашениями об общем доступе к данным и метаданными. |
| Защита ресурсов аналитики | Как защитить аналитические ресурсы с помощью проверки подлинности и авторизации, конфиденциальности данных и управления доступом к данным. |
| Организация людей и команд | Организация эффективных операций, ролей, команд и командных функций. |
| Управление аналитическим пространством | Как подготовить платформу и наблюдаемость для сценария. |
Архитектуры
В этом разделе рассматриваются сведения о физических реализациях аналитики в масштабе облака. Он сопоставляет физические архитектуры целевых зон управления данными и целевых зон данных.
Аналитика в масштабе облака имеет два основных понятия архитектуры:
- Целевая зона данных
- Целевая зона управления данными
Эти архитектуры стандартизируют рекомендации и минимизуют узкие места развертывания для команд разработчиков и могут ускорить развертывание распространенных решений аналитики в масштабе облака. Вы можете применить их рекомендации для архитектуры lakehouse и сетки данных. В этом руководстве представлены возможности, необходимые для хорошо управляемой платформы аналитики, которая масштабируется в соответствии с вашими потребностями.
На следующей схеме представлен обзор платформы данных, содержащей центральную целевую зону управления данными и несколько целевых зон данных.
Вы можете начать с одной целевой зоны и выполнить масштабирование до нескольких целевых зон и управлять всеми ими из целевой зоны управления данными.
Дополнительные сведения см. в статье Обзор архитектур.
Шаблоны развертывания
Этот раздел содержит множество эталонных шаблонов, которые можно развернуть.
| Хранилище | Содержимое | Обязательно | Модель развертывания |
|---|---|---|---|
| Шаблон управления данными | Центральные службы управления данными и общие службы данных, такие как каталог данных и локальная среда выполнения интеграции | Да | По одному на аналитику в масштабе облака |
| Шаблон целевой зоны данных | Общие службы целевой зоны данных, включая прием, управление и хранение данных | Да | По одному на каждую целевую зону данных |
| Шаблон интеграции данных — пакетная обработка | Дополнительные службы, необходимые для пакетной обработки данных | Нет | По одному или несколько на каждую целевую зону данных |
| Шаблон интеграции данных — потоковая обработка | Дополнительные службы, необходимые для обработки потока данных | Нет | По одному или несколько на каждую целевую зону данных |
| Шаблон продукта данных — аналитика, обработка и анализ данных | Дополнительные службы, необходимые для аналитики данных и искусственного интеллекта | Нет | По одному или несколько на каждую целевую зону данных |
Эти шаблоны содержат шаблоны Azure Resource Manager, файлы параметров шаблонов и определения конвейера CI/CD для развертывания ресурсов.
Шаблоны могут меняться со временем из-за новых служб и требований Azure. Защитите ветвь main каждого репозитория, чтобы она оставалась без ошибок и готова к использованию и развертыванию. Используйте подписку на разработку, чтобы протестировать изменения конфигурации шаблона перед слиянием усовершенствований функций обратно в ветвь main.
Дополнительные сведения см. в разделе Шаблоны развертывания.
Акселераторы решений
Акселераторы решений — это проекты с открытым кодом на GitHub. Эти репозитории содержат ресурсы и сведения, которые упрощают и ускоряют решение проблем с помощью технологий.
Дополнительные сведения см. в разделе Акселераторы решений.
Рекомендации
Следующие расширенные статьи уровня 300+ в оглавлении облачной аналитики помогут центральным ИТ-командам развертывать инструменты и управлять процессами управления данными и управления ими:
- Прием данных для аналитики в масштабе облака
- Data Lake Storage для аналитики в масштабе облака
- Использование Azure Databricks в облачной аналитике
- Использование Azure Synapse Analytics для облачной аналитики
- Контрольный список готовности Azure Purview для аналитики в масштабе облака
- Машинное обучение Azure как продукт данных для облачной аналитики
Популярные продукты Azure
Разверните раздел Рекомендуемые продукты Azure в оглавлении аналитики в масштабе облака , чтобы узнать о продуктах Azure, поддерживающих аналитику в масштабе облака.
Распространенные сценарии клиентов
Следующие распространенные пути взаимодействия с клиентами поддерживают аналитику в масштабе облака.
Подготовьте среду. Используйте статьи Подготовка среды в качестве ресурсов. Создайте процессы и подходы, которые поддерживают весь портфель рабочих нагрузок в пространстве данных.
Улучшите элементы управления в пространстве данных. Сосредоточьтесь на статьях Управление пространством данных и Защита пространства данных , чтобы интегрировать аналитику облачного масштаба в существующие операции.
Влиять на изменения отдельных рабочих нагрузок. По мере улучшения процессов аналитики в масштабе облака центральные команды управления данными будут находить требования, зависящие от знаний архитектуры отдельных рабочих нагрузок. Используйте статьи Об архитектуре , чтобы понять, как можно использовать сценарии внутри для вашего варианта использования.
Оптимизируйте отдельные рабочие нагрузки и группы рабочих нагрузок. Начните с руководства по Azure Well-Architected Framework , чтобы интегрировать стратегии аналитики в масштабе облака в отдельные рабочие нагрузки. В этом руководстве описываются рекомендации и архитектуры, которые центральные ИТ-отделы и команды управления должны использовать для ускорения разработки отдельных рабочих нагрузок.
Используйте рекомендации для адаптации отдельных ресурсов. Разверните раздел Рекомендации в оглавлении аналитики облачного масштаба , чтобы найти статьи о процессах подключения всего пространства данных в одну плоскость управления аналитикой облачного масштаба.
Используйте определенные продукты Azure. Ускоряйте и улучшайте возможности облачной аналитики с помощью продуктов Azure, приведенных в разделе Рекомендуемые продукты Azure в оглавлении облачной аналитики .
Выполнить действие
Дополнительные сведения о планировании реализации облачной аналитики см. в следующих разделах:
Дальнейшие действия
Начните работу с аналитикой в масштабе облака: