Организация участников команды по операциям с данными
Архитектура аналитики в масштабе облака была разработана на основе набора основных принципов.
Основные принципы
Самостоятельное включение: предоставьте проектным группам возможность работать самостоятельно, используя гибкие методы разработки.
Управление: вводите ограничения на платформе Azure, чтобы проектные группы могли просматривать, изменять и выполнять функции в пределах своих разрешений.
Упрощенные развертывания: внедряйте в организации общие политики, чтобы команды могли быстро масштабировать и поддерживать группы с меньшим опытом в некоторых основных разработках и артефактах.
Роли и команды
В рамках аналитики в масштабе облака мы рекомендуем перейти от горизонтально изолированных команд к гибким вертикальным командам между доменами. Команда по операциям с данными фокусируется на управлении простыми средствами управления, в то время как команды по обработке данных сосредоточены на создании данных как продукта. Это может означать изменение организационного шаблона, который больше соответствует разработке приложений. Например, у каждого приложения есть владелец продукта, который определяет требования и работает с междоменной командой для доставки продукта. В этом случае продукт является данными для потребления.
Дополнительные сведения см. в статье Общие сведения о ролях и командах для облачной аналитики в Azure.
Развертывание и эксплуатация
Модель процесса развертывания и операций с данными (DataOps) — незаменимый компонент, поддерживающий ряд основных принципов. Выполнение следующих рекомендаций позволит организациям соблюсти эти принципы:
- используйте инфраструктуру как код;
- развертывайте шаблоны, соответствующие основным вариантам использования в компании;
- выполняйте процесс развертывания, который включает стратегию для разветвлений и ветвей GitHub;
- обслуживайте центральный репозиторий и развертывайте целевые зоны управления данными.
Участники с идентифицируемыми и индивидуальными навыками должны сформировать платформенную группу для централизованного управления инфраструктурой платформы данных, а также создать и развернуть общие компоненты инфраструктуры данных для целевой зоны управления данными т различные зоны размещения данных. Группа платформы также может создавать, владеть и предоставлять независимые технологии, которые помогают командам приложений данных собирать, обрабатывать, хранить и обслуживать свои приложения данных.
Услуги группы должны оказываться в форме самообслуживания и включать средства для хранения больших данных, управления версиями данных продуктов, организации и реализации конвейера данных, отмены идентификации данных и т. д. Такие инструменты необходимы для минимизации узких мест в рабочем процессе и сокращения времени запуска новых продуктов данных.
Для достижения своих целей платформенная группа должна соблюдать рекомендации, изложенные в этом разделе. Другие группы, работающие над продуктами данных, для тестирования и автоматизации данных должны использовать рекомендации в следующих статьях.
Дополнительные сведения см. в статье Автоматизация DevOps для аналитики в масштабе облака в Azure.