Методология успеха реализации Synapse: оценка компетенций команды

Статья
06/01/2023

Примечание.

Эта статья входит в серию статей, посвященных успешному внедрению Azure Synapse, предпосылки к которому закладываются изначально. Общие сведения о серии см. в статье "Внедрение Azure Synapse — успешно по умолчанию".

Для разработки решений требуется команда специалистов, обладающих различными навыками. Чтобы успешно реализовать решение, команда должна обладать навыками, необходимыми для выполнения порученных ей задач. Данная оценка позволяет объективно и критически проанализировать уровень навыков ваших ресурсов и включает список ролей, без которых реализация решений Azure Synapse обычно не обходится. Чтобы выполнить задачи, назначенные в рамках проекта, за предусмотренный для этого период времени, ваша команда должна обладать соответствующим опытом и навыками.

Определение уровней обучения Майкрософт

В этой статье для описания уровней обучения используются стандартные определения уровней, принятые в Майкрософт.

Level	Description
100	Небольшие или нулевые знания и навыки по соответствующей теме. Сюда входят основные понятия, функции, компоненты и полезные свойства.
200	Уровень 100 плюс знание определенных деталей по теме.
300	Углубленный материал. Знания на уровне 200, глубокое понимание возможностей в реальной среде и развитые навыки программирования. Включает подробный технический обзор набора функций продукта или технологии, в т. ч. архитектуры, производительности, миграции, развертывания и разработки.
400	Экспертный уровень. Предполагает глубокий уровень технических знаний и навыков, а также полное понимание соответствующей темы. Обеспечивает взаимодействие между экспертами и освещение специализированных тем.

Роли, ресурсы и готовность

Успешная реализация решения Azure Synapse задействует множество различных ролей и наборов навыков. В этом разделе описываются роли, обычно необходимые для реализации успешного проекта. Не все эти роли потребуются в любом проекте или в течение всего периода его реализации, но все они нужны для выполнения некоторых критически важных задач проекта. Чтобы убедиться в том, что сотрудник способен справиться с порученной работой, необходимо оценить его уровень навыков.

Изучите свой план проекта и проверьте, определен ли в нем список сотрудников и ролей. Кроме того, проверьте, указаны ли в проекте другие ресурсы и роли. Часто одни и те же сотрудники выполняют сразу несколько ролей. Например, администратор Azure может параллельно быть администратором сети Azure. Бывает также, что какую-то роль в организации делят несколько человек. Например, администратор Synapse не участвует в обеспечении безопасности Synapse SQL. В этом случае скорректируйте оценку соответствующим образом.

Проанализируйте следующие моменты:

какие роли потребуются для реализации решения;
кто из участников вашего проекта будет выполнять каждую из ролей;
какие именно задачи будет выполнять каждый участник.
Назначьте уровень обучения для задач и ролей каждого сотрудника.

Как правило, для успешной реализации требуется, чтобы каждый участник обладал знаниями и навыками по задачам, которые он будет выполнять, на уровне не ниже 300. Сотрудникам с уровнем 200 (или ниже) настоятельно рекомендуется предоставить разъяснения и инструкции, чтобы повысить их уровень компетенции прежде, чем они начнут выполнять задачи по проекту. С этой целью необходимо привлечь человека уровня 300 (или выше) для менторства и контроля. При этом стоит скорректировать сроки проекта и ожидаемый объем работ с учетом освоения новых навыков.

Примечание.

Рекомендуем согласовывать роли со встроенными ролями. Существуют две группы встроенных ролей: роли RBAC для Azure Synapse и роли RBAC, встроенные в Azure. Две группы встроенных ролей и разрешений не зависят друг от друга.

Администратор Azure

Администратор Azure управляет административными вопросами работы Azure. Он отвечает за подписки, идентификацию регионов, группы ресурсов, мониторинг и доступ к порталу. Кроме того, он занимается подготовкой ресурсов, включая группы ресурсов, учетные записи хранения, Фабрику данных Azure (ADF), Microsoft Purview и многое другое.

Администратор безопасности

Администратор безопасности должен разбираться в актуальной структуре и требованиях безопасности. Эта роль предполагает взаимодействие с администратором Synapse, администратором базы данных Synapse, администратором Synapse Spark и другими ролями для настройки требований безопасности. Администратор безопасности также может быть администратором Microsoft Entra.

Администратор сети

Администратор сети должен разбираться в актуальной структуре и требованиях сети. Эта роль требует навыков работы с сетями Azure и Synapse.

Администратор Synapse

Администратор Synapse отвечает за администрирование всей среды Azure Synapse в целом. В сферу ответственности для этой роли входят доступность и масштабирование ресурсов рабочих областей, администрирование озера данных, аналитические среды выполнения, а также администрирование и мониторинг рабочих областей. Эта роль требует тесного взаимодействия со всеми остальными ролями — только так можно обеспечить доступ к Azure Synapse, доступность аналитических служб и достаточный масштаб. В число прочих обязанностей входят:

подготовка рабочих областей Synapse;
настройка требований к сети и безопасности Azure Synapse;
мониторинг действий в рабочих областей Synapse.

Администратор базы данных Synapse

Администратор базы данных Synapse отвечает за проектирование, реализацию, обслуживание и функциональные аспекты пулов SQL (бессерверных и выделенных). Сфера ответственности для этой роли включает общую доступность, адекватную работу и оптимизацию пулов SQL. Кроме того, сюда входят управление безопасностью данных в базах данных, предоставление разрешений для доступа к данным, а также предоставление или запрет доступа пользователям. В число прочих обязанностей входят:

выполнение таких функций администрирования выделенных пулов SQL, как подготовка, масштабирование, приостановка, возобновление, восстановление, управление рабочей нагрузкой, мониторинг и т. д.;
выполнение таких функций администрирования выделенных пулов SQL, как защита, мониторинг и т. д.;
настройка безопасности базы данных пула SQL;
настройка производительности и устранение неполадок.

Администратор Synapse Spark

Администратор Synapse Spark отвечает за проектирование, реализацию, обслуживание и функциональные аспекты пулов Spark. Сфера ответственности для этой роли включает общую доступность, адекватную работу и оптимизацию пулов Spark. Кроме того, сюда входят управление безопасностью данных, предоставление разрешений для доступа к данным, а также предоставление или запрет доступа пользователям. В число прочих обязанностей входят:

выполнение таких функций администрирования выделенных пулов Spark, как подготовка, мониторинг и т. д.;
настройка безопасности данных в пулах Spark;
обеспечение работоспособности Notebook и устранение неполадок;
обеспечение работоспособности конвейера Spark и устранение неполадок.

Разработчик баз данных для пулов Synapse SQL

Разработчик баз данных для пулов Synapse отвечает за проектирование и разработку баз данных. Для выделенных пулов SQL обязанности включают структурирование и индексирование таблиц, разработку объектов баз данных и проектирование схем. Для бессерверных пулов SQL обязанности включают проектирование внешних таблиц, представлений и схем. В число прочих обязанностей входят:

проектирование логических и физических баз данных;
проектирование таблиц, включая распределение, индексирование и секционирование;
проектирование и разработку объектов программирования, включая хранимые процедуры и функции;
проектирование и разработку других оптимизаций производительности, включая материализованные представления, управление рабочими нагрузками и многое другое;
проектирование и реализацию защиты данных, включая шифрование данных;
проектирование и реализацию управления доступом, включая безопасность на уровне объектов, безопасность на уровне строк, безопасность на уровне столбцов, динамическое маскирование данных и управление доступом на основе ролей Synapse;
мониторинг, аудит, настройку производительности и устранение неполадок.

Разработчик Spark

Разработчик Spark отвечает за создание записных книжек и выполнение обработки Spark с использованием пулов Spark.

Администратор интеграции данных

Администратор интеграции данных отвечает за настройку и защиту интеграции данных с использованием конвейеров Synapse, ADF или сторонних средств интеграции, а также за выполнение всех функций конфигурации и безопасности для поддержки средств интеграции данных.

В отношении ADF и конвейеров Synapse в число прочих обязанностей входят настройка среды выполнения интеграции (IR), локальную среду выполнения интеграции (SHIR) и (или) среды выполнения интеграции SSIS (SSIS-IR). Может потребоваться умение выполнять подготовку виртуальных машин в локальной среде или в Azure.

Разработчик интеграции данных

Разработчик интеграции данных отвечает за разработку ETL/ELT и других процессов интеграции данных с использованием выбранных для решения средств интеграции данных.

Администратор средств потребления данных

Администратор средств потребления данных отвечает за средства потребления данных. В число таких средств могут входить Microsoft Power BI, Microsoft Excel, Tableau и другие. Администратору каждого средства нужно будет настраивать разрешения для предоставления доступа к данным в Azure Synapse.

Инженер данных

В сферу ответственности инженера данных входят реализация артефактов, связанных с данными, включая конвейеры приема данных, очистка и преобразования, а также хранилища данных для аналитических рабочих нагрузок. Эта роль предполагает применение различных технологий платформы данных, включая реляционные и нереляционные базы данных, хранилища файлов и потоки данных.

Инженеры данных отвечают за обеспечение конфиденциальности данных в облаке и их перенос из локальной среды в облачные хранилища данных. Они также владеют процессами управления и мониторинга хранилищ данных и конвейеров данных, чтобы обеспечить надлежащую загрузку данных.

Специалист по обработке и анализу данных

Специалист по обработке и анализу данных извлекает из данных полезные сведения. Специалисты по обработке и анализу данных находят инновационные способы работы с данными и помогают командам быстро окупать вложения в работу с аналитикой. Они применяют курирование данных и расширенный поиск, сопоставление и алгоритмы рекомендаций. Для получения действительно полезных аналитических сведений специалистам по обработке и анализу данных требуются максимально качественные данные и значительные объемы вычислительных ресурсов.

Аналитик данных

Аналитики данных помогают компаниям извлекать максимум пользу из доступных ресурсов данных. Они преобразуют необработанные данные в полезную информацию согласно установленным требованиям. Аналитики данных отвечают за проектирование и создание масштабируемых моделей данных, очистку и преобразование данных, а также презентацию расширенной аналитики в отчетах и визуализациях.

Инженер Azure DevOps

Инженер Azure DevOps отвечает за разработку и реализацию стратегий совместной работы, код, инфраструктуру, систему управления версиями, безопасность, соответствие, непрерывную интеграцию, тестирование, доставку и мониторинг проекта Azure Synapse.

Учебные ресурсы и сертификации

Если вы хотите узнать о сертификациях Майкрософт, которые могут пригодиться для оценки готовности вашей команды, просмотрите доступные сертификации для Azure Synapse Analytics.

Чтобы пройти самостоятельное онлайн-обучение, просмотрите доступные схемы обучения и модули для Azure Synapse Analytics.

Следующие шаги

В следующей статье серии "Внедрение Azure Synapse — успешно по умолчанию" вы узнаете, как выполнить проверку готовности к работе для оценки готовности вашего решения к обеспечению оптимальной работы для пользователей.

Поделиться через