Роли данных
Процесс извлечения информации из данных обычно начинается не с вас. Данные должны браться откуда-либо. Доставка этих данных вам требует некоторых усилий и, скорее всего, не является вашей обязанностью, особенно в случае с крупным предприятием.
Современные приложения и проекты могут быть большими и сложными, и в них часто задействуются навыки и знания большого числа лиц. Каждый участник привносит свои уникальные умения и опыт, и все они работают вместе, координируя задачи и обязанности, чтобы довести исполнение проекта от замысла до воплощения.
В недавнем прошлом такие роли, как бизнес-аналитик или разработчик бизнес-аналитики, были стандартными, когда речь шла об обработке и понимании данных. Однако существенное увеличение объемов данных и разнообразия их типов привело к тому, что эти роли развились в более узкие наборы навыков, что позволило модернизировать и оптимизировать процессы инжиниринга и анализа данных.
В следующих разделах перечислены различные роли данных и соответствующие обязанности в рамках общего спектра задач по обнаружению и пониманию данных.
Бизнес-аналитик
Аналитик данных
Инженер данных
Специалист по обработке и анализу данных
Администратор базы данных
Бизнес-аналитик
Хотя роли аналитика данных и бизнес-аналитика в чем-то схожи, основное различие между ними заключается в том, что они делают с данными. Бизнес-аналитик ближе к бизнесу. Он является специалистом по интерпретации визуализированных данных. Часто обязанности аналитика данных и бизнес-аналитика лежат на одном человеке.
Аналитик данных
Аналитик данных позволяет компаниям повысить ценность своих ресурсов данных с помощью средств визуализации и создания отчетов, таких как Microsoft Power BI. Аналитики данных отвечают за профилирование, очистку и преобразование данных. В их обязанности также входит проектирование и создание масштабируемых и эффективных семантических моделей, а также включение и реализация возможностей расширенной аналитики в отчетах для анализа. Они работают с соответствующими заинтересованными лицами над определением необходимых требований к данным и отчетам, а затем отвечают за преобразование необработанных данных в важные и полезные сведения.
Аналитик данных также отвечает за управление ресурсами Power BI, включая отчеты, панели мониторинга, рабочие области и базовые семантические модели, используемые в отчетах. Он занимается реализацией и настройкой надлежащих процедур обеспечения безопасности с учетом требований заинтересованных лиц, чтобы гарантировать безопасность всех ресурсов Power BI и данных.
Аналитики данных работают с инженерами данных над определением и поиском соответствующих источников данных, отвечающих требованиям заинтересованных лиц. Кроме того, вместе с инженерами данных и администраторами баз данных они обеспечивают надлежащий доступ к необходимым источникам данных. Аналитик данных также работает с инженером данных над выработкой новых или улучшением существующих процессов сбора данных для анализа.
Инженер данных
Специалисты по инжинирингу подготавливают и настраивают локальные и облачные технологии платформы данных. Они управляют потоком структурированных и неструктурированных данных из нескольких источников и обеспечивают его безопасность. Используемые ими платформы данных могут включать реляционные базы данных, нереляционные базы данных, потоки данных и хранилища файлов. Инженеры данных также обеспечивают безопасную и беспроблемную интеграцию служб данных на платформах данных.
В число их основных обязанностей входят прием, передача и преобразование данных из нескольких источников с помощью локальных и облачных служб и средств. Инженеры данных работают совместно с заинтересованными лицами для определения и выполнения требований к данным. Они проектируют и внедряют решения.
Хотя задачи и обязанности инженера данных и администратора базы данных могут в чем-то соприкасаться, область ответственности инженера данных выходит далеко за пределы обслуживания базы данных и сервера, на котором она размещена. Кроме того, в нее, как правило, не входит общее управление операционными данными.
Специалист по инжинирингу данных существенно повышает ценность проектов бизнес-аналитики и обработки и анализа данных. Когда инженер данных выполняет первичную обработку данных, выполнение проектов ускоряется, так как специалисты по анализу и обработке данных могут сосредоточиться на других участках работы.
Как аналитик данных, вы будете тесно сотрудничать с инженером данных, чтобы обеспечить доступ к различным структурированным и неструктурированным источникам данных, так как они помогут вам оптимизировать семантические модели, которые обычно обслуживаются из современного хранилища данных или озера данных.
Как администратор базы данных, так и специалист по бизнес-аналитике может стать специалистом по инжинирингу данных, изучив средства и технологии, используемые для обработки больших объемов данных.
Специалист по обработке и анализу данных
Специалисты по анализу и обработке данных отвечают за углубленную аналитику, помогающую повысить ценность данных. Их задачи могут варьироваться от описательной до прогнозной аналитики. Описательная аналитика позволяет оценивать данные в рамках процесса разведочного анализа данных (EDA). Прогнозная аналитика применяется в машинном обучении для обнаружения аномалий или закономерностей путем моделирования. Она является важной частью прогнозных моделей.
Описательная и прогнозная аналитика — это далеко не все аспекты работы специалиста по анализу и обработке данных. Она может простираться в область глубокого обучения и предполагать итеративное проведение экспериментов для решения сложных проблем с помощью настраиваемых алгоритмов.
Множество отдельных примеров свидетельствуют, что основная часть работы в рамках проекта обработки и анализа данных приходится на первичную обработку данных и конструирование признаков. Специалисты по анализу и обработке данных ускоряют проведение экспериментов, в то время как специалисты по инжинирингу данных применяют свои навыки для успешной первичной обработки данных.
При поверхностном взгляде может показаться, что работа специалиста по анализу и обработке данных и аналитика данных совершенно разная, но это впечатление обманчиво. Специалист по анализу и обработке данных изучает данные, чтобы определить вопросы, требующие ответа, и часто выдвигает гипотезу или эксперимент, после чего обращается к аналитику данных за помощью в визуализации данных и создании отчетов.
Администратор базы данных
Администратор базы данных реализует и контролирует рабочие аспекты облачных и гибридных решений платформы данных на основе служб данных Microsoft Azure и Microsoft SQL Server. Он отвечает за общую доступность и стабильную производительность, а также оптимизацию решений для баз данных. Он работает с заинтересованными лицами над определением и внедрением политик, средств и процессов для резервного копирования и планов восстановления.
Роль администратора базы данных отличается от роли инженера данных. Администратор базы данных отслеживает и контролирует общую работоспособность базы данных и оборудования, на котором она размещается, в то время как инженер данных участвует в процессе первичной обработки данных, то есть принятии, преобразовании, проверке и очистке данных в соответствии с потребностями бизнеса.
Администратор базы данных также отвечает за управление общей безопасностью данных, предоставление и ограничение доступа пользователей к данным в соответствии с потребностями бизнеса.