Рекомендации по разработке каталога данных

Статья
11/09/2024

В этой статье мы рассмотрим стратегии управления данными, которые можно реализовать для поддержания работоспособных, ценных и доступных для обнаружения данных. Список технических шагов по настройке каталога данных см. в нашем руководстве по началу работы с каталогом данных.

Знакомство с данными с бизнес-концепциями
Разблокировка бизнес-ценностей
Повышение зрелости данных

Знакомство с данными с бизнес-концепциями

Бизнес-понятия, такие как домены управления, продукты данных и термины глоссария, объединяют ваши данные с повседневными бизнес-методиками. Это не только упрощает пользователям данных понимание данных, которые они используют, но и позволяет демократизировать управление данными этих ресурсов. Используйте существующих экспертов и лидеров по данным, чтобы создать каталог данных в виде полнофункционированного ресурса.

Создание доменов управления

Домены управления используются как для распределения задач владения и обслуживания, так и для упрощения поиска пользователями необходимых данных. Распространение информации по доменам управления позволяет пользователям получить нужный уровень информации, без необходимости просматривать все пространство данных.

При создании доменов управления или проверке структуры домена системы управления следует учитывать следующие моменты:

Модель структуры предметной области управления
Планирование разработки

Модели структуры предметной области управления

Центральный домен (хорошо) — использование одного домена может быть эффективным для небольших организаций, но не может хорошо масштабироваться и подвержен узким местам во время роста.
Домены на основе отделов (хорошо) — отделы не принимаются решения последовательно, и если отделы регулярно меняются, может потребоваться изменить структуру каталога данных.
Функциональные домены или области управления (лучше) — обеспечивает гибкость для команд и соответствует существующей бизнес-модели. Это может быть трудно управлять в большом масштабе, и может потребоваться много поддомов, чтобы расширить возможности лиц, принимающих решения по данным. Он также может создавать разрозненность использования данных, что является противоположностью подхода к управлению каталогом данных.
Сочетание доменов (лучше всего) — сочетание доменов между предметными областями и доменами данных, функциональными доменами, нормативными доменами и доменами проектов позволяет согласовать ваши данные с экспертами. В каталоге данных ваши эксперты по данным являются самым мощным ресурсом; они знают, какие политики необходимо применять и что нужно знать другим пользователям, чтобы максимально эффективно использовать данные. Эта структура также будет наиболее устойчивой для обновлений организации, так как она основана на том, как данные используются в повседневной работе, а не в бизнес-структурах.

Планирование разработки предметных областей управления

Когда вы начинаете создавать домены управления, начните с нескольких доменов, согласованных с командами, которые уже имеют надежное управление данными:
1. Назначьте администраторов данных и владельцев продуктов данных доменам управления и пусть они приступить к разработке глоссария и продуктов данных, которые соответствуют их текущим методикам.
2. При необходимости параллельно сканируйте данные на карте данных, чтобы дополнить продукты данных.
3. Оставьте домен управления в черновике , пока не будет разработано несколько продуктов данных, которые будут готовы для пользователей.
Опубликуйте домен управления и назначьте разрешения на чтение каталога данных своим первым пользователям, чтобы они начали изучать.
С отзывами от первой партии пользователей выполните итерацию по существующим продуктам данных или расширьте свои следующие продукты данных или домены управления.
Начиная с нескольких доменов управления, которые в основном полностью охвачены продуктами данных, потребители данных гарантируют, что в каталоге данных есть то, что им нужно, и что они могут продолжать возвращаться.

Совет

Не рекомендуется согласовывать домены управления с доменами платформы. Ит-отдел обычно соответствует технологической структуре или службе или приложению и не соответствует способу использования данных бизнес-командами. Домены платформы на карте данных, скорее всего, соответствуют этим технологическим командам, а не вашим бизнес-командам. Целью доменов управления является согласование бизнес-пользователей с наиболее полезной для них информацией. Сосредоточьтесь на использовании данных, а не на структуре данных, чтобы разработать домены управления.

Создание продуктов данных

Большая часть данных, хранящихся в настоящее время, не имеет практически никакой известной ценности и может потребовать времени и усилий вручную, чтобы оценить и понять, прежде чем их можно будет удалить или улучшить. Сосредоточение внимания на данных с известной ценностью и использованием позволит большему набору команд создать согласованную ценность и показать преимущества хорошо изученных и высокоиспользуемых данных. Это способствует дальнейшему внедрению методов управления данными и упрощает работу по очистке активов данных по мере того, как ценность каждого ресурса данных становится яснее.

Сосредоточьтесь на ресурсах данных, которые уже существуют в вашей организации. Добавление их в качестве продуктов данных в каталог данных облегчит пользователям их обнаружение. Это также сделает доступ более масштабируемым и повысит надежность благодаря происхождению данных, качеству данных и подотчетности. Ниже приведены некоторые примеры существующих ресурсов данных.

Озера данных золотой зоны, высоко курируемые хранилища SQL, проверенные хранилища данных и хранилища озера данных, которые команды используют для поддержки своих повседневных методик.
Отчеты, используемые для принятия решений.
Таблицы данных, используемые в средах создания отчетов.
Основные и эталонные данные.

Планирование разработки продукта данных

Планирование продуктов данных должно быть частью процесса потребления при добавлении источников данных в Схема данных Microsoft Purview. Владельцы продуктов данных должны знать, какие хранилища данных регистрируются и проверяются, а какие ресурсы данных готовы к добавлению в каталог данных.
Создавайте первые продукты данных из основных ресурсов данных, которые были проверены на карте данных.
Опубликуйте первые продукты данных, когда пользователи будут готовы использовать данные с этим доменом.

Определение терминов глоссария

Создавая термины, начните с того, что вы уже знаете, и продолжайте создавать ценность из данных, чтобы показать, где усилия наиболее важны. Ниже приведены некоторые советы, которые можно следовать при создании терминов глоссария и управлении ими, чтобы получить максимальное значение.

Предоставление данных наиболее страстным пользователям демонстрирует способность продолжать расти ценность и обеспечивает определение приоритетов для более эффективного управления.
Многие бизнес-команды уже имеют глоссарий, помогающий новым сотрудникам ориентироваться на бизнес. Используйте их в качестве кандидатов на первый срок для описания домена управления и его данных.
Если вы не уверены, представляет ли термин другую концепцию (например, сущность или бизнес-процесс), добавление термина является хорошим местом для начала, поэтому собираются самые основные метаданные. При необходимости срок действия может быть истек, и для сбора дополнительных метаданных и обеспечения комплексного взаимодействия можно использовать новую концепцию.
После добавления терминов глоссария связывание этих терминов с продуктами данных улучшит возможность обнаружения продуктов данных и повысит уровень знаний потребителей о данных.
Периодически проверяйте продукты данных, сопоставленные с термином, чтобы позволить пользователям, которые могут лучше понять их использование в пространстве данных.
Определения терминов всегда можно улучшить и изменить. Ожидание публикации термина до его полного согласования будет задерживать использование термина командами и предотвращать создание новых значений или эскалацию потенциальных улучшений.

Планирование разработки терминов

Администраторы данных должны изучить структуру домена управления, а затем приступить к добавлению известных терминов и начать разработку новых.
Определения терминов должны быть разработаны и содержать ценную информацию для потребителей, чтобы понять их контекст и использование.
Первый набор терминов и продуктов данных должен быть опубликован вместе, чтобы потребители начали использовать свои данные и обнаруживать данные в каталоге.
Создание семантических знаний никогда не останавливается, поэтому создайте план того, как вы можете позволить вашей команде продолжать вносить свой вклад в течение всего жизненного цикла управления.

Разблокировка бизнес-ценностей

Теперь, когда базовые структуры каталогов данных уже существуют, пора начать разблокировать ценность данных, сделав их доступными для пользователей и привязав их непосредственно к вашим бизнес-целям. Создание ценности из данных происходит из использования этих данных, но использование данных означает, что каждый сотрудник компании должен найти нужные данные в нужное время и в нужном формате, чтобы предоставить необходимые аналитические сведения или функциональные возможности. Потребители данных являются ключом к получению новых бизнес-ценностей на основе данных.

Предоставление пользователям поиска и просмотра доменов управления и продуктов данных

Вы уделили время созданию доменов управления и продуктов данных, поэтому предоставьте пользователям данных доступ к их использованию и посмотрите, как они делают. Бизнес-пользователи могут искать стратегические отчеты, которые уже доступны с аналитическими сведениями, которые им необходимы для своевременного и хорошо информированного принятия бизнес-решений.

Вот как можно думать о предоставлении доступа пользователям стратегически:

Не начните с предоставления доступа к каталогу данных всем пользователям в вашей компании. Сначала включите команды, которым нужны данные, имеющиеся в каталоге. Если ваши продукты данных недоступны в формате, необходимом специалистам по обработке и анализу данных, или данные отсутствуют в предопределенных отчетах для бизнес-пользователей, они потеряют доверие к вашему каталогу. Включение правильных ролей для использования каталога в первую очередь для создания пути к успеху.
Начните с команд, которым сначала нужны данные в каталоге. Для кого вы создавали продукты данных? Какие команды помогли разработать термины глоссария? Это хорошие первоначальные кандидаты.
Начните с аналитиков и экспертов по данным, которые могут определить, где существуют пробелы в каталоге. Они могут помочь указать экспертов и владельцев бизнеса, которые могут внести свой вклад в каталог данных. Со временем полнота каталога данных будет достаточно велика, каждый в компании сможет найти большую часть своих потребностей в данных.

Создание OKR

Продемонстрируйте ценность данных для бизнеса, создав цели и ключевые результаты и привязав их к продуктам данных, которые помогают управлять или измерять это значение. Обеспечение того, чтобы бизнес-руководители оценили ценность своих данных и важность управления, будут определять приоритеты и новые синергии в том, как команды создают, поддерживают и управляют своими данными для создания аналитических сведений.

Создание цели обеспечивает немедленное признание важности данных для пользователей и бизнеса, которые они обеспечивают. Это значительно улучшает понимание роли определенных данных в бизнес-процессах или в способности достичь своих целей.

Рассмотрите okR для улучшения процессов, проблем с качеством, основных стратегических целей и всего остального, что можно измерить с помощью данных, чтобы продемонстрировать ценность и изменения в бизнесе.
Обязательно создайте ключевой результат для каждой цели, чтобы показать, как цель измеряется и оценивается, и создайте подотчетность для достижения этой цели.
Могут быть сложные цели, которые имеют много ключевых результатов, необходимых для достижения. Ключевые результаты могут выполняться независимо от других ключевых результатов, которые измерение может показать области, которые нуждаются в определении приоритетов или помочь вернуться в нужное русло.

Доступ к данным, соответствующий требованиям

Предоставление доступа к данным может привести к риску для вашей компании, и соблюдение известных стандартов и политик является обязательным условием для предоставления доступа надлежащим образом и ответственного использования данных. Пользователи в каталоге данных могут заполнить форму для доступа к данным во время обнаружения или использования данных. Сохранение этой формы и процесса в рамках каталога обеспечивает безопасный, быстрый и согласованный доступ к ресурсу с высокой степенью переменных и технических данных. Вот несколько способов успешной настройки доступа в каталоге.

Убедитесь, что соответствующие утверждающие лица имеются в продуктах данных и что они понимают потребности в обработке продуктов данных.
Некоторые продукты данных могут содержать сотни или тысячи запросов на доступ, поэтому для своевременного утверждения и подготовки доступа может потребоваться наличие команды в распределенных часовых поясах.
Подготовьте группы или создайте резервную копию утверждающих лиц на случай отпусков или незапланированных выходных.
Владельцы доменов управления должны периодически проверка сводку запросов на доступ, чтобы проверить ожидания и проверить, являются ли изменения в элементах управления, отслеживая процесс запроса доступа, стимулируют ли требуемое время отклика.

Создание логических моделей данных с критическими элементами данных

Улучшение глубокого технического понимания и ожиданий сущностей данных и элементов будет включать новые элементы управления, чтобы утверждать, соответствуют ли данные этим ожиданиям. Создание словарей данных и логических моделей данных обеспечивает структуру и глубокие бизнес-ожидания данных, что гарантирует их соответствие их назначению. Включив эти знания в Каталог данных команды, сразу же получите представление о том, как структурированы данные и почему, а также что на самом деле доступно в физическом пространстве данных.

Сосредоточьтесь на элементах данных, наиболее важных для вашего домена. Критически важные элементы данных проявят глубокий опыт и важность, которые данные имеют для вашего бизнеса.
Не сосредоточьтесь на полноте элементов во всей области. Не каждому столбцу требуется такой уровень управления, и многие элементы данных могут быть понятными для пользователей.
Оценка критически важных элементов данных в разных командах гарантирует, что бизнес-команды имеют общее представление о своих данных и о том, как создается одна команда, влияет на многие другие области бизнеса.
Согласование политик доступа с критически важными элементами данных гарантирует наличие надлежащих средств управления доступом для критически важных данных во всем пространстве данных.
Создание правил качества данных для критически важных элементов данных гарантирует, что данные соответствуют ожиданиям независимо от того, где и как они используются.

Повышение зрелости данных

Улучшите пространство данных и управление, чтобы заполнить пробелы и устранить узкие места при создании ценности:

Отслеживайте действия по обеспечению работоспособности для постепенного улучшения системы управления во всем каталоге данных.
Оптимизируйте новые возможности использования данных и устраняйте проблемы с данными, улучшая качество данных.
Создавайте лучшие в своем классе продукты данных для отдельных источников истины с помощью master управления данными.
Оцените работоспособность данных и определите приоритеты для наибольшего влияния на ценность.

Глубокое вложение в основные данные, которые управляет вашей компанией, гарантирует, что эти данные можно использовать во всем бизнесе, последовательно устраняя проблемы с данными и обеспечивая стабильную основу для создания аналитических сведений. Наличие доказательств проблем с данными помогает обеспечить практическую возможность управления данными, но это приведет к улучшениям, которые сразу же разблокируют новые ценности без инвестиций в области данных с низкой ценностью, которые еще не полностью изучены. Непрерывное улучшение зрелости данных поможет командам обмениваться обучением друг с другом и показывать доказательства улучшения по мере изменения.

Улучшение продуктов данных с помощью действий, ориентированных на управление

Создание доверия к данным требует постоянного совершенствования и поддержки. В то время как потребителям потребуется время, чтобы найти и применить данные, привлечь внимание к проблемам или потребностям в поддержке, существуют простые действия, которые можно предпринять заранее на основе рекомендаций. Действия по обеспечению работоспособности в управлении работоспособностью предоставляют полный список этих полезных действий для каталога данных, которые помогут вам сосредоточиться на том, что можно сделать дальше для улучшения управления. Ниже приведены некоторые рекомендации по использованию действий работоспособности для получения максимальной ценности.

Проверьте действия продуктов данных, пока они все еще в черновике. Это гарантирует, что при публикации в ней будут рассмотрены основные сведения и обеспечить удобство для потребителей, что эти данные были опубликованы с осторожностью.
Не все действия должны выполняться одновременно. Для выполнения некоторых действий может потребоваться некоторое время, так как вы узнаете больше о данных или работаете с стюардами, чтобы повысить ясность. Продолжайте проверять действия, чтобы узнать, где готовы новые улучшения.
Если действия начинают казаться подавляющими, ненужными или похожими на низкий уровень шума, рассмотрите возможность внесения изменений в средства контроля работоспособности. Оптимизация количества действий, выполняемых любым пользователем, гарантирует, что к данным применяется правильный уровень управления.

Повышение надежности данных с помощью качества данных

Слишком часто качество данных является одноразовым проектом для устранения конкретной проблемы в данных. Эти улучшения, но не последние. Хорошее качество данных требует постоянной оценки и улучшения, чтобы гарантировать, что проблемы не вернутся или не будут созданы новые проблемы.

После определения базовых показателей качества данных. создание плана для своевременного устранения проблем имеет важное значение для поддержания работы бизнеса с данными, пригодными для использования.
Планирование регулярного выполнения проверок качества данных поможет убедиться, что потребители постоянно совершенствуют данные и поддерживаются.
Настройка оповещений о критических правилах и изменениях оценки позволит поставщикам данных устранять проблемы до того, как потребитель обнаружит или обнаружит проблему. Оповещения также можно использовать для прозрачного обмена с потребителями проблемами, прежде чем они найдут их в опыте или путем принятия решения на основе данных низкого качества.

Создание источника продуктов данных для достоверных сведений с помощью управления данными master

Некоторые данные настолько важны почти для каждого процесса и всего бизнеса, что они заслуживают исключительных уровней управления и управления. Эти сущности данных обычно являются сквозными сущностями, такими как списки клиентов или профили сотрудников, и для них может потребоваться глубокий бизнес-опыт и опыт во многих бизнес-процессах. Некоторые данные являются весьма пригодными для использования, но маломасштабируемыми и по-прежнему получают преимущества от более глубокого уровня контроля и управления; Например, атрибуты ссылочных данных для сегментов страны или региона, валюты или отрасли. Каждый из этих типов данных может воспользоваться master решений для управления данными, чтобы создать источник истины, пригодный для использования во всем бизнесе.

Практика master управления данными с качеством данных имеет решающее значение для обеспечения того, чтобы эти важные данные были чистыми и согласованными.
Этот уровень управления данными требует больших усилий, поэтому выбирайте ценные элементы данных или элементы данных с высоким риском, чтобы обеспечить высокую ценность ваших усилий.
Создание критически важного элемента данных и продукта данных для эталонных данных. Эти партнерские объекты помогут повысить уровень эталонных данных в каталоге данных и повысить их использование и понимание.
Создавайте новые средства управления работоспособностью для master данных, чтобы постоянно оценивать их использование в большом масштабе и предотвращать использование новых незаслеченных данных и возникновения путаницы в быстро развивающемся пространстве данных.

Измерение зрелости системы управления с помощью элементов управления работоспособностью данных

Оценка зрелости управления данными в большом масштабе во всем бизнесе необходима для обеспечения эффективности управления и создания ценности для бизнеса. Применяя встроенное измерение элементов управления, управление работоспособностью позволяет центральному офису данных или отдельной области управления узнать, где можно сделать больше. Сбор этих доказательств в большом масштабе быстро повышает уровень наиболее важных проблем с данными, влияющих на бизнес, и где одна проблема может повлиять на многие области бизнеса. Это позволяет устранить проблемы с определением приоритетов при внесении изменений в управление данными и быстро продемонстрировать ценность правильного уровня управления.

Установите ритм бизнеса, чтобы пересмотреть методики управления здоровьем:
1. Пройдите ежемесячный обзор с руководителями предметных областей управления и центральным офисом данных, чтобы обсудить приоритеты и потребности в новых решениях по управлению или техническим решениям.
2. Предоставьте командам возможность углубиться в свои отчеты по управлению здоровьем, чтобы убедиться, что они могут принимать наилучшие решения для создания ценности, необходимой для их бизнеса.
3. Доведите управление работоспособностью на всех уровнях бизнеса, от SLT до отдельного стюарда, чтобы обеспечить правильное выравнивание и согласованность действий управления.
4. Если с данными возникают более крупные проблемы, требующие совместной работы между предприятиями или более глубокого управления, рассмотрите возможность создания новой области управления и определения владельца для управления данными.
Не ожидайте, что все домены управления будут иметь одинаковый уровень зрелости или быть ориентированы на одни и те же аспекты управления:
1. Предоставление управления на правильном уровне позволяет владельцам бизнеса принимать наиболее ценные решения о том, что делать с их данными.
2. Не все части бизнеса имеют одинаковые потребности в данных, и более глубокие уровни управления могут не помочь создать ценность для бизнеса, если фокус находится в другом месте.
3. Некоторые данные менее ценны или появляются в пространстве данных, и значение еще не полностью известно. Позволяя командам быстро перемещаться и адаптироваться к своим потребностям, они могут созревать свое управление с учетом ценности данных.
Последовательно оценивать управление работоспособностью, чтобы искать большие изменения, которые могут указывать на большие проблемы или новые знания, требующие внимания.
Поделитесь своими оценками по управлению работоспособностью. Общий доступ может объединить команды, чтобы узнать, что работает для них или как они находят новые элементы управления для создания новых значений в домене. Просмотр того, как выглядит "хорошее" здоровье, может побудить другие команды улучшить и убедиться, что они также предоставляют ценные данные своим потребителям.

Создание стандартов для конкретной области

Обеспечение правильного размера системы управления данными в соответствии с требуемым уровнем ценности, а необходимый контроль лучше всего обрабатывается владельцами данных. Эти бизнес-команды уже имеют зависимости от данных и находятся в лучшем положении для определения своих ожиданий и потребностей, чтобы убедиться, что данные являются ценными.

Предоставляйте доменам управления возможность создавать новые элементы управления для своих данных независимо от того, где они используются.
Не ожидайте, что для всех доменов управления требуется одинаковый уровень элементов управления или будут применяться все элементы управления. Данные, которые ограничены для использования одной частью бизнеса, по замыслу, могут не воспользоваться высоким уровнем контроля. Создание большего контроля над данными, которые не имеют соответствующего значения, может помешать командам собирать или хранить данные, которые не полностью используются.
Используйте правильный уровень управления, чтобы определить приоритет, где низкоценные данные могут быть удалены из домена управления, чтобы исключить риск и увеличить ценность пространства данных.

Поделиться через