Процессы управления данными
Существует четыре категории процессов управления данными.
| Категория процессов | Процессы |
|---|---|
| Процессы обнаружения данных, чтобы понять общую картину данных | Процесс обнаружения, преобразования и каталогизации данных и сущностей данных. Процесс обнаружения профилирования данных для определения качества данных. Процесс обнаружения классификации и управления конфиденциальными данными. Процесс обнаружения обслуживания данных для анализа CRUD, например из файлов журнала, для понимания использования и обслуживания данных, таких как основные данные в рамках предприятия. |
| Процессы определения системы управления данными | Создание и обслуживание общего бизнес-словаря в бизнес-глоссарии с определением сущностей данных, включая основные данные, имена атрибутов данных, правила целостности данных и допустимые форматы. Определение ссылочных данных для стандартизации наборов кодов в масштабах предприятия. Определение схем классификации управления данными для обозначения данных, чтобы определить, как управлять ими. Определение политик и правил управления данными для контроля за жизненным циклом сущностей данных и документов. Определение метрик успеха и порогового значения. |
| Политики управления данными и действия по применению правил | Процесс автоматизации приложений и применения политик и правил управления данными. Процесс применения политик и правил вручную. Управляемые событиями, по требованию и по таймеру (пакетная обработка) процессы управления данными, опубликованные как службы, которые можно вызывать для управления следующими аспектами: Прием данных — каталогизация, классификация, назначение владельца и хранение. Качество данных Безопасность доступа к данным Конфиденциальность данных Использование данных, например включение общего доступа и обеспечение использования лицензированных данных только для утвержденных целей. Обслуживание данных, например основных данных. Хранение данных Синхронизация основных и эталонных данных. |
| Процессы мониторинга | Мониторинг и аудит действий по использованию данных, качества данных, безопасности доступа к данным, конфиденциальности данных, обслуживания данных и хранения данных. Мониторинг определения и разрешения нарушений правил политики. |
Общий бизнес-словарь должен быть определен в бизнес-глоссарии в каталоге данных.
Рабочие группы по управлению данными планируют и разрабатывают определение данных и улучшение конкретных доменов данных (например, клиентов или поставщиков); обновлять контрольную панель управления данными по мере хода выполнения; и управлять управлением на предприятии для определенного домена. Каждая рабочая группа должна отвечать за определение конкретной сущности данных или предметной области данных, например нескольких связанных сущностей. Несколько сущностей данных в словаре, наряду с политиками и правилами, могут работать параллельно. Дополнительные сведения см. в статье Роли и обязанности управления данными.
Рис. 1. Пример рабочей группы по управлению данными
Затем для получения единообразных имен данных для всех технологий требуется интеграция бизнес-глоссария каталога с другими технологиями. Примеры других технологий, с которыми можно выполнить интеграцию:
- инструменты для извлечения, преобразования и загрузки (ETL);
- инструменты моделирования данных;
- инструменты бизнес-аналитики, системы управления базами данных;
- Управление основными данными
- инструменты для виртуализации данных;
- средства разработки программного обеспечения.
При создании общего бизнес-словаря рекомендуется создать модель концепции данных. Модель является нисходящим подходом, определяющим основные понятия данных, которые можно использовать в качестве сущностей данных в общем бизнес-словаре. Затем можно назначить другую рабочую группу управления данными для каждой концепции данных (сущности) или группы связанных с ними концепций данных (предметной области). Разные рабочие группы назначаются для того, чтобы управлять различными сущностями данных.
При создании общего бизнес-словаря можно использовать программное обеспечение каталога данных для автоматического определения того, какие данные существуют в нескольких хранилищах данных. Он помогает найти все атрибуты, связанные с конкретными сущностями данных. Это подход "снизу вверх". Используя подход "сверху вниз" модели концепции данных для начала работы и автоматизированный подход к автоматическому обнаружению данных "снизу вверх" для определения атрибутов сущности данных, несколько рабочих групп могут быстро создать общий бизнес-словарь.
Использование каталога данных для автоматического обнаружения данных позволяет сопоставить разнородные данные с общим словарем. Каталог данных поможет понять, где находятся данные в организации для каждой конкретной сущности данных в бизнес-глоссарии.
Политики и правила управления данными в разных точках жизненного цикла
Политики управления данными описывают набор правил, позволяющих управлять целостностью, качеством, безопасностью доступа, конфиденциальностью и хранением данных. Существуют различные типы политик, которые включают:
- Политики целостности данных, такие как допустимые значения, целостность данных.
- Политики качества данных с правилами стандартизации, очистки и соответствия данных.
- Политики защиты данных с правилами безопасности доступа и конфиденциальности данных.
- Политики хранения данных для управления жизненным циклом с помощью правил хранения, архивации и резервного копирования. Для того, чтобы управлять одними и теми же данными в разных юрисдикциях, может потребоваться несколько версий политики.
В схеме классификации конфиденциальности данных пять уровней классификации:
- Общие
- Только для внутреннего применения
- Конфиденциальный
- Конфиденциальные персональные данные
- С ограниченным доступом
Управляйте данными путем объединения этой схемы классификации с политиками и правилами. Используйте каждый из пяти уровней, чтобы пометить данные, например конфиденциальные персональные данные. Создавая правила для конфиденциальных персональных данных и присоединяя эти правила к политике, вы создаете политику для конфиденциальных персональных данных. Вы можете присоединить политику к метке конфиденциальных персональных данных, а затем присоединить метку конфиденциальных персональных данных к данным. Таким образом, все данные, помеченные как конфиденциальные персональные данные, подчиняются тем же политикам и правилам. Этот процесс называется управлением политикой на основе тегов. Это гибкая конфигурация, так как отдельное правило или политика могут быть изменены независимо друг от друга. Все данные, помеченные как конфиденциальные персональные данными, регулируются новыми правилами. Аналогичным образом, метку конфиденциальных персональных данных можно отсоединить от данных и использовать вместо нее метку конфиденциальных данных. В этом случае данные мгновенно преобразуются в соответствии с новым набором политик и правил, связанных с меткой конфиденциальной информации.
После определения политик и правил в каталоге данных для каждого класса в схеме классификации управления данными их можно передать другим технологиям из каталога данных через API-интерфейсы, чтобы обеспечить их принудительное применение. Вместо этого их может применять общая платформа управления данными, которая может подключаться к нескольким хранилищам данных.
Тогда будет возможность отслеживать качество данных, их конфиденциальность, безопасность доступа, использование, обслуживание и хранение конкретных сущностей данных в течение жизненного цикла.