Требования к управлению данными
Аналитика в масштабе облака рекомендует учитывать следующие требования к управлению данными:
- Определение сущности данных для создания общего бизнес-словаря в бизнес-глоссарии. Сущности данных в этом контексте означают такие понятия, как клиент, поставщик, материалы, сотрудники и другие.
- Идентификация и обнаружение сущностей данных.
- Классификация данных для управления безопасностью доступа к данным, конфиденциальностью данных и хранением данных.
- Назначение владельцев данных, отвечающих за их управление, и администраторов данных, отвечающих за их защиту и качество.
- Процессы управления данными.
- Управление жизненным циклом данных для управления сроком хранения данных
- Определение политик и правил управления конкретными данными в течение всего жизненного цикла.
- Применение политик к разным хранилищам данных в альбомной ориентации данных.
- Управление основными данными для обеспечения соответствия данных. В операционных и аналитических системах это может быть клиент, продукт и поставщик.
- Происхождение метаданных для понимания преобразования и связи сущностей данных.
- Технология для обеспечения возможности управлять структурированными, многоструктурированными и неструктурированными данными. Управление может охватывать центр обработки данных, несколько облаков и пограничные устройства.
Одна из проблем заключается в том, что данные собираются и хранятся в нескольких местах на предприятии. Кроме того, это могут быть данные, собираемые и хранящиеся в разных географических регионах и юрисдикциях. В результате для управления одними и теми же данными в разных юрисдикциях применяются разные законы. Обнаруживайте данные, распределенные по нескольким облакам и географическим расположениям, чтобы:
- Понять, какие существуют атрибуты данных, сущности данных и связи данных в альбомной ориентации данных.
- Классифицировать данные для управления ими.
- Определите политики, чтобы указать, как следует управлять данными для каждого типа классификации данных и управления жизненным циклом.
- Обеспечить качество данных, безопасность доступа к данным, конфиденциальность данных и политик управления жизненным циклом в альбомной ориентации данных.
Классификация данных
Классификация данных — это способ классификации ресурсов данных путем назначения им уникальных логических тегов или классов. В основе классификации лежит бизнес-контекст данных.
Для понимания уровня конфиденциальности и срока хранения данных необходимо определить способ их классификации. При классификации данных требуется разработать:
- Схему классификации конфиденциальности данных
- Схему классификации хранения данных
Ниже приведены примеры этих схем:
Схема классификации конфиденциальности данных
| Классификация | Описание |
|---|---|
| Общие | Любой пользователь может получить доступ к данным и отправить их кому угодно. Например, откройте правительственные данные. |
| Только для внутреннего применения | Только сотрудники могут получить доступ к данным, и они не могут быть отправлены за пределы компании. |
| Конфиденциальный | К данным можно предоставлять общий доступ только в том случае, если они необходимы для определенной задачи. Данные не могут быть отправлены за пределы компании без соглашения о неразглашении. |
| Конфиденциальные (персональные) данные | Данные содержат частную информацию, которая должна быть замаскирована и предоставлена только в течение ограниченного времени. Данные не могут быть отправлены неавторизованному персоналу или за пределами компании. |
| С ограниченным доступом | Эти данные могут предоставляться только именованным лицам, которые отвечают за их защиту. Например, юридические документы или торговые секреты. |
Схема классификации жизненного цикла данных
| Сохранение | Описание |
|---|---|
| Нет | Данные можно удалить в любое время. |
| Временный диск | Хранить данные в течение короткого периода времени. Например, храните данные Twitter в течение недели. |
| Фиксированный период | Хранить данные в течение заданного количества лет, после чего их можно удалить. Например, хранить налоговые записи в течение семи лет в соответствии с правительственными законами. |
| Постоянно | Никогда не удаляйте данные. Например, юридическая переписка. |
Автоматизация процесса классификации конфиденциальности данных и срока хранения данных с помощью классов, определенных в каждой схеме, необходима для согласованной маркировки данных в распределенном ландшафте данных. Автоматизация обеспечивает согласованность данных и их корректное управление. Для управления данными в соответствии с классификацией определите правила и политики для каждого класса, указанного в схеме классификации.
Роли и обязанности по управлению данными
Еще одним требованием является обеспечение подотчетности. В противном случае возникает путаница относительно того, кто отвечает за управление данными. Как ответить на следующие вопросы в отсутствие подотчетности?
- Кто задает метрики успешности и следит, насколько хорошо работает программа управления данными?
- Кто является владельцем данных?
- Кто составляет и обеспечивает ведение бизнес-глоссария?
- Кто формирует и утверждает политику безопасности доступа к данным?
- Кто несет ответственность за соблюдение требований при защите конфиденциальности персональных данных?
- Кто отслеживает качество данных продукта, просматривая брошюры и партнерские веб-сайты?
- Кто обеспечивает согласованность данных клиента во всех системах?
- Кто контролирует соответствие данных внешней подписки лицензии?
- Кто контролирует привилегированных пользователей, таких как администраторы баз данных и специалисты по обработке данных?
Это руководитель уровня C? Это руководитель отдела? Это руководитель отдела управления, рисков и соответствия требованиям? Что насчет юридического отдела? Или это обязанность ИТ-отдела? Определение ролей и обязанностей позволит избежать путаницы и задаст основу для материализации языка и региональных параметров данных.
Процессы управления данными
Наряду с ролями и обязанностями необходимые также следующие процессы управления данными:
- Управление созданием и обслуживанием общего бизнес-словаря
- Обнаружение и определение имеющихся данных, их значений и места их хранения
- Классификация данных для управления ими.
- Управление определением и обслуживанием политик безопасности доступа к данным.
- Управление определением и обслуживанием политик конфиденциальности данных.
- Обнаружение проблем, связанных с качеством данных, и их устранение.
- Использование политик для обеспечения соответствия выполняемых действий требованиям.
- Управление обслуживанием основных данных.
Политики и правила управления данными
Определите следующие политики и правила управления данными:
- Правила целостности данных
- Политики и правила приема данных
- Политики и правила управления безопасностью доступа к данным
- Политики и правила управления конфиденциальностью данных
- Политики и правила качества данных
- Политики и правила обслуживания данных
- Политики и правила хранения данных
Полученные политики и правила необходимо сопоставить с каждым классом в схемах классификации управления данными.
Управление основными данными
Еще одним требованием к управлению данными является master управление данными. Основные данные — это наиболее распространенные общие данные, хранящиеся в организации и включающие основные сущности данных. К основным сущностям данных относятся клиент, поставщик, материалы, сотрудник и ресурс, а также данные плана финансовых счетов, которые находятся в разных финансовых приложениях. Так как master данные настолько широко распространены, они не зависят от приложений. Они необходимы для работы приложений по обработке транзакций и аналитических систем. Поддержание синхронизации основных данных может устранить многие ошибки данных и процессов. Таким образом, идеальным вариантом будет централизованное обслуживание основных данных с помощью общего процесса синхронизации всех необходимых систем. Кроме того, управление требуется для определения лиц, допускаемых к обслуживанию основных данных, и мест для выполнения обслуживания.
То же самое относится и к эталонным данным, таким как наборы кода и данные финансовых рынков. В этом случае стандартизацию и синхронизацию наборов кода называют «управлением эталонными данными», которое также является обязательным требованием.
Преобразование метаданных
Наконец, существует требование к преобразованию метаданных. Чтобы выяснить, откуда поступили данные и каким образом они были преобразованы для маршрутизации в отчет или хранилище данных, можно использовать журнал аудита. Метаданные используются для того, чтобы отследить, кто или что обслуживает данные, включая время и местоположение.
Краткие сведения о комплексном управлении данными
Для управления данными на протяжении всего жизненного цикла в хранилищах данных на пограничных устройствах, нескольких облаках и центре обработки данных необходимо комплексное решение.
Решение по управлению данными должно содержать несколько компонентов:
- Концепция и стратегия управления данными.
- Сами данные (данные клиента, данные поставщика, данные заказа и т. д.).
- Жизненный цикл данных от их создания до уничтожения, в течение которого данными необходимо управлять.
- Роли и обязанности по управлению данными.
- Процессы и действия по управлению данными, а также их применение к жизненному циклу данных.
- Политики и правила управления данными в разных точках жизненного цикла.
- Технологии управления данными, помогающие сделать управление данными возможным.