Обфускация данных в Фабрике данных с помощью Служб соответствия требованиям Delphix
В следующем руководстве описывается использование служб соответствия требованиям Delphix (DCS) в фабрике данных в потоках данных Microsoft Fabric для маскирования конфиденциальных данных перед доставкой.
Важно!
Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эти сведения относятся к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении предоставленной здесь информации. См. документацию по Фабрика данных Azure для службы в Azure.
DCS — это высокомасштабируемая служба API маскирования, которая автоматически маскирует личные сведения(PII), вытесняя ручные процессы для доставки соответствующих данных. Готовые и настраиваемые алгоритмы заменяют значения конфиденциальных данных вымышленными, но реалистичными, поэтому команды снижают риски, гарантируя, что конечные пользователи могут легко использовать нужные данные.
Маскированные данные поддерживают многооблачную ссылочную целостность, по качеству похожи на рабочую среду и остаются полностью функциональными для точного анализа или тестирования. Обратите внимание, что перед использованием необходимо создать учетную запись DCS, и вы можете зарегистрироваться для получения бесплатной пробной версии.
В чем заключается проблема?
Облако заполняется персональными данными (PII), что создает риск для конфиденциальности и безопасности. Персональные данные из рабочих приложений должны передаваться в подчиненные системы для аналитики, подвергая организации рискам или создавая разрозненные данные. Power Query и DCS автоматизируют соответствие и безопасность данных, чтобы разблокировать перемещение данных.
Разбить разрозненные данные сложно:
- Данные должны обрабатываться в соответствии с общим форматом. Конвейеры ETL должны быть адаптированы к каждой системе записи и должны масштабироваться для поддержки больших наборов данных современных предприятий.
- При перемещении данных из систем записи необходимо соблюдать правила, касающиеся конфиденциальной информации. Содержимое клиента и другие конфиденциальные элементы должны быть скрыты, не влияя на ценность набора данных для бизнеса.
Как DCS и Фабрика данных решают проблемы с автоматизацией данных, совместимых с требованиями?
Перемещение защищенных данных является проблемой для всех организаций. Delphix упрощает достижение согласованного соответствия данным, а фабрика данных позволяет легко подключать и перемещать данные. Вместе Delphix и Фабрика данных упрощают доставку данных по запросу, соответствующих требованиям.
С помощью потоков данных Фабрики данных можно создать рабочий процесс, который автоматизирует следующие действия:
- Чтение данных из нужного источника.
- Сопоставляйте конфиденциальные поля с соответствующими алгоритмами маскирования (и управляйте в качестве центральной таблицы конфигурации).
- Вызовите API маскирования DCS, чтобы заменить конфиденциальные элементы данных похожими, но вымышленными значениями.
- Загрузите соответствующие данные в нужный целевой объект.
Начало работы
Перейдите на страницу бесплатного предварительного просмотра Delphix , чтобы запросить бесплатную пробную версию DCS. Затем команда Delphix связывается с вами для получения доступа и предоставляет шаблон, который используется в примере сценария настройки, описанного в этой статье.
В Power Query отправьте предоставленный шаблон, выбрав Импорт из шаблона Power Query, а затем выберите файл шаблона Power Query для импорта. Этот выбор загружает набор запросов.
Импортируйте источник данных, содержащий конфиденциальные данные, которые необходимо замаскировано.
В таблице сопоставления можно настроить поля для маскирования и использовать алгоритмы маскирования Delphix. В области Параметры запроса щелкните правой кнопкой мыши значок шестеренки. Введите имена столбцов, в которых находятся конфиденциальные данные, в разделе Исходный столбец. Введите соответствующий алгоритм Delphix в поле Алгоритм. Сведения о доступных алгоритмах см. в документации delphix.
Можно настроить стандартные алгоритмы маскирования Delphix или при необходимости определить новые алгоритмы. Все алгоритмы маскирования Delphix заменяют конфиденциальные данные вымышленными, но реалистичными значениями и делают это согласованно в разных наборах данных.
Эта таблица сопоставления может быть глобальной конфигурацией для любых таблиц, которые вы хотите маскировать. Если вы хотите оставить столбцы без маски для данной таблицы, параметр Имена столбцов служит в качестве фильтра. Скопируйте и вставьте список исходных столбцов (из таблицы сопоставления) в параметр Имена столбцов и удалите все имена столбцов, которые вы хотите оставить без маски.
Теперь вы можете маскировать данные. Выберите Delphix fx и введите параметры, как показано на следующем рисунке (с полем OriginalTable в качестве источника данных, содержащего конфиденциальные данные).
После завершения этого изменения выберите Вызвать , чтобы запустить поток данных. Этот выбор автоматически вызывает службу API маскирования DCS для маскирования данных перед доставкой в выбранное место назначения.
Теперь ваши данные готовы к безопасному использованию конечными пользователями. Данные маскируются согласованно, обеспечивая сохранение ссылок в наборах данных. Например, Джордж Смит становится Эдвардом Робинсоном независимо от источника данных или назначения, гарантируя, что он по-прежнему ценен для сценариев интегрированной аналитики.