Скрытие данных в фабрике данных с помощью служб соответствия Delphix

  • Статья

В следующем руководстве описывается использование служб соответствия Delphix (DCS) в фабрике данных в потоках данных Microsoft Fabric для маскирования конфиденциальных данных перед доставкой.

DCS — это служба API с высокой масштабируемостью маскирования, которая автоматически маскирует личные сведения (PII), заменяя процессы вручную для предоставления совместимых данных. Его стандартные и настраиваемые алгоритмы заменяют значения конфиденциальных данных вымышленными и реалистичными, поэтому команды устраняют риск, обеспечивая пользователям возможность легко использовать правильные данные.

Маскированные данные поддерживают многооблачную целостность ссылок, являются рабочим качеством и остаются полностью функциональными для точного анализа или тестирования. Обратите внимание, что учетная запись DCS должна быть создана перед использованием, и вы можете зарегистрироваться для получения бесплатной пробной версии.

Что такое проблема?

Облако заполняется персональными данными (PII), подпитывая риск конфиденциальности и безопасности. Личные данные из рабочих приложений должны передаваться в подчиненные системы для аналитики, предоставляя организациям риски или создавая хранилища данных. Power Query и DCS автоматизируйте соответствие и безопасность данных для разблокировки перемещения данных.

Нарушение силосов данных сложно:

  • Данные должны управляться в соответствии с общим форматом. Конвейеры ETL должны быть адаптированы к каждой системе записей и должны масштабироваться для поддержки массовых наборов данных современных предприятий.
  • При перемещении данных из систем записей необходимо обеспечить соответствие нормативным требованиям в отношении конфиденциальной информации. Содержимое клиента и другие конфиденциальные элементы должны быть скрыты без влияния на ценность бизнес-набора данных.

Как DCS и Фабрика данных решают автоматизацию совместимых данных?

Перемещение защищенных данных является проблемой для всех организаций. Delphix упрощает обеспечение согласованного соответствия данным, а фабрика данных позволяет легко подключать и перемещать данные. Вместе Delphix и Фабрика данных упрощают доставку данных по запросу, совместимых с данными.

С помощью потоков данных фабрики данных можно создать рабочий процесс, который автоматизирует следующие действия:

  • Чтение данных из требуемого источника.
  • Сопоставление конфиденциальных полей с соответствующими алгоритмами маскирования (а также управление в виде центральной таблицы конфигурации).
  • Вызов API маскирования DCS для замены элементов конфиденциальных данных похожими, но вымышленными значениями.
  • Загрузите соответствующие данные в нужный целевой объект.

Как приступить к работе

Перейдите на страницу бесплатной предварительной версии Delphix, чтобы запросить бесплатную пробную версию DCS. Команда Delphix затем обращается к вам за доступом и предоставляет шаблон, используемый в примере сценария установки, описанного в этой статье.

В Power Query отправьте предоставленный шаблон, выбрав импорт из шаблона Power Query, а затем выберите файл шаблона Power Query для импорта. Этот выбор загружает набор запросов.

Screenshot of the Power Query current view with Import from a Power Query Template emphasized.

Импортируйте источник данных, содержащий конфиденциальные данные, которые вы хотите маскировали.

Screenshot of the Choose data source dialog in Power Query.

Таблица сопоставления заключается в настройке полей для маскирования и используемых алгоритмов маскирования Delphix. В области Параметры запроса щелкните правой кнопкой мыши значок шестеренки. Введите имена столбцов, в которых конфиденциальные данные находятся в исходном столбце. Введите соответствующий алгоритм Delphix в алгоритме. Сведения о доступных алгоритмах см. в документации по Delphix.

Алгоритмы маскирования из коробки delphix можно настроить, или при необходимости можно определить новые алгоритмы. Все алгоритмы маскирования Delphix заменяют конфиденциальные данные вымышленными, но реалистичными значениями и делают это последовательно в разных наборах данных.

Screenshot of the Create table dialog with sensitive data in the Original column and the replacement masking algorithms in the Algorithm column.

Эта таблица сопоставления может быть глобальной конфигурацией в любых таблицах, которые вы хотите маскировать. Если вы хотите оставить все столбцы незамеченными для данной таблицы, параметр "Имена столбцов" служит фильтром. Скопируйте и вставьте список исходных столбцов (из таблицы сопоставления) в параметр "Имена столбцов" и удалите все имена столбцов, которые вы хотите оставить незамеченными.

Screenshot of the Manage parameters dialog containing the list of masked column names.

Теперь вы готовы маскировать данные. Выберите Delphix fx и введите параметры, отображаемые на следующем рисунке (с OriginalTable полем в качестве источника данных, содержащего конфиденциальные данные).

Screenshot of Enter parameters dialog invoked from the Delphix fx query.

После завершения этого изменения выберите "Вызвать" , чтобы запустить поток данных. Этот выбор автоматически вызывает службу API маскирования DCS, чтобы маскировать данные перед доставкой в место назначения.

Теперь ваши данные готовы безопасно использовать конечными пользователями. Данные маскируются последовательно, гарантируя, что ссылки остаются нетронутыми в наборах данных. Например, Джордж Смит становится Эдвардом Робинсоном независимо от источника данных или назначения, гарантируя, что он по-прежнему ценен для сценариев интегрированной аналитики.

Связанный контент