Ofuscación de datos en Data Factory con Servicios de cumplimiento de Delphix

En el siguiente procedimiento se describe el uso de Delphix Compliance Services (DCS) en Data Factory en los flujos de datos de Microsoft Fabric para enmascarar los datos confidenciales antes de la entrega.

DCS es un servicio de API de enmascaramiento altamente escalable que enmascara automáticamente la información de identificación personal (PII), suplantando los procesos manuales para entregar los datos compatibles. Sus algoritmos predefinidos y configurables reemplazan los valores de datos confidenciales por otros ficticios, pero realistas, por lo que los equipos mitigan el riesgo a la vez que garantizan que los usuarios finales puedan consumir fácilmente los datos adecuados.

Los datos enmascarados mantienen la integridad referencial multinube, son similares a la producción en calidad y siguen siendo totalmente funcionales para realizar pruebas o análisis precisos. Tenga en cuenta que es necesario crear una cuenta de DCS antes de usarlo y puede registrarse para obtener una evaluación gratuita.

¿Cuál es el desafío?

La nube se rellena con información de identificación personal (PII), lo que impulsa el riesgo de privacidad y seguridad. La PII de las aplicaciones de producción debe fluir a los sistemas de bajada para el análisis, exponiendo a las organizaciones a riesgos o creando silos de datos. Power Query y DCS automatizan el cumplimiento y la seguridad de los datos para desbloquear el movimiento de datos.

Dividir los silos de datos es difícil:

  • Los datos deben manipularse para ajustarse a un formato común. Las canalizaciones ETL deben adaptarse a cada sistema de registro y deben escalarse para admitir conjuntos de datos masivos de empresas modernas.
  • El cumplimiento de las regulaciones relativas a la información confidencial debe mantenerse cuando los datos se mueven de sistemas de registro. El contenido del cliente y otros elementos confidenciales deben ocultarse sin afectar al valor empresarial del conjunto de datos.

¿Cómo resuelven DCS y Data Factory la automatización de los datos compatibles?

El movimiento de datos seguros es un desafío para todas las organizaciones. Delphix facilita un cumplimiento de datos consistente, mientras que Data Factory permite conectar y mover datos sin problemas. De forma conjunta, Delphix y Data Factory hacen la entrega de datos a la carta y conformes a la normativa.

Con los flujos de datos de Data Factory, puede crear un flujo de trabajo que automatice los siguientes pasos:

  • Leer datos del origen deseado.
  • Asignar campos confidenciales a los algoritmos de enmascaramiento adecuados (y administrar como tabla de configuración central).
  • Llamar a las API de enmascaramiento de DCS para reemplazar elementos de datos confidenciales por valores similares pero ficticios.
  • Cargar los datos conformes a un destino deseado.

Instrucciones para empezar

Vaya a la página de versión preliminar gratuita de Delphix para solicitar una evaluación gratuita de DCS. A continuación, el equipo de Delphix se pone en contacto con usted para obtener acceso y proporciona la plantilla que se usa en el escenario de configuración de ejemplo descrito en este artículo.

En Power Query, cargue la plantilla proporcionada seleccionando Importar desde una plantilla de Power Query y, a continuación, seleccione el archivo de plantilla de Power Query que se va a importar. Esta selección carga un conjunto de consultas.

Screenshot of the Power Query current view with Import from a Power Query Template emphasized.

Importe el origen de datos que contiene los datos confidenciales que desea enmascarar.

Screenshot of the Choose data source dialog in Power Query.

La tabla de asignación es donde se configuran los campos que se van a enmascarar y qué algoritmos de enmascaramiento Delphix se van a usar. En el panel Configuración de consulta, haga clic con el botón derecho en el icono de engranaje. Escriba los nombres de las columnas en las que residen los datos confidenciales en la columna original. Escriba el algoritmo de Delphix correspondiente en Algoritmo. Puede encontrar detalles sobre los algoritmos disponibles en la documentación de Delphix.

Se pueden personalizar los algoritmos de enmascaramiento estándar de Delphix o se pueden definir nuevos algoritmos si es necesario. Todos los algoritmos de enmascaramiento de Delphix reemplazan los datos confidenciales por valores ficticios, pero realistas, y lo hacen de forma coherente entre conjuntos de datos.

Screenshot of the Create table dialog with sensitive data in the Original column and the replacement masking algorithms in the Algorithm column.

Esta tabla de asignación puede ser una configuración global en todas las tablas que quiera enmascarar. Si desea dejar las columnas sin máscara para una tabla determinada, el parámetro Nombres de columna actúa como filtro. Copie y pegue la lista de columnas originales (de la tabla de asignación) en el parámetro Nombres de columna y elimine los nombres de columna que quiera dejar sin máscara.

Screenshot of the Manage parameters dialog containing the list of masked column names.

Ahora puede enmascarar sus datos. Seleccione Delphix fx y escriba los parámetros como se muestra en la imagen siguiente (con el campo OriginalTable como origen de datos que contiene datos confidenciales).

Screenshot of Enter parameters dialog invoked from the Delphix fx query.

Una vez completado este cambio, seleccione Invocar para ejecutar el flujo de datos. Esta selección llama automáticamente al servicio DE API de enmascaramiento de DCS para enmascarar los datos antes de la entrega al destino de su elección.

Los datos ya están listos para su uso seguro por parte de los usuarios finales. Los datos se enmascaran de forma coherente, lo que garantiza que las referencias permanezcan intactas entre conjuntos de datos. Por ejemplo, George Smith se convierte en Edward Robinson independientemente del origen de datos o el destino, asegurándose de que sigue siendo útil para escenarios de análisis integrados.