Ofuscación de datos en Data Factory con Servicios de cumplimiento de Delphix
En el siguiente procedimiento se describe el uso de Losphix Compliance Services (DCS) en Data Factory en flujos de datos de Microsoft Fabric para enmascarar datos confidenciales antes de la entrega.
Importante
Microsoft Fabric está actualmente en versión preliminar. Esta información está relacionada con un producto en versión preliminar que puede modificarse considerablemente antes de su lanzamiento. Microsoft no ofrece ninguna garantía, expresa o implícita, con respecto a la información que se ofrece aquí. Consulte Azure Data Factory documentación del servicio en Azure.
DCS es un servicio de API de enmascaramiento altamente escalable que enmascara automáticamente la información de identificación personal (PII), suplantando los procesos manuales para entregar datos compatibles. Sus algoritmos predefinidos y configurables reemplazan los valores de datos confidenciales por otros ficticios pero realistas, por lo que los equipos mitigan el riesgo a la vez que garantizan que los usuarios finales puedan consumir fácilmente los datos adecuados.
Los datos enmascarados mantienen la integridad referencial multinube, son similares a la producción en calidad y siguen siendo totalmente funcionales para realizar pruebas o análisis precisos. Tenga en cuenta que es necesario crear una cuenta de DCS antes de su uso y puede registrarse para obtener una evaluación gratuita.
¿Cuál es el desafío?
La nube se rellena con información de identificación personal (PII), lo que impulsa el riesgo de privacidad y seguridad. La PII de las aplicaciones de producción debe fluir a los sistemas de bajada para el análisis, exponiendo a las organizaciones a riesgos o creando silos de datos. Power Query y DCS automatizan el cumplimiento y la seguridad de los datos para desbloquear el movimiento de datos.
Dividir los silos de datos es difícil:
- Los datos deben manipularse para ajustarse a un formato común. Las canalizaciones ETL deben adaptarse a cada sistema de registro y deben escalarse para admitir conjuntos de datos masivos de empresas modernas.
- El cumplimiento de las regulaciones relativas a la información confidencial debe mantenerse cuando los datos se mueven de sistemas de registro. El contenido del cliente y otros elementos confidenciales deben ocultarse sin afectar al valor empresarial del conjunto de datos.
¿Cómo resuelve DCS y Data Factory la automatización de los datos compatibles?
El movimiento de datos seguros es un desafío para todas las organizaciones. Delphix facilita el cumplimiento de datos coherente, mientras que Data Factory permite conectarse y mover datos sin problemas. Juntos Delphix y Data Factory facilitan la entrega de datos conformes a petición.
Con los flujos de datos de Data Factory, puede crear un flujo de trabajo que automatice los pasos siguientes:
- Lee datos del origen deseado.
- Asigne campos confidenciales a los algoritmos de enmascaramiento adecuados (y administre como tabla de configuración central).
- Llame a las API de enmascaramiento de DCS para reemplazar elementos de datos confidenciales por valores similares pero ficticios.
- Cargue los datos conformes a un destino deseado.
Introducción
Vaya a la página de versión preliminar gratuita de Delphix para solicitar una evaluación gratuita de DCS. A continuación, el equipo de Delphix se pone en contacto con usted para obtener acceso y proporciona la plantilla que se usa en el escenario de configuración de ejemplo descrito en este artículo.
En Power Query, cargue la plantilla proporcionada seleccionando Importar desde una plantilla de Power Query y, a continuación, seleccione el archivo de plantilla de Power Query que se va a importar. Esta selección carga un conjunto de consultas.
Importe el origen de datos que contiene datos confidenciales que desea enmascarar.
La tabla de asignación es donde se configuran los campos que se van a enmascarar y qué algoritmos de enmascaramiento delphix se van a usar. En el panel Configuración de consulta, haga clic con el botón derecho en el icono de engranaje. Escriba los nombres de columna en los que residen los datos confidenciales en la columna original. Escriba el algoritmo Delphix correspondiente en Algoritmo. Puede encontrar detalles sobre los algoritmos disponibles en la documentación de Delphix.
Los algoritmos de enmascaramiento estándar de Delphix se pueden personalizar o se pueden definir nuevos algoritmos si es necesario. Todos los algoritmos de enmascaramiento de Delphix reemplazan los datos confidenciales por valores ficticios, pero realistas, y lo hacen de forma coherente entre conjuntos de datos.
Esta tabla de asignación puede ser una configuración global en todas las tablas que quiera enmascarar. Si desea dejar las columnas sin máscara para una tabla determinada, el parámetro Nombres de columna actúa como filtro. Copie y pegue la lista de columnas originales (de la tabla de asignación) en el parámetro Nombres de columna y elimine los nombres de columna que quiera dejar sin máscara.
Ya está listo para enmascarar los datos. Seleccione Delphix fx y escriba parámetros como se muestra en la imagen siguiente (con el OriginalTable campo como origen de datos que contiene datos confidenciales).
Una vez completado este cambio, seleccione Invocar para ejecutar el flujo de datos. Esta selección llama automáticamente al servicio DE API de enmascaramiento de DCS para enmascarar los datos antes de la entrega al destino de su elección.
Los datos ya están listos para su uso seguro por parte de los usuarios finales. Los datos se enmascaran de forma coherente, lo que garantiza que las referencias permanezcan intactas entre conjuntos de datos. Por ejemplo, George Smith se convierte en Edward Robinson independientemente del origen de datos o el destino, asegurándose de que sigue siendo útil para escenarios de análisis integrados.