Gobernanza de la inteligencia artificial

2025-07-16

Este artículo le ayuda a establecer un proceso organizativo para gobernar la inteligencia artificial. Use esta guía para integrar la administración de riesgos de inteligencia artificial en sus estrategias más amplias de administración de riesgos, creando un enfoque unificado para la inteligencia artificial, la ciberseguridad y la gobernanza de la privacidad. El proceso sigue el Marco de Gestión de Riesgos de Inteligencia Artificial de NIST (AI RMF) y la Guía de Estrategias de NIST AI RMF. Las instrucciones se alinean con el marco en CAF Govern.

Evaluar los riesgos organizativos de la IA

La evaluación de riesgos de ia identifica los posibles riesgos que las tecnologías de inteligencia artificial presentan en su organización. Esta evaluación crea confianza en los sistemas de inteligencia artificial y reduce las consecuencias no deseadas. Debe realizar evaluaciones exhaustivas de riesgos para garantizar que las implementaciones de inteligencia artificial se alineen con los valores de su organización, la tolerancia al riesgo y los objetivos operativos. A continuación se muestra cómo hacerlo:

Entender las cargas de trabajo de IA. Cada carga de trabajo de IA presenta riesgos únicos en función de su propósito, ámbito e implementación. Debe aclarar la función específica, los orígenes de datos y los resultados previstos para cada carga de trabajo de inteligencia artificial para asignar los riesgos asociados de forma eficaz. Documente las suposiciones y limitaciones relacionadas con cada carga de trabajo de IA para establecer límites claros para la evaluación de riesgos.

Utilice los principios de la IA responsable para identificar los riesgos. Los principios de inteligencia artificial responsables proporcionan un marco estructurado para una evaluación completa de riesgos. Debe evaluar cada carga de trabajo de INTELIGENCIA ARTIFICIAL con estos principios para identificar posibles vulnerabilidades y preocupaciones éticas. Use la tabla siguiente para guiar el proceso de identificación de riesgos:

Principio de IA responsable	Definición	Pregunta sobre la evaluación de riesgos
Privacidad y seguridad de la IA	Las cargas de trabajo de IA deben respetar la privacidad y ser seguras.	¿Cómo pueden las cargas de trabajo de IA manejar datos sensibles o ser vulnerables a violaciones de la seguridad?
Confiabilidad y seguridad	Las cargas de trabajo de IA deben funcionar de forma segura y fiable.	¿En qué situaciones podrían las cargas de trabajo de IA no funcionar con seguridad o producir resultados poco fiables?
Equidad	Las cargas de trabajo de IA deben tratar a las personas de forma equitativa.	¿Cómo podrían las cargas de trabajo de IA conducir a un trato desigual o a un sesgo involuntario en la toma de decisiones?
Inclusión	Las cargas de trabajo de la IA deben ser inclusivas y empoderantes.	¿Cómo podrían quedar excluidos o desfavorecidos determinados grupos en el diseño o implementación de las cargas de trabajo de la IA?
Transparencia	Las cargas de trabajo de la IA deben ser comprensibles.	¿Qué aspectos de la toma de decisiones con IA podrían ser difíciles de entender o explicar para los usuarios?
Responsabilidad	Las personas deben ser responsables de las cargas de trabajo de la IA.	¿En qué aspectos del desarrollo o el uso de la IA la responsabilidad podría ser confusa o difícil de establecer?

Identificar riesgos específicos de inteligencia artificial. La identificación de riesgos requiere una evaluación sistemática de las vulnerabilidades de seguridad, operativas y éticas. Debe evaluar posibles infracciones de datos, acceso no autorizado, manipulación de modelos y escenarios de uso incorrecto para cada carga de trabajo de IA. Consulte a las partes interesadas de diferentes departamentos para descubrir los riesgos que podrían pasar por alto los equipos técnicos y evaluar tanto los impactos cuantitativos (pérdidas financieras, degradación del rendimiento) como los impactos cualitativos (daños de reputación, confianza del usuario) para determinar la tolerancia al riesgo de su organización.
Identifique los riesgos derivados de las dependencias externas. Las dependencias externas presentan vectores de riesgo adicionales que requieren una evaluación cuidadosa. Debe evaluar los riesgos de orígenes de datos de terceros, modelos de inteligencia artificial, bibliotecas de software e integraciones de API de las que dependen las cargas de trabajo de IA. Solucione posibles problemas como vulnerabilidades de seguridad, problemas de calidad de datos, sesgo en conjuntos de datos externos, conflictos de propiedad intelectual y confiabilidad del proveedor mediante el establecimiento de directivas claras que garantizan que las dependencias externas se alineen con los estándares de privacidad, seguridad y cumplimiento de la organización.
Evaluar los riesgos de integración. Las cargas de trabajo de inteligencia artificial rara vez funcionan de forma aislada y crean nuevos riesgos cuando se integran con sistemas existentes. Debe evaluar cómo las cargas de trabajo de IA se conectan con las aplicaciones, las bases de datos y los procesos empresariales actuales para identificar posibles puntos de error. Documente riesgos específicos, como cascadas de dependencias en las que el error de inteligencia artificial afecta a varios sistemas, mayor complejidad del sistema que dificulta la solución de problemas, incompatibilidades de formato de datos, cuellos de botella de rendimiento y brechas de seguridad en puntos de integración que podrían poner en peligro la funcionalidad general del sistema.

Documentar las políticas de gobernanza de la IA

Las directivas de gobernanza de ia proporcionan un marco estructurado para el uso responsable de la inteligencia artificial dentro de su organización. Estas políticas alinean las actividades de IA con las normas éticas, los requisitos normativos y los objetivos empresariales. Debe documentar las directivas que abordan los riesgos de inteligencia artificial identificados en función de la tolerancia a riesgos de su organización. Estos son ejemplos de políticas de gobernanza de IA.

Políticas de gobernanza de la IA	Recomendaciones de políticas de gobernanza de la IA
Definir políticas para la selección y la incorporación de modelos	▪ Establezca políticas para la selección de modelos de IA. Las políticas deben delinear los criterios para elegir modelos que cumplan con los valores organizacionales, las capacidades y las restricciones de costes. Revise los modelos potenciales para la alineación con la tolerancia al riesgo y los requisitos de la tarea prevista. ▪ Incorpore nuevos modelos con políticas estructuradas. Un proceso formal de incorporación de modelos mantiene la coherencia en la justificación, validación y aprobación de modelos. Utilice entornos sandbox para los experimentos iniciales y, a continuación, valide y revise los modelos en el catálogo de producción para evitar duplicidades.
Defina políticas para el uso de herramientas y datos de terceros	▪ Establezca controles para las herramientas de terceros. Un proceso de investigación para herramientas de terceros protege contra los riesgos de seguridad, cumplimiento y alineación. Las políticas deben incluir directrices sobre privacidad de datos, seguridad y normas éticas cuando se utilicen conjuntos de datos externos. ▪ Defina las normas de sensibilidad de los datos. Mantener separados los datos sensibles de los públicos es esencial para mitigar los riesgos de la IA. Crear políticas en torno al manejo y la separación de datos. ▪ Defina normas de calidad de los datos. Un "conjunto de datos de referencia" proporciona un indicador fiable para la prueba y evaluación de modelos de IA. Establezca políticas claras de coherencia y calidad de los datos para garantizar un alto rendimiento y unos resultados fiables.
Definir políticas de mantenimiento y supervisión de los modelos	▪ Especifique la frecuencia de reentrenamiento según el caso práctico. El reentrenamiento frecuente favorece la precisión de las cargas de trabajo de IA de alto riesgo. Defina directrices que tengan en cuenta el caso práctico y el nivel de riesgo de cada modelo, especialmente para sectores como la sanidad y las finanzas. ▪ Supervise la degradación del rendimiento. Supervisar el rendimiento del modelo a lo largo del tiempo ayuda a detectar problemas antes de que afecten a los resultados. Documente los puntos de referencia y, si el rendimiento de un modelo disminuye, inicie un proceso de reciclaje o revisión.
Definir políticas para el cumplimiento de la normativa	▪ Cumpla los requisitos legales regionales. Comprender las leyes regionales garantiza que las operaciones de IA sigan cumpliendo la normativa en todas las ubicaciones. Investigue las normativas aplicables para cada área de despliegue, como las leyes de privacidad de datos, las normas éticas y las normativas del sector. ▪ Desarrolle políticas específicas para cada región. Adaptar las políticas de IA a las consideraciones regionales favorece el cumplimiento de las normas locales. Las políticas podrían incluir apoyo lingüístico, protocolos de almacenamiento de datos y adaptaciones culturales. ▪ Adapte la IA a la variabilidad regional. La flexibilidad de las cargas de trabajo de IA permite realizar ajustes funcionales específicos de cada ubicación. Para operaciones globales, documente las adaptaciones específicas de cada región, como datos de entrenamiento localizados y restricciones de funciones.
Definir políticas para la conducta de los usuarios	▪ Defina estrategias de mitigación de riesgos por uso indebido. Las políticas de prevención de usos indebidos ayudan a proteger contra daños intencionados o no intencionados. Esboce posibles escenarios de uso indebido e incorpore controles, como funcionalidades restringidas o características de detección de uso indebido. ▪ Establezca directrices de conducta para los usuarios. Los acuerdos de usuario aclaran los comportamientos aceptables al interactuar con la carga de trabajo de IA, reduciendo el riesgo de uso indebido. Redacte unas condiciones de uso claras para comunicar las normas y respaldar una interacción responsable con la IA.
Defina políticas para la integración y sustitución de la IA.	▪ Esboce políticas de integración. Las directrices de integración garantizan que las cargas de trabajo de IA mantengan la integridad y la seguridad de los datos durante la interconexión de las cargas de trabajo. Especifique los requisitos técnicos, los protocolos de intercambio de datos y las medidas de seguridad. ▪ Planifique la transición y la sustitución. Las políticas de transición proporcionan estructura a la hora de sustituir procesos antiguos por cargas de trabajo de IA. Describa los pasos para eliminar gradualmente los procesos heredados, formar al personal y supervisar el rendimiento a lo largo del cambio.

Aplicar las políticas de gobernanza de la IA

La aplicación de las políticas de gobernanza de IA mantiene prácticas de inteligencia artificial coherentes y éticas a lo largo de la organización. Debe usar herramientas automatizadas e intervenciones manuales para garantizar el cumplimiento de las directivas en todas las implementaciones de inteligencia artificial. A continuación se muestra cómo hacerlo:

Automatice la aplicación de directivas siempre que sea posible. El cumplimiento automatizado reduce el error humano y garantiza una aplicación de directiva coherente en todas las implementaciones de IA. La automatización proporciona una supervisión en tiempo real y una respuesta inmediata a las infracciones de políticas, algo que los procesos manuales no pueden igualar de manera eficaz. Use plataformas como Azure Policy y Microsoft Purview para aplicar directivas automáticamente en las implementaciones de inteligencia artificial y evaluar periódicamente las áreas en las que la automatización puede mejorar el cumplimiento de las directivas.
Aplique manualmente directivas de inteligencia artificial en las que la automatización no sea suficiente. El cumplimiento manual aborda escenarios complejos que requieren juicio humano y proporciona formación esencial para el conocimiento de las políticas. La supervisión humana garantiza la adaptación de las directivas a situaciones únicas y mantiene la comprensión organizativa de los principios de gobernanza de la inteligencia artificial. Proporcione formación sobre el riesgo y el cumplimiento de la inteligencia artificial a los empleados para asegurarse de que comprenden su rol en la gobernanza de la inteligencia artificial, llevan a cabo talleres periódicos para mantener al personal actualizado las directivas de inteligencia artificial y realizar auditorías periódicas para supervisar la adhesión e identificar áreas para mejorar.
Use orientaciones de gobernanza específicas de la carga de trabajo para una aplicación selectiva. Las instrucciones específicas de la carga de trabajo abordan los requisitos de seguridad y cumplimiento únicos para diferentes patrones de implementación de IA. Este enfoque garantiza que las directivas se alineen con la arquitectura técnica y el perfil de riesgo de cada tipo de carga de trabajo de IA. Use instrucciones de seguridad detalladas disponibles para cargas de trabajo de inteligencia artificial en servicios de plataforma de Azure (PaaS) e infraestructura de Azure (IaaS) para controlar los modelos, recursos y datos de inteligencia artificial dentro de estos tipos de carga de trabajo.
- Gestionar IA de PaaS
- Gobernanza de la inteligencia artificial de IaaS

Supervisar los riesgos organizativos de la IA

La supervisión de riesgos identifica las amenazas emergentes y garantiza que las cargas de trabajo de inteligencia artificial funcionen según lo previsto. La evaluación continua mantiene la confiabilidad del sistema y evita impactos negativos. Debe establecer una supervisión sistemática para adaptarse a las condiciones en evolución y abordar los riesgos antes de que afecten a las operaciones. A continuación se muestra cómo hacerlo:

Establezca procedimientos para la evaluación continua de los riesgos. Las evaluaciones de riesgos regulares proporcionan detección temprana de amenazas emergentes y degradación del sistema. Debe crear procesos de revisión estructurados que impliquen a las partes interesadas de toda la organización para evaluar los impactos más amplios en la inteligencia artificial y mantener un conocimiento completo del riesgo. Programe evaluaciones de riesgos trimestrales para cargas de trabajo de inteligencia artificial de alto riesgo y evaluaciones anuales para sistemas de menor riesgo y desarrolle planes de respuesta que describen acciones específicas para diferentes escenarios de riesgo para habilitar la mitigación rápida cuando surjan problemas.
Desarrollar un plan de medición completo. Un plan de medición estructurado garantiza una recopilación y análisis de datos coherentes en todas las cargas de trabajo de IA. Debe definir métodos claros de recopilación de datos que combinen el registro automatizado para métricas operativas con encuestas y entrevistas para obtener comentarios cualitativos de usuarios y partes interesadas. Establezca la frecuencia de medición en función de los niveles de riesgo de la carga de trabajo, centrándose en los esfuerzos de supervisión en áreas de alto riesgo y cree bucles de comentarios que usen resultados de medición para refinar las evaluaciones de riesgos y mejorar los procesos de supervisión.
Cuantificar y calificar los riesgos de inteligencia artificial sistemáticamente. La medición de riesgos equilibrada requiere métricas cuantitativas e indicadores cualitativos que se alinean con el propósito específico y el perfil de riesgo de cada carga de trabajo. Debe seleccionar métricas cuantitativas adecuadas, como tasas de error, puntuaciones de precisión y pruebas comparativas de rendimiento junto con indicadores cualitativos, incluidos los comentarios de los usuarios, las preocupaciones éticas y la satisfacción de las partes interesadas. Comparar el rendimiento con respecto a los estándares del sector y los requisitos normativos para realizar un seguimiento de la confiabilidad, la eficacia y el cumplimiento de la inteligencia artificial a lo largo del tiempo.
Documente e informe los resultados de medición de forma coherente. La documentación sistemática y los informes mejoran la transparencia y respaldan la toma de decisiones fundamentada en toda la organización. Debe crear informes estandarizados que resumen las métricas clave, los resultados significativos y las anomalías detectadas durante las actividades de supervisión. Comparta estas conclusiones con las partes interesadas pertinentes a través de sesiones informativas periódicas y use conclusiones para refinar las estrategias de mitigación de riesgos, actualizar las directivas de gobernanza y mejorar las implementaciones futuras de inteligencia artificial.
Establezca procesos de revisión independientes. Las revisiones independientes proporcionan evaluaciones objetivas que los equipos internos podrían perder debido a su familiaridad o sesgo. Debe implementar revisiones independientes periódicas mediante auditores externos o revisores internos que no estén implicados, que puedan evaluar objetivamente los riesgos de IA y el cumplimiento. Use los resultados de revisión para identificar puntos ciegos en las evaluaciones de riesgos, reforzar las directivas de gobernanza y validar la eficacia de los enfoques de supervisión actuales.

Paso siguiente

Administración de IA

Ejemplos de mitigación de riesgos de IA

La siguiente tabla enumera algunos riesgos comunes de la IA y proporciona una estrategia de mitigación y un modelo de política para cada uno de ellos. La tabla no enumera un conjunto completo de riesgos.

Id. de riesgo	Riesgo de IA	Mitigación	Directiva
R001	Incumplimiento de las leyes de protección de datos	Utilice Administrador de cumplimiento de Microsoft Purview para evaluar el cumplimiento de los datos.	Se debe implementar el Ciclo de vida de desarrollo de seguridad para garantizar que todo el desarrollo e implementación de IA cumpla con las leyes de protección de datos.
R005	Falta de transparencia en la toma de decisiones sobre IA	Aplicar un marco y un lenguaje estandarizados para mejorar la transparencia en los procesos de IA y la toma de decisiones.	Debe adoptarse el Marco de administración de Riesgos de IA del NIST y todos los modelos de IA deben documentarse exhaustivamente para mantener la transparencia de todos los modelos de IA.
R006	Predicciones imprecisas	Utilice Azure API Management para realizar un seguimiento de las métricas del modelo de IA para garantizar la precisión y la fiabilidad.	Se debe utilizar la supervisión continua del rendimiento y la retroalimentación humana para garantizar que las predicciones del modelo de IA sean precisas.
R007	Ataque adversario	Utilice PyRIT para probar las cargas de trabajo de IA en busca de vulnerabilidades y reforzar las defensas.	El Ciclo de vida de desarrollo de seguridad y las pruebas del equipo rojo de IA deben utilizarse para proteger las cargas de trabajo de IA contra ataques de adversarios.
R008	Amenazas internas	Utilice Microsoft Entra ID para aplicar controles de acceso estrictos basados en funciones y pertenencia a grupos para limitar el acceso de personas con información privilegiada a datos confidenciales.	La administración estricta de identidades y accesos y la supervisión continua deben utilizarse para mitigar las amenazas internas.
R009	Costes inesperados	Utilice Microsoft Cost Management para realizar un seguimiento del uso de la CPU, la GPU, la memoria y el almacenamiento para garantizar una utilización eficiente de los recursos y evitar picos de costes.	La supervisión y optimización del uso de recursos y la detección automatizada de sobrecostes deben utilizarse para administrar los costes imprevistos.
R010	Infrautilización de los recursos de IA	Supervise las métricas del servicio de IA, como las tasas de solicitud y los tiempos de respuesta, para optimizar el uso.	Deben utilizarse métricas de rendimiento y escalabilidad automatizada para optimizar la utilización de los recursos de IA.