Cómo hacer un análisis de riesgos de inteligencia artificial

Un análisis de riesgos de inteligencia artificial no debería empezar preguntando qué modelo se va a utilizar. Primero hay que entender la decisión, el proceso y las personas afectadas. El mismo sistema técnico puede tener consecuencias muy diferentes si recomienda una película, filtra candidatos a un empleo o ayuda a priorizar pacientes.

Qué es un análisis de riesgos de IA

Es un proceso para identificar qué puede salir mal en un caso de uso, estimar la gravedad y probabilidad de los impactos y decidir controles proporcionados. Debe cubrir tanto riesgos técnicos —errores, ataques, indisponibilidad— como riesgos sobre derechos, privacidad, discriminación, transparencia y supervisión humana.

No se limita a cumplir una norma. Sirve para decidir si el caso de uso debe implantarse, modificarse, limitarse o descartarse.

1. Define el caso de uso antes de hablar del modelo

Documenta el objetivo, quién utilizará el sistema, qué salida produce y qué decisión condiciona. Una descripción útil responde a estas preguntas:

• ¿Qué problema se intenta resolver?
• ¿Quién toma la decisión final?
• ¿Quién puede beneficiarse o sufrir un perjuicio?
• ¿Qué ocurriría si el sistema se equivoca?
• ¿Existe una alternativa sin IA?

Evita descripciones genéricas como “usar IA para mejorar recursos humanos”. Es preferible concretar: “clasificar candidaturas para decidir cuáles revisará primero el equipo de selección”.

2. Identifica roles y responsabilidades

Hay que distinguir quién desarrolla el sistema, quién lo comercializa, quién lo despliega y quién lo opera. También deben identificarse proveedores de modelos, servicios en la nube, fuentes de datos y responsables de la decisión. Esta cadena determina qué información puede exigirse y quién debe mantener registros, supervisar resultados o gestionar incidentes.

3. Inventaría los datos

Separa al menos cuatro grupos: datos de entrenamiento, validación, entrada durante el uso y resultados generados. Para cada uno, registra su origen, calidad, representatividad, finalidad, conservación y acceso.

Preguntas esenciales:

• ¿Hay datos personales o categorías especialmente sensibles?
• ¿Se pueden inferir características que no se recogen de forma explícita?
• ¿Los datos representan a las personas sobre las que se utilizará el sistema?
• ¿Existe riesgo de reutilización para una finalidad incompatible?
• ¿Se envía información a un proveedor externo o fuera del entorno previsto?

Cuando intervengan datos personales, el análisis debe coordinarse con las obligaciones de privacidad. El curso gratuito de RGPD aplicado a TI ayuda a relacionar minimización, base jurídica, proveedores, evaluaciones de impacto y brechas.

4. Dibuja la arquitectura real

Un diagrama sencillo puede revelar más riesgos que una descripción comercial. Incluye usuarios, aplicaciones, APIs, modelo, bases de datos, registros, proveedores y puntos de intervención humana. Señala qué información cruza cada conexión y dónde se almacena.

Analiza autenticación, permisos, cifrado, aislamiento entre clientes, dependencia del proveedor y posibilidad de manipular entradas. En sistemas generativos también conviene considerar fuga de información, inyección de instrucciones, contenido inventado y uso inseguro de herramientas conectadas.

5. Clasifica el caso según el Reglamento de IA

La clasificación debe hacerse sobre la finalidad y el contexto, no solo sobre la tecnología. De forma resumida, el Reglamento Europeo de Inteligencia Artificial distingue prácticas prohibidas, sistemas de alto riesgo, obligaciones de transparencia para determinados usos y sistemas con menor riesgo regulatorio.

• Prohibido: el caso encaja en una práctica que no puede desplegarse salvo las excepciones estrictas previstas.
• Alto riesgo: afecta a ámbitos o funciones reguladas y exige un sistema de gestión de riesgos, documentación, calidad de datos, registros, supervisión humana y otros controles.
• Transparencia o riesgo limitado: requiere informar de que se interactúa con IA o identificar contenido artificial en determinados supuestos.
• Riesgo mínimo: no activa las categorías anteriores, aunque sigue necesitando seguridad, privacidad y buen gobierno.

El curso gratuito Fundamentos del Reglamento de IA aplicado a TI desarrolla esta clasificación y explica cómo traducirla en tareas técnicas.

6. Construye escenarios de riesgo

Describe cada riesgo como una cadena: causa, evento, persona o activo afectado y consecuencia. Por ejemplo: “datos históricos poco representativos provocan una puntuación sistemáticamente inferior para un grupo de candidatos y reducen sus oportunidades de revisión humana”.

Incluye escenarios de error normal, uso indebido, ataque, fallo de proveedor y automatización excesiva. Valora impacto, probabilidad, detectabilidad y alcance. Las cifras no sustituyen la explicación: deja constancia de las hipótesis y evidencias utilizadas.

7. Diseña controles verificables

Un control debe poder comprobarse. “El modelo será seguro” no es una medida. “Las salidas de alto impacto requieren revisión humana y se registra cualquier modificación” sí puede verificarse.

• Reducir o anonimizar datos de entrada.
• Limitar permisos y separar entornos.
• Probar rendimiento por grupos relevantes.
• Definir umbrales de confianza y rutas de escalado.
• Registrar entradas, versiones y decisiones cuando sea proporcionado.
• Preparar mecanismos de reclamación y corrección.
• Monitorizar cambios en datos, modelo y contexto.
• Establecer criterios para suspender el sistema.

8. Evalúa el riesgo residual y decide

Después de aplicar controles, vuelve a valorar cada escenario. La decisión final puede ser aprobar, aprobar con condiciones, realizar una prueba limitada, rediseñar o no desplegar. Debe existir una persona responsable de aceptar el riesgo residual y una fecha de revisión.

El análisis no termina con la puesta en producción

Los sistemas de IA cambian: evolucionan los datos, el proveedor, las personas usuarias y la finalidad. Revisa el análisis ante incidentes, cambios importantes, nuevas poblaciones afectadas o degradación del rendimiento.

Cyber2Camp utiliza en su formación premium el método CLARIA, que estructura el análisis desde el contexto, la licitud, los activos y datos, los riesgos, los impactos y las acciones de control. El curso Análisis de riesgos en inteligencia artificial: método CLARIA recorre casos de uso completos y enseña a justificar cada decisión.

Empieza gratis: entiende el Reglamento de IA aplicado a TI →

¿Quieres aplicar un método completo? Descubre CLARIA →