Las 10 mejores salvaguardas para implementar IA sin abrir una brecha

La seguridad de IA no se resuelve con un prompt más largo. Una aplicación con IA necesita controles alrededor del modelo, no fe en que el modelo siempre obedecerá.

Estas diez salvaguardas son un punto de partida práctico para equipos que quieren usar IA sin convertirla en un canal nuevo de fuga, abuso o automatización riesgosa.

1. Separar instrucciones, datos y herramientas

El prompt de sistema no debe mezclarse con contenido recuperado desde usuarios, documentos o páginas externas. Cada fuente debe tener rol, confianza y límites distintos.

2. Minimizar contexto sensible

No cargues datos personales, credenciales, contratos completos o información interna si la tarea no lo exige. Menos contexto sensible significa menos superficie de fuga.

3. Aplicar autorización antes del retrieval

Un usuario solo debe recuperar documentos que ya tiene permiso de ver. El vector store no puede saltarse el modelo de permisos de la organización.

4. Validar salidas estructuradas

Si el modelo responde JSON, SQL, comandos o parámetros de API, valida esquema, tipos, rangos y valores permitidos antes de usar la salida.

5. Limitar herramientas

Un agente no necesita todas las herramientas para todas las tareas. Usa allowlists por rol, límites de operación y permisos mínimos.

6. Confirmar acciones irreversibles

Enviar correos, borrar datos, crear usuarios, aprobar pagos o modificar configuraciones debe requerir confirmación explícita. La confirmación debe ocurrir fuera del razonamiento del modelo.

7. Registrar decisiones y fuentes

Guarda prompt, fuentes consultadas, herramientas llamadas, usuario, resultado y errores relevantes. Sin trazabilidad no hay auditoría ni investigación post-incidente.

8. Red team de prompts y datos

Prueba instrucciones maliciosas, documentos contaminados, jailbreaks, fuga de contexto, abuso de herramientas y ataques multi-turno. No basta con probar el happy path.

9. Rate limits y presupuestos

Limita tokens, llamadas a herramientas, costo por usuario, tamaño de documentos y concurrencia. El abuso económico también es un incidente.

10. Monitoreo de comportamiento

Detecta patrones anómalos: demasiadas consultas sensibles, intentos repetidos de jailbreak, uso masivo de herramientas, errores de autorización y respuestas fuera de política.

La regla final

Un sistema de IA debe fallar cerrado. Si no puede verificar permisos, validar salida o confirmar una acción sensible, debe detenerse y pedir intervención humana.