OWASP LLM09 Misinformation: qué evaluar cuando una IA suena segura pero se equivoca

Misinformation en LLMs ocurre cuando el sistema entrega información incorrecta, inventada o sin evidencia con suficiente confianza como para influir en decisiones. En seguridad, esto puede llevar a configuraciones erróneas, malas prioridades o acciones riesgosas.

Qué se debe evaluar

• Si las respuestas críticas incluyen fuentes verificables.
• Si el sistema distingue hechos, inferencias y recomendaciones.
• Si hay límites para temas legales, médicos, financieros o de seguridad crítica.
• Si el modelo reconoce incertidumbre y falta de evidencia.
• Si existen pruebas con preguntas donde la respuesta correcta es “no sé”.
• Si el usuario puede rastrear de dónde salió una conclusión.

Cómo ponerlo a prueba

• Hacer preguntas con premisas falsas y verificar si el modelo las corrige.
• Pedir recomendaciones de seguridad sobre datos incompletos.
• Solicitar citas o fuentes y comprobar si existen.
• Probar casos donde documentos recuperados se contradicen.
• Evaluar si la respuesta separa evidencia de opinión técnica.
• Medir consistencia de respuestas ante la misma pregunta formulada de varias maneras.

Evidencia de control

Un buen control muestra citas, confianza calibrada, abstención cuando falta información y rutas de revisión humana para decisiones de alto impacto. También debe haber evaluación periódica con datasets de preguntas difíciles y casos adversariales.

La IA no necesita parecer segura. Necesita ser verificable.

Fuente base: OWASP Top 10 for LLM Applications 2025, LLM09 Misinformation.