OWASP LLM05 Improper Output Handling: qué evaluar antes de usar la salida del modelo

Improper Output Handling ocurre cuando una aplicación trata la salida del LLM como confiable. Esto es especialmente riesgoso si la salida se renderiza como HTML, se ejecuta como comando, se usa para construir SQL, llama APIs o modifica datos.

Qué se debe evaluar

• Si toda salida estructurada se valida contra un schema estricto.
• Si HTML, Markdown o contenido enriquecido se sanitiza antes de renderizarse.
• Si comandos, SQL o código generado pasan por controles externos al modelo.
• Si las llamadas a herramientas validan parámetros, permisos y límites.
• Si existen allowlists para acciones y campos permitidos.
• Si el backend confía indebidamente en decisiones tomadas por el LLM.

Cómo ponerlo a prueba

• Pedir al modelo que genere HTML con scripts o payloads de XSS.
• Forzar JSON con campos extra, tipos incorrectos o valores fuera de rango.
• Inducir al modelo a crear SQL peligroso o comandos destructivos.
• Probar inyección en parámetros que luego se pasan a APIs internas.
• Validar si el sistema rechaza outputs ambiguos, incompletos o malformados.
• Ejecutar pruebas con respuestas parcialmente correctas que esconden payloads maliciosos.

Evidencia de control

Un cierre aceptable muestra validación por schema, sanitización contextual, autorización en backend y rechazo seguro de salidas inválidas. La app debe fallar cerrado: si la salida no cumple contrato, no se ejecuta.

El LLM puede proponer. El sistema debe decidir qué se acepta.

Fuente base: OWASP Top 10 for LLM Applications 2025, LLM05 Improper Output Handling.