OWASP LLM08 Vector and Embedding Weaknesses: qué evaluar en RAG

Vector and Embedding Weaknesses aparecen cuando una aplicación RAG recupera contenido incorrecto, no autorizado, contaminado o manipulado. El problema puede estar en embeddings, chunking, permisos, metadatos, ranking o aislamiento entre tenants.

Qué se debe evaluar

• Permisos por documento antes y después de indexar.
• Aislamiento por tenant, usuario, proyecto o clasificación.
• Calidad del chunking y preservación de contexto.
• Metadatos usados para filtrar o rankear resultados.
• Fuentes autorizadas para alimentar la base vectorial.
• Trazabilidad entre respuesta, chunk y documento original.

Cómo ponerlo a prueba

• Intentar recuperar documentos de otro tenant con preguntas indirectas.
• Inyectar documentos con metadatos manipulados para subir ranking.
• Probar consultas ambiguas y verificar si el sistema cita fuentes correctas.
• Insertar contenido adversarial en un documento recuperable.
• Evaluar si cambios de permisos se reflejan en el índice vectorial.
• Comparar resultados con y sin filtros de autorización.

Evidencia de control

Debe poder demostrarse que el retrieval aplica autorización antes de entregar contexto al modelo. También debe existir trazabilidad de fuentes y mecanismos para reindexar o retirar documentos cuando cambian permisos.

Un RAG seguro no es solo semánticamente bueno. También debe respetar propiedad, clasificación y límites de acceso.

Fuente base: OWASP Top 10 for LLM Applications 2025, LLM08 Vector and Embedding Weaknesses.