OWASP LLM04 Data and Model Poisoning: qué evaluar y cómo probar contaminación

Data and Model Poisoning ocurre cuando datos maliciosos o incorrectos contaminan entrenamiento, fine-tuning, embeddings, bases documentales o fuentes de retrieval. El resultado puede ser una respuesta errónea, sesgada, insegura o manipulada por un atacante.

Qué se debe evaluar

• Quién puede agregar, editar o eliminar documentos usados por el modelo.
• Cómo se valida la calidad y confiabilidad de fuentes RAG.
• Si existen controles de integridad para datasets y embeddings.
• Si el fine-tuning usa datos revisados y versionados.
• Si el sistema distingue fuentes confiables de contenido externo no confiable.
• Si hay monitoreo de cambios bruscos en respuestas o recuperación de documentos.

Cómo ponerlo a prueba

• Insertar un documento malicioso en una fuente de baja confianza y verificar si domina la respuesta.
• Cambiar metadatos de documentos para intentar elevar su prioridad en retrieval.
• Probar instrucciones escondidas dentro de documentos supuestamente informativos.
• Evaluar si un usuario sin permisos puede contaminar contenido visible para otros tenants.
• Comparar respuestas antes y después de cambios en corpus o embeddings.
• Ejecutar tests de regresión con preguntas canónicas y respuestas esperadas.

Evidencia de control

El equipo debe poder demostrar trazabilidad: fuente, autor, fecha, aprobación, versión y permisos de cada documento crítico. También debe poder revertir cambios en datasets o colecciones vectoriales.

Un cierre aceptable incluye revisión de fuentes, controles de escritura, monitoreo de drift y pruebas adversariales sobre el corpus.

Fuente base: OWASP Top 10 for LLM Applications 2025, LLM04 Data and Model Poisoning.