Dentro del OWASP TOP 10 para LLM, el LLM07 aborda el «Insecure Plugin Design», referente al uso de plugins conectados a modelos LLM con fallos de seguridad. Estos fallos pueden resultar en vulnerabilidades de seguridad para GenAI Apps o GenAI Services que emplean modelos LLM. La idea es conectar modelos LLM, entrenados con datos públicos o privados, con datos personales, utilizando plugins y arquitecturas RAG (Retrieval Augmented Generation).
Varios expertos exponen cómo, a través de arquitecturas RAG, se puede realizar un Retrieval de datos antes de enviar un Prompt al modelo LLM, permitiendo un «Augmented Prompting» enriquecido con información adicional. Sin embargo, se advirtió sobre posibles riesgos, como conexiones inseguras que podrían llevar a filtraciones de datos personales o privados.
En un ejemplo práctico utilizando ChatGPT y Google Drive, se demostró cómo la conexión de plugins sin controles de seguridad puede resultar en vulnerabilidades, como la filtración masiva de datos desde una fuente externa vinculada al modelo LLM.
Estos casos ilustran cómo, en el mundo de Pentesting GenAI Apps & Services, es crucial implementar controles de seguridad para evitar posibles bugs y fallos que podrían comprometer la privacidad y seguridad de los usuarios.
