Microsoft ha lanzado PyRIT, un marco de automatización de acceso abierto diseñado para identificar proactivamente riesgos en sistemas de inteligencia artificial (IA) generativos. PyRIT se puede utilizar para evaluar la robustez de los puntos finales de grandes modelos de lenguaje (LLM) ante diferentes categorías de daño, como fabricación, uso indebido y contenido prohibido. Además, se puede utilizar para identificar daños de seguridad y privacidad.
La herramienta cuenta con cinco interfaces y un motor de puntuación que ofrece dos opciones diferentes para puntuar las salidas del sistema de IA objetivo. PyRIT permite a los investigadores comparar el rendimiento de su modelo con futuras iteraciones y detectar cualquier degradación. Aunque Microsoft enfatiza que PyRIT no es un reemplazo para la prueba de equipo rojo manual, la herramienta puede resaltar puntos críticos de riesgo y señalar áreas que requieren mayor investigación.
Este lanzamiento se produce después de que Protect AI revelara varias vulnerabilidades críticas en plataformas populares de cadena de suministro de IA. Al utilizar palabras clave como «marco de automatización», «sistemas de inteligencia artificial», «evaluación de robustez», «categorías de daño», «identificar daños de seguridad y privacidad«, «motor de puntuación» y «vulnerabilidades críticas«, se mejora la optimización para motores de búsqueda y la relevancia para la audiencia objetivo.
Vía The Hacker News
