En la conferencia Defcon 2023, las empresas de IA se asociaron con grupos de integridad algorítmica para desafiar a los asistentes a buscar debilidades en las plataformas de IA generativa. Este ejercicio contó con el respaldo del gobierno de EE. UU., abriendo estos sistemas a escrutinio. El grupo ético Humane Intelligence y el Instituto Nacional de Estándares y Tecnología de EE. UU. anunciaron una convocatoria para participar en la ronda clasificatoria de un esfuerzo nacional de red teaming para evaluar el software de productividad de oficina de IA.
La clasificatoria, conocida como ARIA, se llevará a cabo en línea y en persona a fines de octubre en Virginia. El objetivo es expandir las capacidades para llevar a cabo pruebas rigurosas de la seguridad, resiliencia y ética de las tecnologías de IA generativa.
Theo Skeadas, jefe de personal de Humane Intelligence, señaló la importancia de democratizar la capacidad de llevar a cabo evaluaciones y asegurarse de que todos los usuarios puedan evaluar si el modelo satisface sus necesidades.
El evento final dividirá a los participantes en un equipo rojo y un equipo azul. Los participantes usarán el perfil AI 600-1, parte del marco de gestión de riesgos de IA de NIST, como criterio para medir si el equipo rojo puede producir resultados que violen el comportamiento esperado de los sistemas.
Mientras tanto, Rumman Chowdhury, fundadora de Humane Intelligence, destacó que la asociación con NIST es solo una de varias colaboraciones de red teaming de IA que anunciarán en las próximas semanas. El esfuerzo tiene como objetivo hacer que las empresas y organizaciones que desarrollan algoritmos opacos ofrezcan transparencia y responsabilidad a través de mecanismos como «desafíos de prejuicios«.
Theo Skeadas enfatizó la importancia de la participación de un espectro más amplio de la comunidad en el proceso de prueba y evaluación de sistemas de IA para asegurar la representación de grupos menos representados.
Vía Wired
