Una asociación de empresas tecnológicas de IA, grupos de integridad algorítmica y el gobierno de EE. UU. llevó a cabo un ejercicio de «red teaming» en la conferencia de hackers Defcon 2023 en Las Vegas para descubrir vulnerabilidades en las plataformas de IA generativa. Este ejercicio abrió estos sistemas al escrutinio público. Ahora, Humane Intelligence y el Instituto Nacional de Estándares y Tecnología de EE. UU. han invitado a residentes de EE. UU. a participar en la ronda de calificación de un esfuerzo nacional de red teaming para evaluar el software de productividad de oficina con IA.
La ronda de calificación será en línea y está abierta a desarrolladores y al público, como parte de los desafíos de IA del NIST, conocidos como Evaluación de Riesgos e Impactos de la IA (ARIA). Los participantes seleccionados participarán en un evento de red teaming en persona en la Conferencia sobre Aprendizaje Automático Aplicado a la Seguridad de la Información (CAMLIS) en Virginia. El objetivo es ampliar las capacidades para realizar pruebas rigurosas de la seguridad, la resiliencia y la ética de las tecnologías de IA generativa.
Theo Skeadas, jefe de personal de Humane Intelligence, expresó que se busca democratizar la capacidad de evaluar modelos de IA para que los usuarios puedan determinar si estos son aptos para sus necesidades. En la conferencia CAMLIS, los participantes formarán equipos rojos y azules para atacar y defender los sistemas de IA, respectivamente. Utilizarán el perfil AI 600-1 del NIST para medir si el equipo rojo puede violar el comportamiento esperado de los sistemas.
Rumman Chowdhury, fundadora de Humane Intelligence y contratista en la Oficina de Tecnologías Emergentes del NIST, destacó que ARIA está recopilando comentarios de usuarios para comprender las aplicaciones del mundo real de los modelos de IA. Chowdhury afirmó que esto ayudará a la evolución del campo hacia una evaluación científica rigurosa de la IA generativa.
Chowdhury y Skeadas anunciaron futuras colaboraciones de red teaming con agencias gubernamentales de EE. UU., gobiernos internacionales y ONG. El objetivo es fomentar la transparencia y responsabilidad en el desarrollo de algoritmos, con la colaboración de empresas y organizaciones, a través de mecanismos como «desafíos de sesgo«. Asimismo, buscan la participación de grupos menos representados en el proceso de prueba y evaluación de sistemas de IA.
Vía Wired
