¡°El sistema falla donde menos te lo esperas¡±. As¨ª evaluaron GPT-4 estos dos espa?oles por encargo de OpenAI

En el verano de 2022, los que buceaban en las aguas m¨¢s profundas de la inteligencia artificial ¡ªinvestigadores, empleados del sector, directores de IA en empresas¡ª sab¨ªan bien que OpenAI preparaba el lanzamiento de su siguiente GPT (su modelo de lenguaje o LLM). Pero no se conoc¨ªan detalles. Ni cu¨¢ndo ser¨ªa, ni qui¨¦n tendr¨ªa acceso, ni qu¨¦ capacidades nuevas demostrar¨ªa respecto a la versi¨®n anterior, GPT-3, de uso restringido. As¨ª estaban Jos¨¦ Hern¨¢ndez-Orallo y C¨¨sar Ferri cuando en septiembre, Lama Ahmad, investigadora de pol¨ªticas en OpenAI, les propuso formar parte del equipo externo que evaluar¨ªa GPT-4.

Hern¨¢ndez-Orallo y Ferri, ambos catedr¨¢ticos del departamento de Sistemas Inform¨¢ticos y Computaci¨®n de la Universitat Polit¨¨cnica de Val¨¨ncia (UPV), pertenecen al mismo grupo de investigaci¨®n y tienen una amplia experiencia en evaluaci¨®n de sistemas de inteligencia artificial. Quiz¨¢ por eso se cuentan entre las poco m¨¢s de 40 personas que OpenAI seleccion¨® en todo el mundo para probar su nuevo modelo de lenguaje. El objetivo era encontrar fallas en el sistema durante los seis meses anteriores al lanzamiento, en marzo de 2023.

¡°Ya desde GPT-3 nos han dado acceso siempre a sus sistemas de manera gratuita, a veces antes del lanzamiento, para hacer investigaci¨®n¡±, indica Hern¨¢ndez-Orallo, que colabora con OpenAI desde hace cuatro a?os y destaca la buena comunicaci¨®n entre la empresa y los investigadores que quieren analizar sus sistemas. El a?o pasado, ese verano en que se rumoreaba la llegada del pr¨®ximo GPT, el acercamiento se estrech¨®. Los investigadores de la UPV organizaron un taller dentro de la Conferencia conjunta internacional sobre inteligencia artificial, uno de los eventos de inteligencia artificial m¨¢s prestigiosos del a?o, y all¨ª conocieron a m¨¢s gente de OpenAI. Recibieron su llamada en septiembre.

¡°Nos dieron bastante libertad¡±, comenta Ferri. ¡°Solo ten¨ªamos pautas a grandes rasgos de lo que deb¨ªamos buscar, como detectar contestaciones que incluyera texto peligroso, sexista o racista. El fin era evitar que la herramienta generara texto que pudiera causar alg¨²n problema. Fuimos jugando y probando diferentes prompts (instrucciones) que pudieran provocar ese tipo de respuestas¡±. Los investigadores formaron un equipo, compuesto por ellos mismos y tres estudiantes: Yael Moros, Lexin Zhou, Wout Schellaert.

¡°Ellos se ve¨ªan que lo iban a lanzar e iban a tener millones de usuarios, as¨ª que cuantas m¨¢s cosas raras probaras m¨¢s puedes cubrir el espacio de las locuras que pueda hacer la gente¡±, explica Hern¨¢ndez-Orallo. Se trataba de ponerle la zancadilla a GPT-4 para ver si tropezaba. Desde los ordenadores de su laboratorio, en la UPV, introduc¨ªan textos en los que de alguna forma invitaban al sistema a tener una contestaci¨®n con un sesgo peligroso.

En busca de fallos

Ferri confiesa que le resultaba emocionante tener acceso en primicia a la herramienta. GPT-3 (lanzado de forma restringida en 2020) ya funcionaba muy bien, as¨ª que los investigadores sab¨ªan que ten¨ªan entre manos lo m¨¢s avanzado en inteligencia artificial generativa.

Hab¨ªa mucho que probar y cada uno experimentaba en el campo que m¨¢s le interesaba. Hern¨¢ndez-Orallo explor¨® la fiabilidad: ¡°El sistema falla donde t¨² menos te lo esperas. Y esto es bastante habitual con los modelos de lenguaje. Te resuelve una ecuaci¨®n diferencial, pero luego no te suma bien una suma de cinco d¨ªgitos. Una persona de la calle se conf¨ªa cuando hace bien una ecuaci¨®n diferencial de primero de carrera. Pero en el ¨²ltimo paso del problema tiene que hacer una suma de dos vectores y falla¡±. El catedr¨¢tico de la UPV describe esta problem¨¢tica como un desajuste entre las expectativas del usuario y la capacidad de la IA.

No todos los expertos seleccionados por OpenAI para evaluar GPT-4 ten¨ªan un bagaje computacional. Algunos ten¨ªan formaci¨®n en leyes, en medicina, en derechos humanos o en defensa contra armas qu¨ªmicas. El objetivo era pulir el sistema. Uno de los evaluadores, seg¨²n recoge el informe t¨¦cnico que public¨® OpenAI sobre GPT-4, lograba mediante una instrucci¨®n que el sistema redactara paso por paso c¨®mo sintetizar un compuesto qu¨ªmico peligroso de forma casera. Este tipo de respuestas se invalidaban para evitar que persistieran en la versi¨®n abierta al p¨²blico.

Y en medio de este proceso de revisi¨®n en la sombra se desat¨® la tormenta. El 30 de noviembre de 2022, OpenAI lanz¨® ChatGPT. ¡°Para nosotros fue una sorpresa. Nadie nos hab¨ªa dicho que hab¨ªa un proyecto en paralelo¡±, cuenta Hern¨¢ndez-Orallo. ¡°De la noche a la ma?ana aparece ChatGPT, que ni siquiera ten¨ªamos claro si era la versi¨®n que nosotros est¨¢bamos evaluando o no¡±. Al cabo de unos d¨ªas se aclar¨® que el sistema lanzado en abierto se basaba en un GPT-3.5, una versi¨®n previa a la que ellos evaluaban.

Los investigadores siguieron con su trabajo. Quedaban a¨²n unos meses para el lanzamiento de GPT-4 y segu¨ªan enrocados en su asombro. ¡°Ve¨ªamos que era capaz de resolver una sopa de letras, donde tienes que buscar patrones de palabras que aparecen en vertical o diagonal. Era algo inesperado. Nadie esperaba que funcionara as¨ª¡±, comenta Ferri.

Ahora ChatGPT permite introducir gr¨¢ficos en una consulta, pero en aquel momento los investigadores no pod¨ªan hacerlo. Para probar sus capacidades, le pasaban coordenadas espaciales que unidas entre s¨ª formaban una figura. ¡°Le dec¨ªamos ¡®te voy a pasar las coordenadas de unos trazos¡¯. Le explicabas que el primer trazo iba de (0,0) a (5,5) y as¨ª¡±, indica Ferri. ¡°Esto si t¨² se lo das a un humano, le cuesta, lo tenemos que pintar. Y GPT-4 era capaz de adivinar las figuras, como cuadrados, rect¨¢ngulos y dibujos m¨¢s elaborados, como un coche o un avi¨®n¡±. Era una capacidad de abstracci¨®n que no se hab¨ªa visto antes en inteligencia artificial. El investigador lo resume as¨ª: ¡°Hab¨ªamos pasado la barrera del texto¡±.

¡°Con GPT-4 s¨ª se pueden romper cosas¡±

ChatGPT, al principio con el modelo GPT-3.5 y ahora tambi¨¦n con GPT-4, fue el primer sistema de generaci¨®n de texto avanzado en llegar a las masas. Y los investigadores eran conscientes de que esto significaba un salto cualitativo salpicado de incertidumbres. ¡°Es una irresponsabilidad desde el punto de vista cognitivo¡±, afirma Hern¨¢ndez-Orallo sobre el lanzamiento al p¨²blico masivo de la herramienta. ¡°No tanto porque el sistema se vaya a ir de madre o vaya a soltar improperios¡±, a?ade. Lo que le preocupa es que ¡°estos sistemas puedan llevar a atrofias cognitivas o a gente que use este sistema como su terapeuta o su compa?ero de vida. Este tipo de cosas est¨¢n pasando a un nivel mucho menor de lo que pod¨ªa haber pasado, pero est¨¢n pasando¡±.

Esta inquietud entronca con el cataclismo que hubo en OpenAI, cuando el consejo de administraci¨®n despidi¨® al CEO Sam Altman, solo para devolverlo a su puesto tras unos d¨ªas de truculenta inestabilidad. Por lo que ha trascendido, en el fondo de esta pugna estaba la pelea entre priorizar o no la seguridad de la inteligencia artificial frente a su despliegue comercial.

Los investigadores encuentran sentido a este debate: ¡°Hasta ahora no hab¨ªamos llegado a un nivel tan avanzado en IA, as¨ª que tampoco se pod¨ªan romper muchas cosas. Con GPT-4 s¨ª que vemos que se pueden romper cosas, con lo cual igual necesitamos tom¨¢rnoslo con calma¡±, apunta Ferri, en referencia al deseo expresado por parte de la comunidad investigadora de frenar la carrera por la IA con el fin de ganar margen para evaluar su impacto social.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter semanal.