Jos¨¦ Hern¨¢ndez-Orallo, experto en IA: ¡°No se pueden usar los baremos de los seres humanos para evaluar la inteligencia artificial¡±

Jos¨¦ Hern¨¢ndez-Orallo (Kennington, Londres, 51 a?os) consigui¨® su primer ordenador, con 10 a?os, en una rifa. ¡°Era un Spectrum, mi hermano se hac¨ªa una colecci¨®n de una enciclopedia de inform¨¢tica por fasc¨ªculos y, si la acababas, entrabas en la rifa¡±, recuerda. La ganaron. ¡°Jug¨¢bamos, como cualquier ni?o de ahora, pero tambi¨¦n program¨¢bamos, ten¨ªamos un control completo del ordenador. No son como los de ahora¡±. Hoy es doctor y profesor de la Universidad Polit¨¦cnica de Valencia, experto mundial en evaluaci¨®n de inteligencia artificial y ha liderado la carta que, junto a otros 15 investigadores, ha publicado la revista Science en la que reclaman la necesidad de ¡°repensar¡± la evaluaci¨®n de las herramientas de IA para avanzar hacia unos modelos m¨¢s transparentes y saber cu¨¢l es su eficacia real, qu¨¦ es lo que pueden y no pueden hacer.

Pregunta. ?Qu¨¦ le parece la decisi¨®n de Geoffrey Hinton de dejar su trabajo en Google para poder advertir con mayor libertad de los peligros que plantea la inteligencia artificial?

Respuesta. Lo que dice Hinton es bastante razonable, pero me sorprende un poco que lo diga ahora, cuando eso mismo lo venimos diciendo desde hace tiempo en centros como el Centre for the Study of Existential Risk o el Leverhulme Centre for the Future of Intelligence [ambos de la Universidad de Cambridge y a los que est¨¢ afiliado]. Y yo creo que ¨¦l ha dicho cosas parecidas antes, quiz¨¢s no tan claras ni tan alto. Me sorprende que Hinton se d¨¦ cuenta ahora que los sistemas artificiales y naturales son muy diferentes, y lo que vale para unos (capacidades, evaluaci¨®n, control, ¨¦tica, etc.) no tiene por qu¨¦ funcionar para los otros, aparte del hecho obvio de la escala y la multiplicidad (se pueden replicar, comunicar y actualizar mucho m¨¢s r¨¢pido que los humanos). Pero es bienvenido que un cient¨ªfico tan relevante diga esto as¨ª y ahora. Hay una coincidencia muy alta en los riesgos, aunque podamos diferir en las prioridades. Por ejemplo, yo no creo que la generaci¨®n de material falso (texto, im¨¢genes o v¨ªdeo) sea tan problem¨¢tico, ya que subir nuestro escepticismo y obligarnos a contrastar las fuentes es sano. Me preocupan m¨¢s algunas soluciones al ¡°problema del alineamiento¡± que est¨¢n permitiendo que ciertos pa¨ªses, grupos pol¨ªticos o religiosos alineen la IA a sus intereses e ideolog¨ªa, o que se censuren los sistemas de IA en una direcci¨®n particular. La palabra ¡°alineamiento¡±, entendida como ¡°alineamiento ¨²nico¡±, me recuerda ¨¦pocas muy oscuras de la humanidad.

P. ?C¨®mo lleg¨® a la inteligencia artificial?

R. Hab¨ªa otra enciclopedia en casa, de la evoluci¨®n humana. Me fascinaba la inteligencia, c¨®mo hab¨ªa evolucionado y quer¨ªa entenderla. Tambi¨¦n le¨ªa libros de filosof¨ªa. Y, con todas las piezas juntas, estudi¨¦ Inform¨¢tica porque era lo que estudiaba mi hermano aunque, entonces, la inteligencia artificial era la mitad de una asignatura. Despu¨¦s hice la tesis en el departamento de L¨®gica y Filosof¨ªa de la Ciencia en la Universidad de Valencia, que ten¨ªa un programa m¨¢s orientado a la filosof¨ªa de la inteligencia artificial. Me cautiv¨® y tampoco ten¨ªa m¨¢s opciones porque no ten¨ªamos recursos. Fue un a?o en el que consegu¨ª adem¨¢s trabajar en lo que me gustaba, escribir un libro y hacer la prestaci¨®n social sustitutoria. A veces no eliges, va una cosa detr¨¢s de la otra pero al final me dedico a lo que siempre me ha gustado que es entender la inteligencia, tanto la natural como la artificial.

P. ?Qu¨¦ es la evaluaci¨®n de los sistemas de inteligencia artificial?

R. Sabemos para qu¨¦ sirven las bicis o los robots de cocina, y las tareas que pueden hacer, y se eval¨²an desde el punto de vista de calidad. Hasta hace poco, los sistemas de inteligencia artificial iban por ese camino. Si ten¨ªan que clasificar perros y gatos, lo que interesaba es que clasificaran lo mejor posible perros y gatos. Eran sistemas orientados a una tarea. Si sabes c¨®mo evaluarla, sabes si sirve para la tarea que quieres y cu¨¢ntos fallos comete. Pero eso difiere mucho de sistemas como GPT4, que tienen capacidad cognitiva.

P. ?C¨®mo son ahora esos sistemas?

R. Un sistema es bueno si te vale, si cumple tus expectativas, si no te sorprende negativamente. La IA son sistemas de prop¨®sito general. Hay que determinar qu¨¦ son capaces de hacer en base a la manera que t¨² les das las instrucciones. Son bastante buenos pero no son seres humanos, se piensa que van a reaccionar igual que una persona y ah¨ª empiezan los problemas. Contestan con cierta seguridad y crees que es correcto. Eso no quiere decir que los humanos contesten siempre correctamente pero estamos acostumbrados a calibrar a la gente, saber si son fiables o no y estos sistemas no funcionan con las intuiciones que usamos con los seres humamos.

P. ?Y c¨®mo se puede mejorar las evaluaciones en estas herramientas de prop¨®sito general, capaces de hacer tantas cosas?

R. Pues es algo que se ha intentado. Se llama evaluaci¨®n basada en capacidades, no en tareas. Hay una enorme tradici¨®n y una ciencia para ese tipo de evaluaciones pero muchos se han lanzado a usar los mismos test que se utilizan para los humanos e intentar aplicarlos en IA y no est¨¢n pensados para m¨¢quinas. Es como usar un term¨®metro de pared para tomar la temperatura corporal, no va a funcionar.

P. ?Pero existe la forma de evaluar la inteligencia artificial por capacidades?

R. Es lo que estamos intentando desarrollar. Por ejemplo, GPT4 da una evaluaci¨®n con test, sobre todo de educaci¨®n, test de acceso a la universidad, de qu¨ªmica, f¨ªsica, de lengua, un poco de todo. Intentar comparar el resultado que obtiene con los de los humanos y decir que est¨¢ al 70% del percentil no tiene ning¨²n sentido. Puede ser un indicador pero eso no quiere decir que est¨¢ por encima del 70% de la gente. Cuando aplicas estos instrumentos sobre humanos asumes un mont¨®n de cosas, que puede traer un caf¨¦, por ejemplo¡­ ahora dile al sistema que te traiga un caf¨¦.

P. Entonces ?no hay manera de evaluarlos?

R. No podemos medir c¨®mo funcionan por tareas porque no acabar¨ªamos nunca. Para la evaluaci¨®n de un sistema como estos hay que extraer indicadores, en este caso capacidades, que permitan extrapolar c¨®mo va a funcionar el sistema en el futuro. No es dar un n¨²mero. Debemos poder comparar humanos y sistemas de inteligencia artificial pero se est¨¢ haciendo mal. Es un sistema muy complejo, pero no pierdo la esperanza. Estamos como estaba la f¨ªsica en siglo XV o XVI. Ahora es todo muy confuso. Hay que romper esquemas y el objetivo final es, en d¨¦cadas o siglos, llegar a una serie indicadores universales que se puedan aplicar no solo a humanos y a inteligencia artificial sino a otros animales.

P. ?Entiende que d¨¦ miedo?

R. Nosotros somos una especie en el contexto de la evoluci¨®n y solo somos un tipo de inteligencia de las que puede haber. A veces nos creemos que somos sublimes pero hemos llegado ah¨ª por un mont¨®n de azares de la evoluci¨®n. Lo m¨¢s parecido son los bonobos y hay un salto importante porque hemos adquirido lenguaje y creemos que somos una c¨²spide en la escala natural y no es as¨ª. Con la inteligencia artificial, nos preguntamos cu¨¢l es nuestro lugar. La diferencia es que nuestra evoluci¨®n se nos ha dado y existe el suficiente consenso de que no juguemos ni nadie empiece a hacer especies nuevas, pero con la inteligencia artificial estamos jugando y cuando juegas te puedes quemar. Estamos llegando a unos niveles de sofisticaci¨®n que los juegos no son bromas y hay que tom¨¢rselos en serio. Es fascinante, es como crear un nuevo mundo.

P. Los autores de la carta proponen una hoja de ruta para los modelos de IA, en la que sus resultados se presenten de forma m¨¢s matizada y los resultados de la evaluaci¨®n caso por caso se pongan a disposici¨®n del p¨²blico.

R. S¨ª. El nivel de escrutinio ha de ser mayor. En otros casos, con los datos de entrenamiento, algoritmo y c¨®digo, lo puedo ejecutar pero con estos sistemas es imposible por el coste computacional y energ¨¦tico.

P. Pero ?pueden ser m¨¢s transparentes?

R. Se puede ser transparente en el proceso. Lo que pedimos es que se sea m¨¢s detallado en los resultados. Que se d¨¦ acceso a los detalles en cada uno de los ejemplos. Si hay un mill¨®n de ejemplos quiero los resultados para cada uno del mill¨®n de ejemplos porque yo no tengo capacidad de reproducir eso y no solo porque no tengo acceso al c¨®mputo y eso limita lo que es b¨¢sico en ciencia que es el escrutinio por pares. No tenemos acceso a las partes en las que falla.

P. ?La regulaci¨®n es una soluci¨®n?

R. Es necesaria pero se tiene que hacer bien. Si no se regula, habr¨¢ rebotes seguro. Si no regulas la aviaci¨®n, se producen accidentes, la gente pierde confianza y la industria no despega. Si pasa algo gordo, la reacci¨®n de la sociedad puede ser ponerse en contra de estos sistemas y a medio y largo plazo tendr¨¢n menos difusi¨®n y uso del que pueden tener para unas herramientas que, en general, son positivas para la sociedad. Hay que regular pero no frenar demasiado. La gente tiene miedo a volar pero sabemos que la regulaci¨®n de la aviaci¨®n es de las m¨¢s estrictas, que los aviones son uno de los medios de transporte m¨¢s seguros y las compa?¨ªas saben que, a largo plazo, es beneficioso para ellas.

P. ?Puede haber una regulaci¨®n para todos, mundial?

R. Existe una Agencia de Energ¨ªa At¨®mica y acuerdos de ADN recombinante. Ha fallado en los alimentos modificacdos gen¨¦ticamente, los pa¨ªses no se ponen de acuerdo y en Europa estamos consumiendo estos alimentos pero no podemos hacerlos, y eso es lo que nos puede pasar. La regulaci¨®n de la UE puede tener errores pero hay que lanzarse y ponerla en marcha.

P. ?Cree que esta regulaci¨®n debe ser estricta o laxa?

R. Creo que se ha de particularizar al volumen. Ha de ser estricta con los grandes y m¨¢s laxa con los peque?os. No le puedes exigir lo mismo a Google que a una startup de cuatro chavales en la universidad porque si no matas la innovaci¨®n.

P. ?Ha existido de nuevo un desfase entre la regulaci¨®n y la ciencia?

R. Es que la inteligencia artificial va muy r¨¢pida y hay cosas que no se pueden anticipar. Es dif¨ªcil regular algo que es tan transversal, tan cognitivo. Vamos lentos pero tambi¨¦n llegamos tarde con las redes sociales y tardamos siglos con el tabaco.

P. ?Arrojar¨ªa algo de luz saber c¨®mo funcionan las cajas negras?

R. Las cajas negras no explican qu¨¦ es lo que hace el sistema. Para realmente saber qu¨¦ es, cu¨¢ndo falla y qu¨¦ expectativas tiene, se necesita mucha evaluaci¨®n. Para evaluar a los alumnos no les hacemos un esc¨¢ner, les hacemos un test. Si queremos saber c¨®mo funciona un coche, queremos saber si han probado si se sale o no en una curva y no me va a ayudar saber cu¨¢ntas buj¨ªas tiene sino saber cu¨¢ntas pruebas han hecho. Por eso es fundamental el tema de la evaluaci¨®n. Lo que queremos es probar esos sistemas hasta delimitar en qu¨¦ ¨¢rea lo puedes usar de una manera segura. As¨ª se eval¨²an coches y aviones.

P. ?Por qu¨¦ la inteligencia artificial crea esa ansiedad?

R. Se est¨¢n haciendo esfuerzos de divulgaci¨®n pero su objetivo no es entender c¨®mo funciona. La cr¨ªtica a OpenAI es que ha dado acceso al sistema m¨¢s potente de inteligencia artificial a cientos de millones de personas, incluidos ni?os y personas con problemas mentales, con una cl¨¢usula con la que no se hacen responsables y esa es la cultura que tenemos hoy en d¨ªa. Nos bajamos aplicaciones y nadie se hace responsable. Creo que han pensado que si no hacen que la gente lo use, c¨®mo van a saber los riesgos. Pero se pueden hacer pruebas piloto. Ellos dicen que existe un acceso gradual pero es una pol¨ªtica de carrera. Es un reto a Google en su negocio buscadores para ser l¨ªderes. Y la gente tiene miedo porque unos cuantos actores lo dominan todo y es un oligopolio.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y Twitter o apuntarte aqu¨ª para recibir nuestra newsletter semanal.