La inteligencia artificial en la universidad

Dentro de los usos de las nuevas tecnolog¨ªas en el ¨¢mbito de la educaci¨®n, la inteligencia artificial ha adquirido un papel preponderante en el imaginario colectivo. Sin embargo, pese a que los procesos de ense?anza/aprendizaje son particularmente delicados por sus implicaciones y consecuencias, no todas las aplicaciones de la IA tienen las mismas repercusiones. Como explican Wang, Kapoor, Barocas y Narayanan (Against predictive optimization-SSRN, 2022), los sistemas que usan aprendizaje autom¨¢tico para predecir resultados futuros y toman decisiones sobre individuos con base en esas predicciones presentan un mayor n¨²mero de problemas relacionados con la equidad, la imparcialidad, la justicia, la protecci¨®n de colectivos vulnerables o la mitigaci¨®n de desigualdades.

Como ejemplo de este tipo de sistemas bienintencionados, consideremos uno destinado a prevenir el abandono en un grado universitario. Es posible desarrollar un modelo de IA que prediga la nota de cada estudiante al final de su primer a?o de universidad exclusivamente a partir de los datos que consigne en su solicitud de matr¨ªcula, con el objetivo de identificar personas que est¨¦n en riesgo inicial de abandono e intervenir pronto sobre ellas.

Las empresas que comercializan estas aplicaciones promocionan sus productos present¨¢ndolos como capaces de predicciones ¡°precisas¡±, ¡°imparciales¡± y ¡°eficientes¡±. Sin embargo, hay un conjunto de limitaciones severas que son inherentes a este tipo de aplicaci¨®n de la IA y que erosionan fatalmente su legitimidad. Veamos algunas:

A. Buenas predicciones no tienen por qu¨¦ llevar a buenas decisiones. Un sistema algor¨ªtmico est¨¢ basado en datos, pero estos no incluyen informaci¨®n sobre el efecto de futuras intervenciones: no se optimiza el impacto real de las mismas. Por ejemplo, puede haber estudiantes para quienes la predicci¨®n indique que est¨¢n en riesgo de abandono, pero esto puede deberse a que, pongamos, est¨¦n en mitad de una mudanza. En casos como ese, la intervenci¨®n ser¨¢ obviamente mucho menos eficaz. La misma intervenci¨®n, decidida por una persona, al menos ofrecer¨¢ mecanismos para ser revertida (un correo al equipo docente ser¨ªa suficiente). Las intervenciones autom¨¢ticas pueden afectar irremediablemente a lo predicho, y tambi¨¦n se comprueba que la agregaci¨®n de predicciones individuales ¨®ptimas no tiene por qu¨¦ llevar a una decisi¨®n global ¨®ptima. Finalmente, algunos tipos de intervenciones se adaptan mejor a una formulaci¨®n predictiva que otros. Esto restringe las intervenciones concebibles, y puede resultar en que quienes toman las decisiones descarten aquellas no basadas en IA, pese a que podr¨ªan llevar a mejores resultados. Por ejemplo, puede ser m¨¢s f¨¢cil imaginar un sistema para predecir si un trabajo ha sido plagiado usando ChatGPT que preguntarse si un enunciado que pueda ser respondido mediante ChatGPT es un enunciado adecuado que permite testar si el alumnado ha adquirido las competencias necesarias.

B. Es dif¨ªcil medir aquello que realmente nos preocupa ya que, generalmente, lo que queremos predecir no es directamente observable: es un ¡°constructo¡±. As¨ª, en su lugar, es necesario conformarse con variables que pueden, de forma indirecta, acercarse a una representaci¨®n del constructo. Por ejemplo, usamos las notas medias como indicador de ¨¦xito en el aprendizaje, pese a la cantidad de evidencias de las limitaciones de los ex¨¢menes como forma de evaluaci¨®n. El hecho de que el propio constructo no sea medible supone que siempre habr¨¢ un desajuste entre el objetivo de la predicci¨®n (la variable medible) y lo que supuestamente mide. Por supuesto, esto pone en cuesti¨®n cualquier afirmaci¨®n sobre la precisi¨®n del sistema.

C. Los datos de entrenamiento no suelen ser representativos de los datos reales, y, como sabe cualquier estudiante de IA, cuando esto sucede es arriesgado hacer afirmaciones sobre las bondades del modelo. Pueden ocurrir variaciones en la distribuci¨®n de probabilidad de los datos por m¨²ltiples motivos. Por ejemplo, la poblaci¨®n usada para entrenar es, frecuentemente, distinta de la poblaci¨®n objetivo. Puede que solo haya datos de un subconjunto de personas, o que la poblaci¨®n evolucione o, peor, que la propia intervenci¨®n del sistema la hagan evolucionar.

D. Si el objetivo es predecir comportamientos, tenemos que asumir que no todo es predecible (con o sin IA). Hay muchos motivos por los que las predicciones est¨¢n condenadas a ser imperfectas: algunos pr¨¢cticos (por ejemplo, los l¨ªmites a la capacidad de observar las vidas de las personas afectadas) y otros m¨¢s fundamentales, como que ciertas decisiones son con frecuencia fruto del momento: actos irreflexivos que es imposible predecir. Todo esto contradice una de las promesas de la IA: la precisi¨®n. Esta es clave para que las instituciones consigan sus objetivos, por ejemplo, evitar el abandono del alumnado, o recomendarles materiales o cursos. Si las predicciones fueran aleatorias, la gente perder¨ªa confianza en la instituci¨®n. Sin embargo, no est¨¢ claro del todo qu¨¦ nivel concreto de precisi¨®n resulta aceptable en cada caso. No existe un consenso acerca de qu¨¦ constituye un nivel de precisi¨®n aceptable en cada caso, y c¨®mo deber¨ªan ponderarse los costes relativos de los falsos positivos y los falsos negativos.

E. Los algoritmos no funcionan igual para distintos colectivos: no es posible mitigar los sesgos porque la desigualdad depende de condiciones subyacentes. Al tratar de intervenir en esto, es frecuente poner el foco en la parte t¨¦cnica del sistema. Sin embargo, es dif¨ªcil que una intervenci¨®n sobre el algoritmo para mitigar desigualdades estad¨ªsticas cambie las condiciones de partida que dieron lugar a las desigualdades. Tambi¨¦n es importante recordar que la mejor intervenci¨®n en una situaci¨®n dada no tiene por qu¨¦ ser algor¨ªtmica. El problema es que las medidas no algor¨ªtmicas, que ahondan con m¨¢s profundidad en la realidad y que generalmente involucran a personas, son costosas y est¨¢n en conflicto con otra promesa de la IA: la correcci¨®n tecnol¨®gica de sesgos humanos.

F. Dado que son imperfectos y tienen tasas de error distintas de cero, los algoritmos decisorios en contextos humanos requieren mecanismos accesibles para entender e impugnar las decisiones. Debe haber una explicaci¨®n acompa?ando cada decisi¨®n, y la primera debe permitir a cualquiera entender por qu¨¦ fue tomada la segunda, incluyendo los datos personales involucrados as¨ª como detalles sobre el modelo utilizado. Adem¨¢s, ha de existir un procedimiento accesible para revisar y corregir las decisiones que sean impugnadas. Sin embargo, dada la complejidad de estos sistemas caja-negra, la inclusi¨®n de mecanismos de impugnabilidad requerir¨ªa muchos recursos humanos y t¨¦cnicos (recolectar y presentar los datos usados, interpretar las decisiones, educar a los sujetos de las mismas acerca del mecanismo de toma de decisiones, revisar las impugnaciones¡­), cosa que pone en cuesti¨®n su mayor eficiencia.

En definitiva, esta acumulaci¨®n de carencias inherentes a los sistemas decisorios sobre personas a partir de predicciones basadas en t¨¦cnicas de aprendizaje autom¨¢tico afecta de forma crucial a su legitimidad. Pese a que ciertamente pueden existir formas de aliviarlas en casos concretos, la carga de prueba queda del lado de las empresas comercializadoras. Es evidente que hoy en d¨ªa la IA es una tecnolog¨ªa inmadura. Por eso, universidades y otras instituciones deber¨ªan aplicar un principio de prudencia radical a la hora de optar por soluciones basadas en IA para intervenir en los procesos de ense?anza y aprendizaje, ya que los principios b¨¢sicos de su funci¨®n social pueden verse gravemente afectados.