Cuando el examinador es una m¨¢quina

Imagine que realiza un examen de la universidad y, en lugar de obtener la nota puesta por un catedr¨¢tico unas semanas despu¨¦s, hace clic en el bot¨®n enviar y recibe la nota al instante, despu¨¦s de que el trabajo haya sido puntuado por un programa inform¨¢tico. M¨¢s a¨²n: imagine que el sistema le permite reescribir inmediatamente la prueba para intentar mejorar la nota.

EdX, una empresa sin ¨¢nimo de lucro fundada por la Universidad de Harvard y el Instituto Tecnol¨®gico de Massachusetts a fin de ofrecer cursos en Internet, ha presentado este sistema y va a hacer que su software automatizado est¨¦ disponible gratuitamente en la red para cualquier instituci¨®n que quiera usarlo. El programa emplea la inteligencia artificial para puntuar trabajos y breves respuestas escritas, lo que libera a los catedr¨¢ticos para que puedan dedicarse a otras tareas.

Aunque los sistemas automatizados de puntuaci¨®n para pruebas de respuesta m¨²ltiple y verdadero o falso ya se usan de manera generalizada, la utilizaci¨®n de la tecnolog¨ªa de la inteligencia artificial para puntuar respuestas extensas todav¨ªa no ha recibido el respaldo general de los educadores y hay muchos que la critican.

Anant Agarwal, presidente de EdX, vaticina que el software de puntuaci¨®n instant¨¢nea puede ser una herramienta pedag¨®gica ¨²til, al permitir a los estudiantes hacer pruebas y escribir trabajos una y otra vez y mejorar la calidad de sus respuestas.

Pero los esc¨¦pticos alegan que el sistema automatizado no puede igualar a los profesores reales. Les Perelman, uno de los detractores del sistema desde hace mucho tiempo, ha atra¨ªdo la atenci¨®n en varias ocasiones por reunir trabajos sin sentido que han enga?ado a los programas de calificaci¨®n mediante software para que les pusiesen notas altas.

¡°Mi primera y principal objeci¨®n a la investigaci¨®n es que no hay ninguna prueba estad¨ªstica v¨¢lida que compare el software directamente con la correcci¨®n por humanos¡±, se?ala Perelman, director de escritura jubilado y actualmente investigador del Massachusetts Institute of Technology.

Forma parte de un grupo de educadores que han hecho circular una petici¨®n en contra del programa de evaluaci¨®n automatizada. El grupo, llamado Profesionales contra la Evaluaci¨®n Autom¨¢tica de Trabajos de Estudiantes en Pruebas de Alto Nivel, ha recogido casi 2.000 firmas. ¡°Afrontemos la realidad de la evaluaci¨®n autom¨¢tica de los trabajos¡±, se lee en un p¨¢rrafo de la declaraci¨®n del grupo. ¡°Los ordenadores no saben leer. No pueden medir los elementos esenciales de la comunicaci¨®n escrita eficaz: precisi¨®n, razonamiento, suficiencia de las pruebas, sentido com¨²n, postura ¨¦tica, argumentaci¨®n convincente, organizaci¨®n l¨®gica, claridad y veracidad¡±.

La herramienta de evaluaci¨®n de EdX exige que profesores o correctores humanos punt¨²en primero 100 trabajos. El sistema usa luego t¨¦cnicas de aprendizaje autom¨¢tico para entrenarse. Agarwal cree que el software se est¨¢ acercando a las capacidades de la correcci¨®n humana. ¡°Hay un largo camino por delante, pero las ventajas son inmensas¡±, explica. ¡°Hemos descubierto que la calidad de la calificaci¨®n es similar a la variaci¨®n que se puede encontrar entre instructores diferentes¡±.

EdX no es la primera que usa la tecnolog¨ªa de la evaluaci¨®n automatizada, que se remonta a los primeros ordenadores centrales de los sesenta. Varias empresas ofrecen programas comerciales para puntuar las respuestas de las pruebas escritas. En algunos casos, el programa se usa como un ¡°segundo lector¡± para comprobar la fiabilidad de los correctores humanos.

La Universidad de Stanford, en California, anunci¨® hace poco que trabajar¨ªa con EdX para desarrollar un sistema educativo conjunto que incorporase la tecnolog¨ªa de evaluaci¨®n automatizada. Dos nuevas empresas, Coursera y Udacity, fundadas hace poco por miembros del profesorado de Stanford a fin de crear ¡°cursos en Internet abiertos a todo el mundo¡±, tambi¨¦n se dedican a los sistemas de evaluaci¨®n automatizada. ¡°Los estudiantes tienden de forma natural a reenviar el trabajo hasta que les sale bien¡±, dice Daphne Koller, fundadora de Coursera.

El a?o pasado, la Fundaci¨®n Hewlett patrocin¨® dos premios de 100.000 d¨®lares destinados a mejorar el programa de calificaci¨®n de trabajos y respuestas cortas. Mark D. Shermis, de la Universidad de Akron, en Ohio, supervis¨® el concurso. En su opini¨®n, la tecnolog¨ªa tiene un lugar en el mundo educativo. Con clases cada vez m¨¢s numerosas, a la mayor¨ªa de los profesores les resulta imposible ofrecer una evaluaci¨®n significativa de los trabajos escritos, afirma. Adem¨¢s, seg¨²n Shermis, quienes critican la tecnolog¨ªa ¡°a menudo proceden de instituciones muy prestigiosas en las que, de hecho, se realiza una labor de evaluaci¨®n mucho mejor que la que nunca podr¨¢ hacer una m¨¢quina¡±. ¡°Parece haber cierta falta de valoraci¨®n de lo que sucede en el mundo real¡±.