Algoritmos en sustituci¨®n de examinadores humanos

Los ex¨¢menes est¨¢ndar de final del curso escolar en Estados Unidos suelen incluir una redacci¨®n, lo cual exige la contrataci¨®n de humanos para calificarlas una a una. Ahora, un concurso para comprobar en qu¨¦ medida pueden predecir unos algoritmos presentados por estad¨ªsticos profesionales y genios de la estad¨ªstica las puntuaciones asignadas por evaluadores humanos ha demostrado que son inquietantemente precisos.

El concurso fue organizado por Kaggle, una p¨¢gina web que celebra competiciones de modelos predictivos, lo cual brinda a los clientes la ventaja de una multitud internacional de estad¨ªsticos. El lema de Kaggle es: ¡°Estamos convirtiendo la estad¨ªstica en un deporte¡±. Algunos de sus clientes ofrecen premios cuantiosos a cambio de la propiedad intelectual utilizada en los modelos ganadores.

En el concurso de puntuaci¨®n de redacciones que acaba de concluir participaron 159 equipos. Al mismo tiempo, la Hewlett Foundation, de Menlo Park, California, patrocin¨® un estudio sobre motores autom¨¢ticos de calificaci¨®n de redacciones que ahora se ha puesto a la venta. Los investigadores descubrieron que arrojaban unas puntuaciones pr¨¢cticamente id¨¦nticas a las de los evaluadores humanos.

Barbara Chow, directora de programas educativos en la Hewlett Foundation, explica: ¡°Hab¨ªamos o¨ªdo decir que los algoritmos creados por m¨¢quinas son tan buenos como los evaluadores humanos, pero quer¨ªamos crear una plataforma neutral y justa para valorar las diversas afirmaciones de los vendedores. Y resulta que dichas afirmaciones no son exageradas¡±.

Los algoritmos ofrecen una medici¨®n muy rudimentaria, la asignaci¨®n de una ¨²nica puntuaci¨®n, por ejemplo, a la redacci¨®n de un alumno de s¨¦ptimo curso, y no un comentario sobre el uso de la met¨¢fora en un seminario de escritura creativa de un universitario de ¨²ltimo curso. Pero el programa rebaja notablemente el coste de la puntuaci¨®n de una redacci¨®n, que asciende a dos o tres d¨®lares cada una, y es posible que incluso lo elimine.

Y cuando sea m¨¢s sofisticado, en lugar de que el profesor llene la redacci¨®n de marcas para indicar errores, podr¨ªa hacerlo el programa. Este tambi¨¦n podr¨ªa proporcionar sin esfuerzo explicaciones completas y ejercicios pr¨¢cticos.

¡°Dar a los estudiantes un comentario cr¨ªtico instant¨¢neo sobre gram¨¢tica, puntuaci¨®n, l¨¦xico y estructura sint¨¢ctica har¨¢ que se encarguen m¨¢s redacciones y permitir¨¢ a los profesores concentrarse en aptitudes m¨¢s relevantes¡±, comenta Tom Vander Ark, consejero delegado de OpenEd Solutions, una asesor¨ªa que trabaja con la Hewlett Foundation.Los docentes todav¨ªa tendr¨ªan que juzgar el contenido de las redacciones, ya que los estudiantes pueden enga?ar al programa introduciendo datos absurdos en los que un humano reparar¨ªa, pero el ordenador, no.

Jason Tigg, que reside en Londres y forma parte del equipo que gan¨® el concurso de evaluaci¨®n de redacciones en Kaggle, es un corredor de bolsa que utiliza extensas series de datos sobre precios. Pero el programa de puntuaci¨®n de redacciones que desarrollaron ¨¦l y sus compa?eros de equipo emplea unas series de datos relativamente peque?as y PC corrientes, as¨ª que la infraestructura adicional para las escuelas ser¨ªa nula.

Los ordenadores port¨¢tiles de los estudiantes todav¨ªa no tienen instalado el incansable instructor de escritura virtual, pero un modelo estad¨ªstico mejorado puede hacer que eso llegue pronto.