Ex¨¢menes a examen

Toda la vida examin¨¢ndonos: el primer control rutinario en la ense?anza b¨¢sica, la prueba de selectividad, los ex¨¢menes de la facultad, el del carn¨¦ de conducir, el del curso de ingl¨¦s, las oposiciones, toda aquella lista de preguntas contestadas para acreditar conocimientos, las que le impiden optar a un puesto de trabajo y las que se lo otorgan. Los ex¨¢menes, sobre todo algunos, determinan en gran parte el destino de quienes los hacen. Cabe pedirles por tanto que sean elaborados con garant¨ªas. En la mayor¨ªa de las ocasiones, esas garant¨ªas no existen.

?Las ten¨ªan los alumnos que se toparon en 2006 con una integral maldita en el examen de selectividad? A la operaci¨®n le faltaba un 2, el que indicaba que la funci¨®n seno iba elevada al cuadrado. La falta del s¨ªmbolo multiplic¨® la dificultad del problema convirti¨¦ndolo en un quebradero de cabeza incluso para un matem¨¢tico experimentado. Tras las reclamaciones, los examinadores decidieron anular la pregunta y corregir las otras dos preguntas del examen de forma "suave". Qu¨¦ se entend¨ªa por ese adjetivo quedaba a criterio de los examinadores.

EE UU y Holanda son l¨ªderes en la evaluaci¨®n de ejercicios

Expertos en psicometr¨ªa creen que Espa?a se ha quedado atr¨¢s

El caso de la integral maldita muestra la falta de controles a la hora de elaborar las pruebas. "En ese ejemplo, si el examen hubiese sido resuelto por un experto antes de ser entregado a los alumnos, la errata se habr¨ªa detectado", se?ala Vicente Ponsoda, catedr¨¢tico de Modelos y Aplicaciones Psicom¨¦tricas en la Universidad Aut¨®noma de Madrid.

El experto ha buceado en la prensa y ha recopilado varios ejemplos que ilustran hasta qu¨¦ punto se formulan mal las preguntas. Otro caso: una pregunta en el comentario de texto de selectividad de 1994 result¨® m¨¢s sencilla para los aficionados al f¨²tbol. Se les pregunt¨® qu¨¦ significaba la palabra pucelana. El t¨¦rmino no figuraba entonces en el diccionario de la RAE como gentilicio de Valladolid. Un profesor denunci¨® el examen y demostr¨® que la mayor¨ªa de los que contestaron bien la pregunta conoc¨ªan la respuesta de o¨ªrla en las retransmisiones deportivas. "Una pregunta que se incluye en un examen de lengua y que la hacen mejor los interesados en el deporte no es una buena pregunta. Si el examen hubiese tenido los controles adecuados", concluye Ponsoda, "la pregunta habr¨ªa sido eliminada".

Suele perderse de vista la trascendencia que tienen estos errores. No pasa inadvertida para quienes se la juegan en los ex¨¢menes. Si uno pone las palabras con las preguntas anuladas en Google, el buscador ofrece 106.000 resultados. La mayor¨ªa son foros en los que los internautas muestran su disconformidad con la evaluaci¨®n de los ex¨¢menes de oposiciones una vez que han perdido sus opciones a obtener una plaza. Para los expertos, hay demasiados casos. "Las pruebas suelen ser construidas para cada ocasi¨®n concreta por una comisi¨®n o tribunal nombrado ad hoc, en el que hay expertos en el contenido que se pregunta pero con escasos conocimientos sobre las caracter¨ªsticas que debe tener una prueba de evaluaci¨®n para cumplir su cometido", asegura Mar¨ªa Jos¨¦ Navas, profesora de metodolog¨ªa de ciencias del comportamiento de la UNED.

Para medir la estatura de una persona usamos un metro. ?Por qu¨¦ usamos entonces varios m¨¦todos para medir los conocimientos? Obvio, por ahora nadie ha inventado uno que funcione con tanta fiabilidad. La psicometr¨ªa, la rama de la psicolog¨ªa que trata de poner remedio a eso, considera que uno de los principales objetivos a la hora de elaborar ex¨¢menes es encontrar una escala com¨²n, es decir, unos criterios comunes que permitan dar calificaciones ajustadas y comparables.

La prueba de selectividad, por ejemplo, no sigue esa escala com¨²n. Un estudiante obtiene una nota determinada en su prueba de acceso a la Universidad y compite por una plaza con otros estudiantes que han obtenido puntuaciones en otras pruebas de acceso. Los ex¨¢menes no est¨¢n a la misma escala, as¨ª que no pueden ser comparados. Pero s¨ª se comparan. La Universidad da las plazas a los alumnos con mejor nota, pero puede que ¨¦stos no sean los que m¨¢s conocimientos tienen, sino los que han recibido las preguntas m¨¢s f¨¢ciles o los que han tenido un corrector m¨¢s blando. El a?o pasado, el porcentaje de aptos en la Universidad de Valencia fue del 97%, mientras que en Madrid lo fue del 86%. ?Pueden compararse esos datos? ?Significa eso que los estudiantes de Valencia est¨¢n m¨¢s preparados que los de Madrid? ?Fueron los correctores m¨¢s duros en Madrid? ?Los ex¨¢menes m¨¢s complicados? Cada comunidad aut¨®noma elabor¨® los ex¨¢menes con las universidades, as¨ª que es imposible compararlos y obtener informaci¨®n a todas esas preguntas.

La cultura psicom¨¦trica en Espa?a marcha por detr¨¢s de otros pa¨ªses con m¨¢s tradici¨®n como Holanda o Estados Unidos, dos pa¨ªses que cuentan con dos de los centros privados m¨¢s especializados en la materia. En Estados Unidos, el ETS (Educational Testing Service) cuenta con casi 3.000 empleados y es el centro responsable de los ex¨¢menes del TOEFL, que eval¨²an cada a?o el conocimiento de ingl¨¦s en todo el mundo, o el SAT, el examen de acceso a la Universidad en Estados Unidos. "Sus m¨¦todos son envidiables. Es uno de los centros de referencia para medir los sistemas de evaluaci¨®n", se?ala Ponsoda. "Sus ex¨¢menes se fundamentan en un largo proceso que establece controles de calidad sobre cada pregunta y son elaborados por gente muy cualificada".

Timo Bechger es uno de los expertos del CITO, el instituto responsable de los ex¨¢menes que se realizan en toda Holanda despu¨¦s de la Primaria. "Es un examen tipo test, el mismo para todos y por lo tanto, m¨¢s justo e igualitario. Este centro fue fundado hace 40 a?os y eso nos ha permitido ajustar cada vez m¨¢s los criterios de calidad de las pruebas", explica Bechger. El experto considera que Espa?a sigue haciendo sus ex¨¢menes de una forma ritual. "Una vez que empiezas a pensar en el impacto que tiene en la vida de una persona suspender un examen o sacar poca nota es cuando te das cuenta de la importancia de la psicometr¨ªa", explica.

En Espa?a hay varios equipos de investigaci¨®n trabajando en distintas universidades sobre cuestiones de medici¨®n. Desde el Colegio Oficial de Psic¨®logos se ha trabajado para mejorar el uso de pruebas y tests en Espa?a mediante la creaci¨®n de una Comisi¨®n de Test, integrada por representantes del mundo acad¨¦mico y profesional y de empresas dedicadas a la elaboraci¨®n de test. Un dato: el personal destinado a I+D en una de las compa?¨ªas especializadas en esta actividad, TEA Ediciones, se ha duplicado en los ¨²ltimos a?os.

Un ejemplo de las buenas maneras en la medici¨®n de conocimientos, de las que Espa?a tambi¨¦n participa con el Instituto de Evaluaci¨®n (¨®rgano dependiente del Ministerio de Educaci¨®n) es el Informe PISA, de la Organizaci¨®n para la Cooperaci¨®n y el Desarrollo Econ¨®mico (OCDE). Se trata de la fotograf¨ªa m¨¢s completa y actualizada sobre el rendimiento de los alumnos en los pa¨ªses m¨¢s desarrollados. En el informe realizado en 2006 participaron 62 pa¨ªses, y en cada pa¨ªs fueron examinados entre 4.500 y 10.000 estudiantes de la edad de 15 a?os para establecer su grado de competencia en lectura, matem¨¢ticas y ciencias naturales. El estudio se realiza cada tres a?os y las preguntas se eval¨²an una a una.

Un comit¨¦ de especialistas las estudia para establecer si est¨¢n mal planteadas. Si una pregunta catalogada con un nivel de dificultad bajo ha sido contestada err¨®neamente por alumnos que normalmente sacan buena nota, la conclusi¨®n es sencilla: la pregunta no sirve para medir el conocimiento de ese alumno.

Seg¨²n los expertos, desde un punto de vista psicom¨¦trico el Informe PISA es muy riguroso. Se hace con muestras muy seleccionadas que tienen en cuenta que haya j¨®venes de todas las regiones y de distinto nivel social. Se suele hablar de un 95% de fiabilidad en las pruebas del informe. No se califica a los alumnos, sino que se establece la media del conjunto de todos los que han participado en esa prueba. No se dice ¨¦ste es bueno y ¨¦ste otro excelente, sino que se les mide en comparaci¨®n con el resto.

Los ex¨¢menes tipo test son utilizados con ¨¦xito en la evaluaci¨®n diagn¨®stica de pacientes, para ayudar en procesos de mediaci¨®n familiar o incluso en la decisi¨®n de qui¨¦n consigue la custodia legal de los hijos en procesos de separaci¨®n y divorcio. La profesora de metodolog¨ªa, Mar¨ªa Jos¨¦ Navas, asegura que este tipo de pruebas son ¨²tiles tambi¨¦n para que las empresas seleccionen a su personal. "Los tests son una herramienta de evaluaci¨®n muy valiosa cuando est¨¢n bien construidos y son correctamente administrados, corregidos e interpretados". Siempre que se d¨¦ esta premisa, los ex¨¢menes tipo test pueden evaluar el conocimiento de un alumno de forma objetiva. Pero su abuso puede tener graves consecuencias. La m¨¢s terrible, la que trajo consigo la pol¨¦mica ley no child left behind (que ning¨²n ni?o se quede atr¨¢s) del anterior presidente de Estados Unidos, George W. Bush. La norma impuso unos ex¨¢menes en todos los Estados. Los resultados de esos controles servir¨ªan para decidir cu¨¢ntos fondos federales merec¨ªa una escuela. La ley tuvo dos consecuencias funestas. Muchas escuelas p¨²blicas de zonas pobres se fueron a la bancarrota, algunos profesores perdieron el empleo y muchos estudiantes no recibieron el t¨ªtulo. La soluci¨®n planteada por los centros para escapar de esos problemas fue dejar sustituir la ense?anza de conocimientos por la ense?anza de los tests.

Las irregularidades en las pruebas no afectan s¨®lo a la educaci¨®n en los colegios o universidades. En ocasiones, un test mal planteado puede decidir a qu¨¦ se va a dedicar uno el resto de su vida. En una oposici¨®n a plazas de enfermero en Extremadura, el test constaba de 100 preguntas. Seis de ellas se sustituyeron por las preguntas de reserva y otras seis sufrieron cambios en su formulaci¨®n. Es decir, hubo cambios en 12 de las 100 preguntas. Seg¨²n la resoluci¨®n en la que se convocaba la oposici¨®n, los candidatos ten¨ªan que responder a las 100 preguntas del test y a otras siete de reserva por si hab¨ªa anulaciones. El examen estaba tan mal hecho que se necesitaban muchas m¨¢s preguntas de reserva. La consecuencia inevitable de la anulaci¨®n de preguntas es que las personas que ser¨ªan aptas de no haber anulaciones pasan a no serlo, y al contrario.

Los expertos insisten en que nada de esto pasar¨ªa si los ex¨¢menes se hiciesen antes, si hubiese controles espec¨ªficos, pruebas piloto. Mayores irregularidades se han visto en otros ex¨¢menes. Un test para la selecci¨®n de bomberos inclu¨ªa la pregunta "?Cu¨¢l de estas sustancias es autorreactiva?". Una de las respuestas posibles era Zapateroboboetanopacta. La gracieta, obviamente, supuso la anulaci¨®n de la pregunta.