C¨®mo el ataque de Pearl Harbor cambi¨® la estad¨ªstica de las pruebas diagn¨®sticas

Hace 80 a?os, un 7 de diciembre de 1941, el otrora ¡°Gran Imperio del Jap¨®n¡± atacaba, sin previo aviso y en mitad de una negociaci¨®n, la base naval m¨¢s importante de Estados Unidos en el Pac¨ªfico: Pearl Harbor. Un d¨ªa m¨¢s tarde el presidente Roosevelt declaraba la guerra contra el imperio nip¨®n. Esta humillaci¨®n no solo cambi¨® el curso de la guerra sino tambi¨¦n el de las pruebas diagn¨®sticas.

?C¨®mo es posible que no detectasen el ataque? Una de las hip¨®tesis es la carencia de herramientas estad¨ªsticas que les permitiesen distinguir una amenaza real de una falsa alarma (provocada por el ?ruido? del radar). Por ello, EE UU empez¨® a trabajar en un clasificador binario para discernirlas, es decir, un m¨¦todo que asigna a las se?ales la probabilidad de ser ataque real, un valor entre 0 y 1. Adem¨¢s, tambi¨¦n necesitaban una herramienta para decidir el umbral de probabilidad a partir del cual una se?al ser¨ªa clasificada como un ataque real o una falsa amenaza. Si hubiesen querido ser conservadores (estableciendo un umbral alto, de 0.8, por ejemplo), muy pocas se?ales hubiesen sido etiquetadas como ataque real, mientras que si hubiesen querido ser alarmistas (con un umbral bajo, de 0.2), la mayor¨ªa de se?ales hubiesen sido consideradas como ataque real, lo fueran o no.

Existen infinitos umbrales y, por tanto, infinitas opciones. Para visualizarlas todas, el ej¨¦rcito estadounidense desarroll¨® la conocida como Receiver Operating Characteristic Curve o curva ROC. Esta herramienta permite relacionar, para cada clasificador concreto, la proporci¨®n de amenazas falsas clasificadas como reales (tasa de falsos positivos) con la sensibilidad o tasa de verdaderos positivos (proporci¨®n de ataques reales clasificados como tal), para cada uno de los posibles umbrales.

En el ejemplo anterior ilustrado en la imagen, el umbral rojo clasifica como positivo todos los ataques reales (sensibilidad del 100%) y 24 de las 35 falsas amenazas (tasa de falsos positivos del 68.6%), mientras que el umbral naranja clasifica como positivo solo siete de los 15 ataques reales (46.7%) y ocho de las 35 falsas amenazas (22.9%). Ambos umbrales representan dos puntos particulares de la curva ROC, los puntos (0.686, 1) y (0.229, 0.467). Dependiendo de la tasa de verdaderos y falsos positivos que se est¨¦ dispuesto a asumir, seleccionar¨¢ un punto u otro de la curva ROC, asociado a un umbral espec¨ªfico.

Dado que la curva ROC nos permite visualizar para los infinitos umbrales c¨®mo funcionan las infinitas formas de clasificar, es una herramienta eficaz para comparar distintos m¨¦todos. Basta con observar el ¨¢rea encerrada bajo la curva obtenida con cada uno. Si, para todos los umbrales, un m¨¦todo es capaz de distinguir perfectamente los ataques reales de las falsas amenazas, el ¨¢rea bajo su curva ser¨¢ 1. Conforme el ¨¢rea se va reduciendo, el clasificador reduce su capacidad de distinguir entre ataques reales y falsas amenazas (por ejemplo, un ¨¢rea de 0.5 representar¨ªa el ¨¢rea de un m¨¦todo que clasifica completamente al azar).

Esta idea fue usada a?os m¨¢s tarde por el radi¨®logo Lee B. Lusted para estudiar el poder diagn¨®stico de la radiograf¨ªa en la detecci¨®n de la tuberculosis pulmonar. Lusted reuni¨® en 1971 a 10 radiof¨ªsicos y les proporcion¨® radiograf¨ªas de pecho de 14 000 pacientes. Su misi¨®n era decidir si los pacientes ten¨ªan tuberculosis o no, tal que la probabilidad de estar enfermo fue calculada como la proporci¨®n de expertos que coincid¨ªan en ello. En unos pocos casos todos los expertos coincid¨ªan, siendo obvio que estaban sanos o enfermos, pero en la mayor¨ªa de ellos no hab¨ªa unanimidad. ?Qu¨¦ proporci¨®n de opiniones eran necesarias para diagnosticar la enfermedad? ?Bastaba con la mitad o era necesario un consenso mayor? Lusted rescat¨® la curva ROC para visualizar las diferentes opciones basadas en los diferentes umbrales, y as¨ª pudo obtener el poder predictivo global de la radiograf¨ªa como prueba y compararla con otras t¨¦cnicas.

Curiosamente, al mismo tiempo, en Canad¨¢, se comercializaba el primer test de embarazo, ideado por Margaret Crane, usando esta vez como criterio los niveles de la hormona gonadotropina cori¨®nica en muestras de orina. ?A partir de qu¨¦ valores se deb¨ªa considerar un resultado como positivo (embarazo)? ?Con niveles superiores a 30 mUI/ml? ?Superiores a 50? De los infinitos umbrales que se pueden visualizar con la curva ROC, aquel que permite clasificar mejor entre embarazadas y no embarazadas est¨¢ normalmente comprendido entre 20 y 35 mUl/ml. Con ¨¦l, la prueba diagn¨®stica tiene una sensibilidad y especificidad (definida como uno menos la tasa de falsos positivos) cercanas al 100%.

La curva ROC ha sido tambi¨¦n clave en las ya conocidas como PCR (qRT-PCR) para la detecci¨®n del SARS-CoV-2. En estas pruebas se extrae el material gen¨¦tico del virus (ARN), se convierte en ADN (retrotranscripci¨®n) y se amplifica realizando ciclos de r¨¦plicas, para despu¨¦s a?adirle una sonda fluorescente. Cuantos m¨¢s ciclos, m¨¢s copias se obtienen y mayor fluorescencia se emite; esa fluorescencia es la que determina si el resultado es positivo o negativo. Para cada umbral de fluorescencia se obtiene una tasa de verdaderos y falsos positivos (enfermos con PCR positiva y negativa, respectivamente). De esta forma, es posible comparar pruebas de distintos fabricantes (en funci¨®n del ¨¢rea bajo la curva ROC), y elegir, para cada una, el punto de la curva que proporciona las tasas de verdaderos y falsos positivos que se considere adecuada. Las pruebas comercializadas en Espa?a tienen una alt¨ªsima especificidad (99.9%, 0.1% de falsos positivos) y una alta sensibilidad (80-95%).

Todo esto, consecuencia de una batalla que cambi¨® el curso de la bioestad¨ªstica.

Javier ?lvarez Li¨¦bana es divulgador (@dadosdelaplace), doctor en Estad¨ªstica y profesor Ayudante Doctor en la Universidad Complutense de Madrid

Joaqu¨ªn Mart¨ªnez Minaya es doctor en Estad¨ªstica y profesor Ayudante Doctor en la Universitat Polit¨¨cnica de Val¨¨ncia

Caf¨¦ y Teoremas es una secci¨®n dedicada a las matem¨¢ticas y al entorno en el que se crean, coordinado por el Instituto de Ciencias Matem¨¢ticas (ICMAT), en la que los investigadores y miembros del centro describen los ¨²ltimos avances de esta disciplina, comparten puntos de encuentro entre las matem¨¢ticas y otras expresiones sociales y culturales y recuerdan a quienes marcaron su desarrollo y supieron transformar caf¨¦ en teoremas. El nombre evoca la definici¨®n del matem¨¢tico h¨²ngaro Alfred R¨¦nyi: ¡°Un matem¨¢tico es una m¨¢quina que transforma caf¨¦ en teoremas¡±.

Edici¨®n y coordinaci¨®n: ?gata A. Tim¨®n G Longoria (ICMAT).

Puedes seguir a MATERIA en Facebook, Twitter e Instagram, o apuntarte aqu¨ª para recibir nuestra newsletter semanal.