El d¨ªa en que la inteligencia artificial gan¨® a los profesionales del p¨®ker

El Casino Rivers de Pittsburgh (Estados Unidos) ha sido el escenario del reto Cerebros vs. Inteligencia artificial, una competici¨®n que enfrent¨® a un software de inteligencia artificial (IA) capaz de jugar al popular p¨®ker sin l¨ªmite de Texas (Texas Hold¡¯em) contra cuatro profesionales de las mesas de juego. El resultado fue inapelable: el algoritmo de Libratus ¡ªel nombre que recibe la IA¡ª desmoraliz¨®, vapule¨® y finalmente humill¨® a los cerebros humanos.

El torneo tuvo una duraci¨®n de 20 d¨ªas, con sesiones de 11 horas diarias, totalizando 120.000 rondas de p¨®ker. La variante del juego elegida, mano-a-mano, enfrentaba a los profesionales contra Libratus, uno por uno. Las rondas comenzaban con 20.000 d¨®lares por jugador en forma de fichas (virtuales) con las que apostar.

M¨¢s informaci¨®n

Este programa juega mejor a los 'marcianitos' que un humano

?Puede una m¨¢quina ser inteligente?

Cuando termin¨® el torneo, Libratus hab¨ªa ganando un total de 1,7 millones de d¨®lares de los dos millones que hab¨ªa en juego. Los participantes se repartieron entonces 200.000 d¨®lares (esta vez reales) seg¨²n su clasificaci¨®n en el torneo y las fichas que hab¨ªan conseguido.

Previamente se hab¨ªa acordado c¨®mo valorar el resultado: se considerar¨ªa que la victoria ser¨ªa "matem¨¢ticamente significativa" dependiendo de las cifras alcanzadas. Los organizadores del torneo pudieron afirmar con una certeza del 99,7 por ciento que el resultado "no se hab¨ªa debido al puro azar".

Los creadores de Libratus son Tuomas Sandholm, profesor del departamento de inform¨¢tica y Noam Brown, un estudiante de doctorado de la universidad Carnegie Mellon de Pittsburgh. Contaron adem¨¢s con los recursos de Bridges, un superordenador del Centro de Supercomputaci¨®n de Pittsburgh. Sandholm llevaba doce a?os estudiando teor¨ªa de juegos aplicada al p¨®ker y sus estrategias antes de este logro.

Un juego de naipes sencillo y popular

De los cientos de variantes que hay del p¨®ker se eligi¨® para el torneo tal vez la m¨¢s popular, el denominado Hold¡¯em. La mejor forma de apreciarlo es quiz¨¢ el largometraje Rounders (1998, John Dahl) donde se explica y disfruta a la vez ¨C especialmente en lo relativo a la estrategia y las apuestas.

En el Hold¡¯em cada jugador recibe dos cartas y en la mesa se muestran otras tres bocarriba, luego una cuarta y finalmente una quinta. Se van haciendo rondas de apuestas a medida que avanza el juego. La mano de cada jugador viene dada por las cartas que tenga en su poder y cualquier combinaci¨®n con las cartas comunitarias. Terminadas las apuestas ¨Cy si los contrincantes no se retiran¨C la mejor combinaci¨®n de cartas propias y comunes gana. El hecho de que haya varias rondas de apuestas donde se puede pasar, apostar, ver, retirarse o subir y que la calidad de la mano de cada jugador pueda variar a mejor o peor seg¨²n aparecen nuevas cartas de mayor inter¨¦s al juego.

El torneo tuvo una duraci¨®n de 20 d¨ªas, con sesiones de 11 horas diarias, totalizando 120.000 rondas de p¨®ker. Liberatus gan¨®?un total de 1,7 millones de d¨®lares de los 2 millones que hab¨ªa en juego

En las mesas de Hold¡¯em pueden participar entre dos y m¨¢s de diez jugadores. Hay variantes de todo tipo: seg¨²n el valor de las apuestas obligatorias antes de empezar ("ciegas"), las apuestas m¨ªnimas y otros detalles, pero lo m¨¢s importante son los l¨ªmites. En algunas versiones hay una cantidad m¨¢xima por apuesta; en otras el ¨²nico l¨ªmite es el dinero que tengan como m¨¢ximo los dem¨¢s jugadores. (En torneos como el World Series of Poker el momento cumbre es precisamente cuando los jugadores "van con todo" y apuestan millones).

Los algoritmos de la teor¨ªa de juegos

En las ¨²ltimas d¨¦cadas hemos visto ordenadores programados con algoritmos invencibles para jugar y triunfar frente a los mejores jugadores humanos en las damas (1995), el Othello (1997), el ajedrez (Kasp¨¢rov vs. Deep Blue, 1997) y el considerado intratable Go (AlphaGo vs. Fan Hui, 2016).

Sin embargo, hay una gran diferencia entre el p¨®ker y todos ellos: seg¨²n la teor¨ªa de juegos matem¨¢tica los primeros son juegos de informaci¨®n perfecta y el p¨®ker no lo es. Ese t¨¦rmino se aplica cuando ambos jugadores tienen toda la informaci¨®n sobre el estado del juego (piezas, turnos, apuestas, historial y dem¨¢s).

Las posibles jugadas pueden ser muchas, una cifra astron¨®micamente grande, pero en el ajedrez no hay informaci¨®n oculta ni influye el azar en lo que pueda suceder. En el p¨®ker, en cambio, las cartas de los jugadores son un misterio hasta que termina cada ronda; adem¨¢s es el azar quien elige las cartas precisas que recibir¨¢ cada jugador.

El juego de las damas se resolvi¨® matem¨¢ticamente (con una estrategia precisa al cien por cien) porque solo hay unas 10²⁰ posiciones diferentes en el tablero y se pudieron generar y examinar todas. Se ha calculado que hay unas 10¹²⁰ posiciones posibles de ajedrez ¨Cy ni siquiera se han podido examinar todas, pero en el Hold¡¯em se cree que puede haber unas 10¹⁶⁰ opciones en total en las diversas fases del juego, una diferencia exponencial y abismalmente grande, fuera de toda capacidad de computaci¨®n actual.

El problema computacional del Hold¡¯em con l¨ªmite ya se resolvi¨® en 2015, de modo que en esta ocasi¨®n se intentaba llegar m¨¢s all¨¢. La variante elegida, el mano-a-mano entre dos jugadores (IA vs. humano) result¨® pr¨¢ctico de cara a un torneo, pero no tan interesante como una soluci¨®n gen¨¦rica, pero computacionalmente mucho m¨¢s compleja, para un mayor n¨²mero de jugadores, que es lo habitual en las salas de los casinos o de Internet.

Apostar, calcular, "echarse faroles" y otras t¨¢cticas

Naturalmente, el p¨®ker (como el mus) es divertido porque hay que saber apostar, echarse faroles y utilizar todo tipo de t¨¢cticas matem¨¢ticas o a veces "psicol¨®gicas" para obtener ventajas. La biblia sagrada del juego es The Theory of Poker, un libro de 1999 de David Sklansky donde se analiza el juego desde todos esos puntos de vista. Quien aspire a jugar bien ha de pasar por sus p¨¢ginas obligatoriamente.

Apostar sin tener buenas cartas ("echarse un farol", en el argot) o hacerlo comedidamente a pesar de llevar un buen juego para dejar que los dem¨¢s se conf¨ªen son actitudes aparentemente humanas e inimitables. ?Puede un ordenador copiar estas estrategias? Una forma rudimentaria es variar aleatoriamente la t¨¢ctica, pero esto tiene el problema de que si se adivina la frecuencia es f¨¢cil aprovecharse de ello para vencer al contrincante.

En el caso de Libratus el software se dise?¨® para evitar errores t¨¢cticos presentes en versiones anteriores que hab¨ªan sido derrotadas por los humanos. La versi¨®n anterior de 2015, llamada Claudico, empleaba una estrategia muy "extrema y radical" en las apuestas, cuyas pautas adivinaron r¨¢pidamente sus oponentes.

Seg¨²n Sandholm, su creador, a Libratus primero se le ense?an las reglas del juego y luego se le permite desarrollar y probar estrategias. 15 millones de horas de computaci¨®n despu¨¦s el resultado es que el algoritmo ha aprendido de los resultados de sus propios c¨¢lculos, sin necesidad de utilizar la experiencia de los humanos (como en el caso del ajedrez con las aperturas y valoraciones de posiciones). Durante las partidas, adem¨¢s, Libratus pod¨ªa calcular anticipadamente todo lo que podr¨ªa suceder en la tercera y cuarta ronda de apuestas: qu¨¦ cartas podr¨ªan salir, cu¨¢nto ser¨ªa conveniente apostar, c¨®mo responder ante un desaf¨ªo, etc¨¦tera.

Incre¨ªblemente, nadie ha ense?ado a Libratus a tirarse faroles: surgieron por s¨ª mismos como parte de las estrategias probadas durante su aprendizaje autom¨¢tico. Seg¨²n explicaron, esto le permiti¨® entender que tambi¨¦n los contrarios podr¨ªan farolear ¨C y a actuar teniendo esto en cuenta.

Seg¨²n los humanos a los que se enfrent¨®, la destreza de Libratus a la hora de elegir el tama?o de las apuestas con gran precisi¨®n y a ser m¨¢s conservador y no arriesgar en las ¨²ltimas rondas del d¨ªa fueron algunas de las cosas que m¨¢s les sorprendieron. Quiz¨¢ por eso su nombre en lat¨ªn se traduce al castellano como "equilibrado".

Un torneo peculiar

Enfrentar a humanos y ordenadores a cualquier juego a la vista de todo el mundo no es tarea f¨¢cil. Cada jugador participaba en las rondas frente a una pantalla conectada de forma remota con Libratus en el centro de supercomputaci¨®n. Al mismo tiempo, todo se ve¨ªa en grandes pantallas en la sala y pod¨ªa seguirse a trav¨¦s de Twitch, la plataforma de retransmisi¨®n de videojuegos.

Los jugadores ten¨ªan permitido reunirse tras cada sesi¨®n para intercambiar informaci¨®n y acordar estrategias (algo que normalmente no sucede entre humanos, pero que les daba cierta ventaja frente a la m¨¢quina). Y vaya si lo hicieron. Hasta se entretuvieron en el popular foro Reddit para una sesi¨®n de preguntas y respuestas. Sin embargo, no encontraron vulnerabilidades f¨¢ciles de aprovechar en el algoritmo y algunos de los que creyeron detectar parec¨ªan desaparecer al d¨ªa siguiente. ?C¨®mo era posible?

Libratus tambi¨¦n pod¨ªa "pensar" una vez terminada la jornada. De este modo examinaba lo sucedido, a?ad¨ªa 6.000 nuevas rondas con datos reales sobre cada jugada y afinaba la estrategia. Dicen que parec¨ªa m¨¢s preocupado en corregir sus propios errores que en aprovechar los de los contrarios (algo que otros programas han intentado sin ¨¦xito). Armado con este nuevo conocimiento, comenzaba un nuevo d¨ªa sin cansancio.

El software se dise?¨® para evitar errores t¨¢cticos presentes en versiones anteriores que hab¨ªan sido derrotadas por los humanos. La versi¨®n de 2015, llamada Claudico, empleaba una estrategia muy "extrema y radical" en las apuestas, cuyas pautas adivinaron r¨¢pidamente sus oponentes

Al final del torneo los jugadores humanos, profesionales con muchos a?os de torneos a sus espaldas, estaban destrozados an¨ªmicamente, pregunt¨¢ndose c¨®mo hab¨ªan podido ser vencidos. De hecho, las casas de apuestas deportivas daban una ventaja inicial de 4 a 1 a favor de los humanos, de modo que quienes apostaron por la inteligencia artificial hicieron buen negocio.

Los l¨ªmites de Libratus todav¨ªa se desconocen, pero al igual que en otros juegos como el ajedrez, tal y como apunt¨® Jason Kottke, es probable que "un humano trabajando junto con una inteligencia artificial como Libratus fuera superior a cualquiera de ellos individualmente."

Otras aplicaciones de mayor enjundia

Quiz¨¢ lo m¨¢s interesante de este avance en inteligencia artificial es la idea de que el algoritmo con la estrategia sea independiente del juego. De hecho, dice su creador, bastar¨ªa cambiar el m¨®dulo con las reglas del juego por otro para que se pudieran desarrollar nuevas estrategias. Y no solo en el terreno de los juegos de casino.

Algunos equivalentes matem¨¢ticos en el mundo real en los que se aplica la teor¨ªa de juegos son las subastas, las negociaciones, la seguridad inform¨¢tica o la estrategia militar. Situaciones todas ellas en las que se maneja informaci¨®n incompleta (qu¨¦ va a hacer la otra parte, hasta d¨®nde est¨¢n dispuestos a pujar, qui¨¦n es el primero en lanzar una bomba) y donde ha de tenerse en cuenta el factor de la incertidumbre.

?Hay vida para el p¨®ker a partir de ahora?

Kasp¨¢rov perdi¨® contra una m¨¢quina, pero la gente sigue jugando al ajedrez. Tambi¨¦n se sigue jugando a las damas, al Othello, al Go y a los dem¨¢s juegos. En el caso de Libratus, su victoria ha sido aplastante, pero no completa: la versi¨®n del p¨®ker en la que ha ganado era ¨²nicamente de tipo mano-a-mano entre dos jugadores, no en mesas completas con 6, 10 o m¨¢s personas. Los expertos dicen que esa complejidad a d¨ªa de hoy es computacionalmente inalcanzable.

Muchos se preguntan si no ser¨ªa un buen negocio "disfrazar" a Libratus y ponerlo a jugar en las salas de juego online contra los humanos, con dinero de verdad. El hecho de que necesite una gran capacidad de computaci¨®n entre bambalinas (b¨¢sicamente, un superordenador) lo hace impracticable, as¨ª que pueden estar tranquilos: no ser¨ªa ni f¨¢cil ni rentable a d¨ªa de hoy.

Sin embargo, a muchos jugadores les preocupa si llegar¨¢ alg¨²n d¨ªa en el que los programadores preparen bots para desplumar a los dem¨¢s jugadores, haci¨¦ndose pasar por humanos en las mesas de juego. Es algo que bien podr¨ªa suceder y en lo que trabajan de forma discreta diversas empresas de software. Pero hace una d¨¦cada que existen y no ha pasado de ser algo anecd¨®tico. De hecho, algunos conocidos casos de fraude por parte de casinos online se llevaron a cabo con m¨¦todos mucho m¨¢s rudimentarios.

Sin duda ser¨ªa otro de los retos pr¨¢cticos de la inteligencia artificial, una especie de test de Turing pero con dinero contante y sonante en forma de premio.