El salto de la inteligencia artificial de Google: derrota a dos campeones de StarCraft II

Hace a?os, IBM derrot¨® a Garri Kasparov jugando al ajedrez; despu¨¦s Google hizo lo propio con Fan Hui y?Lee Sedol al Go. AHora, ha sido el turno de los eSports con uno de sus grandes juegos, el StarCraft II. La herramienta de Inteligencia Artificial (IA) desarrollada por DeepMind, compa?¨ªa filial de Google, ha logrado derrotar por primera vez a dos campeones de este videojuego. Y este no es un hecho menor. Te explicamos por qu¨¦.

El programa usado ha sido AlphaStar. Con ¨¦l, DeepMind ha desarrollado una red profunda de aprendizaje neuronal entrenada directamente a trav¨¦s de datos en bruto de StarCraft II, como se explica en un post en la web de Deepmind.

AlphaStar logr¨® vencer 5-0 al jugador polaco Grzegorz MaNa Komincz y su compa?ero, el alem¨¢n Dario TLO W¨¹nsch, ambos miembros del equipo profesional Team Liquid. Esta partida tuvo lugar en un mapa competitivo del juego y sin restricciones de reglas.

DeepMind hab¨ªa logrado ¨¦xitos con otros t¨ªtulos como Atari, Mario y Dota 2, y, desde el pasado verano, tambi¨¦n a Quake III en el modo captura la bandera. Sin embargo, las dificultades del Starcraft hab¨ªan sido una prueba demasiado dura. Hasta ahora.

M¨¢s informaci¨®n

Una m¨¢quina se ense?a a s¨ª misma a ganar en todo

?Google da un paso crucial en la inteligencia artificial?

Historia

La saga de videojuegos StarCraft pertenece a Blizzard. Se estren¨® en 1998 y es un juego de estrategia en tiempo real. DeepMind como un "gran desaf¨ªo" debido a la complejidad del juego, a su mec¨¢nica y a la amplitud de los mapas, lo que complica entrenar a sistemas autom¨¢ticos para resultar competitivos. En el Starcraft, a diferencia de lo que sucede en el ajedrez o el Go, el jugador no tiene toda la informaci¨®n antes de realizar la jugada, dado que el mapa se va desvelando a medida que las unidades van avanzando. Por eso, resultan claves tener intuici¨®n, imaginaci¨®n y dotes cognitivas para tratar de adivinar qu¨¦ estar¨¢ haciendo el oponente. Es decir, todo aquello que hasta ahora le faltaba a la inteligencia artificial.

Hay varias formas diferentes de jugar el juego. En eSports, sin embargo, la m¨¢s com¨²n es un torneo de uno contra uno a cinco partidas. Para empezar, un jugador debe elegir jugar una de las tres razas extraterrestres: Zerg, Protoss (la raza en la que ha sido entrenada Alphastar) o Terran. Todas ellas tienen caracter¨ªsticas y habilidades distintivas. Los profesionales tienden a especializarse en una sola raza. Cada jugador comienza con una serie de unidades de trabajo, que re¨²nen recursos b¨¢sicos para construir m¨¢s unidades y estructuras y crear nuevas tecnolog¨ªas.

Estas, a su vez, permiten a un jugador cosechar otros recursos, construir bases y estructuras m¨¢s sofisticadas y desarrollar nuevas capacidades que se pueden usar para burlar al oponente. Para ganar, un jugador debe equilibrar cuidadosamente la gesti¨®n global a largo plazo de su econom¨ªa, conocida al igual que en la vida real como estrategias macro, junto con el control de bajo nivel de sus unidades individuales a corto plazo, conocida como micro.

Deepmind explic que StarCraft es un juego en el "no hay una sola mejor estrategia". Adem¨¢s, tambi¨¦n a diferencia del Go o el ajedrez, los jugadores no se alternan en el juego, sino que toman decisiones en tiempo real de forma continua.

De esta manera, Alphastar ha logrado imitar habilidades humanas, dado que es capaz de imaginar qu¨¦ est¨¢ pensando hacer el oponente, es capaz de idear estrategias a medio y largo plazo, es capaz de aprender c¨®mo entender planos incompletos y trazar un plan para usar componentes distintos de manera cooperativa.

Entrenamiento

Para entrenar a su IA, DeepMind ha utilizado datos en bruto de la interfaz de StarCraft II a trav¨¦s de dos t¨¦cnicas conocidas como aprendizaje supervisado y aprendizaje reforzado. La red neuronal convierte las unidades del juego y utiliza un n¨²cleo de memoria LSTM que proporciona soporte para aprendizaje a largo plazo, informa Europa Press.

El algoritmo de Google un algoritmo de aprendizaje m¨²ltiple que se ha empleado inicialmente para entrenar la red neuronal de AlphaStar a trav¨¦s del aprendizaje supervisado, con el que aprende de jugadores humanos de otros videojuegos de Blizzard y de su sistema de econom¨ªa macro y de recursos micro. Con estas t¨¦cnicas, derrot¨® el 95% de ocasiones a la dificultad 'elite' de los juegos del estudio.

Posteriormente, los investigadores sometieron a AlphaStar a un proceso de aprendizaje reforzado, para el que se cre¨® una liga continua de StarCraft II con jugadores reales compitiendo, que creaba un mapa global con las estrategias escogidas por las personas.

Posteriormente, AlphaStar analizaba el porcentaje de ¨¦xito de cada estrategia y sus posible t¨¢cticas de contraataque. Con la liga de StarCraft, AlphaStar ha acumulado una experiencia de m¨¢s de 200 a?os de juego real, sumada durante 14 d¨ªas.

El sistema de Google consigui¨® vencer a los profesionales MaNa y TLO, algo que sucede por primera ocasi¨®n con jugadores de eSports seg¨²n DeepMind. Para ello aprovech¨® una mayor media de acciones por minuto, de decenas de miles frente a cientos, y se sobrepuso a limitaciones del algoritmo como un retraso de 350 milisegundos entre observaci¨®n y acci¨®n. Pero no solo eso. Alphastar ha sido capaz de? da?os propios y maximizaba los da?os de los rivales, algo que iba m¨¢s all¨¢ de la relevancia de las acciones por minuto. Es decir, simplemente tomaba mejores elecciones.