AJEDREZ E INTELIGENCIA ARTIFICIAL (V)

No se puede jugar así contra una computadora. Un software que puede calcular millones de posibilidades por segundo hace cada movimiento con el objetivo de no cometer errores, aunque la partida no vaya a ninguna parte; mientras que una persona busca ganarle a su contrincante, sin importar que eso implique hacer perder piezas.

A veces se sacrifica a la reina para ganar con la torre.

Faltaron elementos clave en esas primeras cuatro partidas: orgullo, frustración, miradas que se cruzan como jugadas en el tablero. Creatividad. Eran cosas a las que Kaspárov estaba acostumbrado en un rival, Deep Blue no tenía nada de eso. Si continuaba con la misma estrategia se arriesgaba a empatar con la máquina de nuevo, o a perder en el juego al que le dedicó una buena parte de su vida. Debía jugar como humano.

Kaspárov gano el quinto juego casi por accidente, no fue nada impresionante. La sexta partida marcó toda la contienda, el ajedrecista ruso —quien jugó con las blancas— hizo movimientos que serían terribles en una partida común. Sólo que esta partida no era común y el oponente tampoco. El hombre abrió con un gambito de dama para controlar en centro con peones, Deep Blue respondió con una defensa eslava, para que su rival de carne y hueso no pudiera hacer más movimientos sin sacrificar piezas.

Desde que Garry puso su caballo en la casilla b2 comenzó a hacer movimientos que un software de ajedrez tacharía de errores, incluso estupideces. Kaspárov atacó a la computadora por los dos lados del tablero, no le importó dejar al rey descubierto. Cada que Deep Blue intentaba hacer un ataque el ruso se movía a las mejores posiciones, aun si eso significaba perder al caballo para controlar más espacio.

El bando de las negras comenzaba a quedarse sin espacio para respirar. Las piezas blancas fuera del juego pudieron ver cómo su sacrificio no fue en vano. La reina negra solamente podía moverse a casillas sin importancia, la torre y el alfil de la supercomputadora estaban acorralados en una esquina.

Kaspárov comenzó a tomar la delantera a pesar de tener menos material que Deep Blue. El bando de las negras comenzaba a quedarse sin espacio para respirar. Las piezas blancas fuera del juego pudieron ver cómo su sacrificio no fue en vano. La reina negra solamente podía moverse a casillas sin importancia, la torre y el alfil de la supercomputadora estaban acorralados en una esquina. El tablero le pertenecía al ruso.

Deep Blue se rindió, sus dos torres, alfil y reina no pudieron hacer nada mientras que su rey estaba en la mira de Kaspárov. Los medios y la comunidad de ajedrez celebraron la victoria del hombre. La creatividad y el caos de un humano le ganó a la perfección de una máquina. Estas partidas sólo alimentaron la idea, presente desde la mitología hasta Matrix, de que las personas y las máquinas son enemigos. Nada más lejos de la verdad.

Deep Blue fue uno de los precursores para mejorar los softwares para monitorear fenómenos climatológicos y financieros, así lo explicó en una entrevista el doctor Murray Campbell, pionero de la inteligencia artificial y uno de los ingenieros que prepararon esta máquina para las partidas. Resulta que el enemigo jurado del hombre le puede avisar si se aproxima un huracán o si la Bolsa de Valores está por desplomarse.

El mismo Garry Kaspárov ha dicho en varias entrevistas y charlas TED que una persona no puede ganarle a una computadora en su propio juego. “No les temas a las máquinas inteligentes, trabajen con ellas”, dijo el ajedrecista en la charla. Una persona no puede calcular cien millones de jugadas por segundo ni puede correr más rápido que un tren bala. Lo que sí puede hacer es construir esas cosas.

Al año siguiente —1997— el jugador ruso perdió la revancha contra la computadora. Cuando la competencia se hizo oficial el titular en la portada de la revista NewsWeek fue “The Brain’s Last stand” (La última defensa del cerebro). Luego de las partidas del noventa y seis el equipo de ingenieros de IBM se dedicó a mejorar el software que destronó a uno de los mejores ajedrecistas de la historia. En ese segundo encuentro no fue Deep Blue quien venció a Garry Kaspárov, fueron Feng–hsiung Hsu, Murray Campbell, Joe Hoane y Thomas Anantharaman. La humanidad prevalece. ®

El modelo de redes neuronales

Última actualización: 2021-08-17

Las redes neuronales son modelos simples del funcionamiento del sistema nervioso. Las unidades básicas son las neuronas, que generalmente se organizan en capas, como se muestra en la siguiente ilustración.

Las unidades de procesamiento se organizan en capas. Hay tres partes normalmente en una red neuronal : una capa de entrada, con unidades que representan los campos de entrada; una o varias capas ocultas; y una capa de salida, con una unidad o unidades que representa el campo o los campos de destino. Las unidades se conectan con fuerzas de conexión variables (o ponderaciones). Los datos de entrada se presentan en la primera capa, y los valores se propagan desde cada neurona hasta cada neurona de la capa siguiente. al final, se envía un resultado desde la capa de salida.

La red aprende examinando los registros individuales, generando una predicción para cada registro y realizando ajustes a las ponderaciones cuando realiza una predicción incorrecta. Este proceso se repite muchas veces y la red sigue mejorando sus predicciones hasta haber alcanzado uno o varios criterios de parada.

Al principio, todas las ponderaciones son aleatorias y las respuestas que resultan de la red son, posiblemente, disparatadas. La red aprende a través del entrenamiento. Continuamente se presentan a la red ejemplos para los que se conoce el resultado, y las respuestas que proporciona se comparan con los resultados conocidos. La información procedente de esta comparación se pasa hacia atrás a través de la red, cambiando las ponderaciones gradualmente. A medida que progresa el entrenamiento, la red se va haciendo cada vez más precisa en la replicación de resultados conocidos. Una vez entrenada, la red se puede aplicar a casos futuros en los que se desconoce el resultado.

AlphaZero sustituye la heurística artesanal por una red neuronal profunda y algoritmos a los que no se les da nada más allá de las reglas básicas del juego. Enseñándose a sí mismo, AlphaZero desarrolló su propio estilo de juego, único y creativo, en los tres juegos.

En sus partidas de ajedrez, por ejemplo, los jugadores vieron que había desarrollado un estilo de juego muy dinámico y «poco convencional» que difería de cualquier otro motor de ajedrez anterior. Muchas de sus ideas «que cambian el juego» han sido adoptadas desde entonces al más alto nivel de juego. 

El software de Deep Blue, además de tener acceso a extensas bases de datos de aperturas y tablas de finales, utilizaba el algoritmo minimax, y una técnica de poda alfa-beta, especialmente diseñado por un equipo de programadores y grandes maestros de ajedrez. Este algoritmo fue mejorado usando técnicas de machine learning. Se preparaba una primera versión del algoritmo y se le proponían una batería de cientos de miles de las mejores partidas de ajedrez de la historia, jugadas por humanos, de forma que Deep Blue podía aprender las técnicas utilizadas en ellas para poder aplicarlas en los enfrentamientos futuros. Pero este aprendizaje era supervisado por los desarrolladores. Cuando Deep Blue realizaba una jugada “errónea”, es decir un bug, se revisaba el código y se modificaba hasta que Deep Blue realizaba la jugada “correcta”. De este modo, el software se iba perfeccionando poco a poco.

No obstante, Deep Blue no estaba realmente diseñado para jugar al ajedrez, sino para jugar al ajedrez contra Gary Kaspárov. Deep Blue conocía todas las partidas jugadas por el campeón y los grandes maestros del ajedrez que lo entrenaron, entre los que se encontraba el español Miguel Illescas, consiguieron que su estilo de juego se opusiese perfectamente al estilo de juego agresivo de Kaspárov.

Por otra parte, en aquellos enfrentamientos contra Kaspárov hubo acusaciones de comportamiento poco ético por parte de IBM. Uno de los empleados de seguridad asignados a Kaspárov hablaba ruso y, presuntamente, espiaba las conversaciones con su entrenador para que el equipo de IBM pudiera obtener pistas sobre cómo preparar la siguiente partida. Además, aunque IBM no podía manipular el software de Deep Blue en medio de una partida, en ocasiones Deep Blue se “bloqueaba” y necesitaba reiniciarse lo que permitiría, presuntamente, realizar modificaciones en su software.

Nunca sabremos hasta donde podría haber llegado Deep Blue en un torneo convencional, contra otros humanos o contra otras máquinas. IBM nunca ha publicado el código de su algoritmo y desmanteló Deep Blue poco después del torneo de 1997, así que desde entonces no ha vuelto a jugar al ajedrez. Los dos racks que lo formaban se encuentran actualmente en el Museo Nacional de Historia Estadounidense y en el Museo Histórico de Ordenadores, ambos en Estados Unidos.

Stockfish, el sucesor

El que ha demostrado ser el mejor sucesor de Deep Blue es, sin lugar a duda, el motor de ajedrez de código abierto denominado Stockfish.

atsistemas.com

Stockfish fue desarrollado en 2008 por Tord Romstad, Joona Kiiski, Marco Costalba y Gary Linscott, con la colaboración de una comunidad de desarrolladores de código abierto. Está desarrollado en C++, el código se publica bajo la licencia GPL y está disponible para Windows, Linux, Mac, Android e iOS.

Stockfish puede usar hasta 512 hilos de CPU en sistemas multiprocesador, que le permiten examinar 70 millones de posiciones por segundo, e implementa una poda alfa-beta avanzada que se caracteriza por su gran profundidad de búsqueda. El software de Stockfish está en constante mejora. Cada uno de los cambios en el código, propuestos por la comunidad de desarrolladores, se acepta o rechaza en función de los resultados de jugar decenas de miles de partidas contra una versión «de referencia» más antigua del programa utilizando pruebas de razón de probabilidad secuencial. Las pruebas se verifican mediante la prueba de χ² y solo si los resultados son estadísticamente significativos se consideran fiables y se utilizan para revisar el código.

Todas estas características han llevado a Stockfish a ocupar varias veces el primer lugar en el campeonato mundial (no oficial) de ajedrez para ordenadores. Desde 2013 a 2019, de los 12 títulos que se han disputado, ha ganado 6 y ha quedado segundo en otras 5 ocasiones.

En definitiva, Stockfish es un motor de ajedrez, con un ELO superior al del campeón del mundo de ajedrez Magnus Carlsen, que puedes llevar en el bolsillo instalado en tu teléfono móvil.

Y en esto llegó… AlphaZero

En los últimos años, todos los módulos de ajedrez populares se habían basado en el algoritmo minimax, mejorado con una poda alfa-beta, habían usado una estructura de árbol para calcular las diferentes variantes y una compleja función de evaluación para asignar a la posición al final de una variante un valor como +1,5 (la ventaja de las blancas equivale a un peón y medio) o -9,0 (la ventaja de las negras equivale a una dama).

Sin embargo, en 2017 DeepMind (una compañía propiedad de Google) desarrolló AlphaZero para especializarse en aprender a jugar juegos de dos jugadores y movimientos alternos (como el ajedrez, el shogi o el go), basándose en técnicas de aprendizaje reforzado y aprendizaje profundo con redes neuronales. 

La mejora continua de la función de evaluación se consigue por medio de una red neuronal.

La posición actual sobre el tablero se introduce en la capa de entrada de la red, a continuación es procesada por la primera capa de neuronas, cada una de las cuales envía el resultado a las neuronas de la siguiente capa, y así sucesivamente hasta llegar a la capa de salida que obtiene el resultado final.

En AlphaZero este resultado tiene dos partes:

Una evaluación de la posición de ajedrez que se le había planteado.

Una evaluación de cada jugada legal en la posición.

En realidad, cada neurona es una unidad de procesamiento muy simple que acepta una serie de aportaciones, multiplica cada una por una cantidad de peso, suma las respuestas y luego aplica una función de activación que da un resultado, típicamente en el rango de 0 a 1. Es importante tener en cuenta que el resultado de una neurona puede depender de todas las neuronas que hay en la capa anterior, lo cual permite a la red captar muchas sutilezas.

La red neuronal de AlphaZero tiene 80 capas y cientos de miles de neuronas. Los pesos son muy importantes, porque entrenar a la red es una cuestión de dar valores a los pesos para que la red aprenda a “jugar bien” al ajedrez.

Como hemos visto en un artículo anterior, el gran problema del ajedrez son las variantes. Teniendo en cuenta todos los posibles movimientos, las posibles respuestas del adversario, nuestros posibles movimientos siguientes, etc. al cabo de solo 4 jugadas tendríamos unas 650.000.000.000 posiciones distintas que tendríamos que evaluar. Y esa cifra sigue creciendo exponencialmente. AlphaZero reduce el número de variantes considerando solo los movimientos que le recomienda su red neuronal, una media de tres posibles movimientos. De ese modo, una modesta cantidad de 80.000 posiciones evaluadas por segundo (como hemos visto, Stockfish examina 70 millones de posiciones por segundo) le permiten ver unos siete movimientos por delante en menos de un minuto.

En cuando al hardware, AlphaZero se ejecuta en un hardware especializado: las unidades de procesamiento por tensores (TPU) de Google. AlphaZero usa 5.000 TPUs de primera generación para generar partidas de juego autónomo, las cuales se usan para entrenar a la red, y 64 TPUs de segunda generación para realizar el entrenamiento como tal. No obstante, para jugar al ajedrez solo necesita 4 TPUs.

Por todo lo que hemos visto hasta el momento, se podría decir que AlphaZero es como un bebé recién nacido, está tremendamente equipado para aprender pero tiene muy pocos conocimientos. En el caso del ajedrez, a AlphaZero simplemente le enseñaron las leyes del ajedrez. No sabe nada de teoría de aperturas, ni tiene conocimientos estratégicos o tácticos. Por no conocer, ni siquiera conoce el valor relativo de las piezas de ajedrez. Su función de evaluación solo mide la probabilidad de victoria o derrota, entre -1 y 1. Es decir, le enseñaron a mover las piezas, que el objetivo del juego es dar jaque mate al rey contrario… y nada más.

En diciembre de 2017, con estos conocimientos tan exiguos, AlphaZero se puso a jugar al ajedrez consigo mismo. Los desarrolladores de DeepMind podrían haberle dado partidas de grandes maestros de las que aprender (aprendizaje supervisado). Sin embargo, esto habría dado como resultado que AlphaZero aprendería a jugar ajedrez como lo hacen los humanos, con sus mismos errores. Así que el equipo de DeepMind optó por usar un enfoque más ambicioso denominado aprendizaje de refuerzo. Al principio AlphaZero jugaba contra si mismo moviendo aleatoriamente las piezas pero si, eventualmente, uno de los dos bandos ganaba, sería debido a que las jugadas que había realizado debían ser mejores que las del bando que perdió, así que se reajustaban los pesos en la red neuronal. Tras un lote de ejecuciones (4.096 partidas) se consolidaba la mejor red neuronal obtenida hasta el momento, que se catalogaba como “Mejor jugador”, y en el siguiente lote se jugaba siempre contra este “Mejor jugador”. Si tras otro lote de ejecuciones el nuevo jugador había demostrado ser mejor que él, entonces ocupaba su puesto y vuelta a empezar. Esto es, AlphaZero aprende de sus propios errores y toma sus propias decisiones sin intervención humana.

Durante este período de aprendizaje, el progreso de AlphaZero se medía jugando partidas de un segundo por movimiento contra Stockfish. Cuando AlphaZero llevaba 300.000 iteraciones en los gigantescos servidores de Google (unas cuatro horas de entrenamiento) los desarrolladores comprobaron que ya tenía un nivel superior a Stockfish. No obstante, el entrenamiento de la red continuó hasta completar unas 700.000 iteraciones, proceso que duró 9 horas, y a continuación AlphaZero se enfrentó a Stockfish en una serie de 100 partidas, jugando la mitad con blancas y la mitad con negras. El resultado fue espectacular: +28 -0 =72. AlphaZero ganó 28 partidas, no perdió ninguna e hizo tablas en las otras 72.

Muchos consideraron que el encuentro no había sido justo porque no se utilizó la última versión disponible de Stockfish, no se le permitió utilizar su libro de aperturas y el hardware utilizado favorecía claramente a AlphaZero, así que a principios de 2018 se repitió el encuentro con un resultado muy similar. AlphaZero vapuleó a Stockfish en una nueva serie de 1.000 partidas, con un marcador de +155 -6 =839. AlphaZero ganó 155 partidas, sólo perdió 6 e hizo tablas en las otras 839.

Algunas de estas partidas han sido publicadas recientemente y muestran un estilo de juego revolucionario. Por ejemplo, como AlphaZero no conoce el concepto de “valor material de las piezas” realiza espectaculares sacrificios de peones o piezas en la apertura, solo porque maximizan sus posibilidades de ganar la partida a largo plazo.

Pero lo más sorprendente de AlphaZero no es que tras unas pocas horas de aprendizaje autodidacta haya sido capaz de aprender a jugar al ajedrez a un nivel sobrehumano. Lo más extraordinario es que el algoritmo de AlphaZero es idéntico para los juegos de ajedrez, shogi y go… y también ha logrado vencer a los mejores módulos informáticos de estos dos juegos, partiendo tan solo de las normas básicas de los mismos y unas pocas horas de entrenamiento. Esto supone un importante avance para la Inteligencia Artificial, y abre las puertas a crear en el futuro un sistema capaz de aprender cualquier juego… con las implicaciones que esto podría tener.

Como corolario comentaré que, debido al hardware tan especializado en el que corre, no es posible instalar AlphaZero en un dispositivo doméstico. No obstante, en 2018 se ha creado un motor de ajedrez de código abierto denominado Leela Chess Zero (Lc0), basado en el proyecto de AlphaZero. Lc0 ha ganado recientemente el campeonato mundial (no oficial) de ajedrez para ordenadores (TCEC 15), tras derrotar en la final precisamente a Stockfish, y dispone de una interfaz gráfica de usuario para Windows y para Linux.

La siguiente generación de motores de ajedrez basados en redes neuronales ya está aquí… y ha venido para quedarse.

Rodrigo Díaz López