¿Acabará Alpha Zero con el poker tal y como lo conocemos?
Hace unos días saltó la noticia de que Alpha Zero, una IA desarrollada por Google, fue capaz de derrotar a Stockfish, el mejor módulo de ajedrez hasta ahora en un match a 100 partidas (28 victorias, 72 tablas y 0 derrotas). Lo sorprendente es que consiguió este magnífico resultado tras jugar contra sí mismo durante tan solo 4 horas, después de que le enseñaran las reglas del juego.
Alpha Zero también es el mejor programa del mundo jugando al Go (tras 8 horas de auto-entrenamiento) y el mejor del mundo jugando al Shogi.
¿Puede Alpha Zero resolver el hold'em 6-max si los ingenieros de Google le dan las reglas y auto-entrena contra sí mismo? Yo desde luego sí lo creo.
Otro proyecto interesante sería ponerlo a jugar contra Libratus, la IA desarrollada para resolver el heads-up, a ver si realmente Libratus es inexplotable.
Buenas Calave, La IA es tal cual como dices, Inteligencia Artificial, y seguramente le tomará un tiempo convertir uno de estos modelos en el mejor jugador de póker, sin duda, pero la pregunta, algún humano se acercará a ese nivel?.
Directamente no me sentaría en una mesas con estos Tios bots.
Se gana a si mismo?.
Entonces tambien pierde?
Tranquilos, cuando Alpha Zero vea el rake que se paga y haga sus cuentas seguro que deja el poker y se pone a otra cosa.
En el estado actual de Alphazero creo que le sería muy complicado, aunque el ajedrez es complejo (el go mucho más) el poker no limit tiene para cada movimiento una variedad enorme de tamaños de apuesta. Si esto fuera poco tiene la aleatoriedad del reparto que hace que en vez de valorar un movimiento por el resultado inmediato lo tenga que hacer basado en la repetición del mismo spot miles de veces.
De entre todos los módulos de ajedrez lo que lo hace único es que aprendió de cero, sin que ningún programador le diga que tal o cual posición es buena o que le carguen un libro de aperturas; o sea que si va a aprender poker de la misma manera no puedes decirle que un flush draw tiene X % de salir, tiene que jugarlo una y otra vez hasta que lo averigüe.
Con todo la IA está avanzando de una manera que es inevitable que terminen resolviendo el poker. Pero igual que las motos no terminaron con el ciclismo o las grúas con la halterofilia, la IA no debería terminar con el poker.
@chichi2387 No sé por qué crees que le tomaría un tiempo ser el mejor jugador de póker. El póker no es mucho más complicado que el ajedrez y apenas le llevó 4 horas de entrenamiento vencer al mejor programa informático hecho por los humanos.
@POLERO Dadas las reglas del juego él empezaría a jugar contra sí mismo, al principio muy mal pero rápidamente mejorando y aprendiendo de la misma forma en que lo hemos hecho los humanos en las últimas décadas, solo que en cuestión de horas. Eventualmente alcanzaría una compresión profunda o incluso completa del juego y podría desarrollar una estrategia óptima así como adaptarse a sus rivales... Al menos eso es lo que ha hecho con el resto de juegos.
@cesarzgz Jajajaja, eso es verdad.
Si, espero haberte ayudado
Seguro que si se puede hacer data mining del bot, y tener su HUD, tiene algún leak para explotar.
Con todo la IA está avanzando de una manera que es inevitable que terminen resolviendo el poker. Pero igual que las motos no terminaron con el ciclismo o las grúas con la halterofilia, la IA no debería terminar con el poker.
Jajajk, muy bueno lo de la halterofilia.... No creo que la IA vaya a terminar con el poker pero sí con el poker online. Cuando para una máquina el poker sea tan sencillo como el 3 en raya tú me dirás quién se va a sentar en una mesa... Y ese momento se está acercando muy deprisa. Desconozco si hay competiciones mundiales relevantes de ajedrez online pero lo dudo mucho. Supongo que los buenos se verán las caras y jugarán a pelo (no sé si habrá otra forma de garantizar una competición limpia). Nos vamos a tener que reconvertir en casineros no tardando.
La verdad es que según estuve leyendo, para poder resolver todas las combinaciones posibles en un juego HU, hizo falta una cantidad de poder de procesamiento de 7.000 veces de la que dispone una computadora normal (un súper servidor de 20 millones de dolares), si sumamos 5 jugadores más a la mano, la cantidad de combinaciones subiría a billones, por lo que hasta que no avance la tecnología no creo que sea posible a corto plazo resolver el 6max, quizá en 4 o 5 años se pueda llegar a conseguir algo, con suerte.
Yo hasta que no vea en una mesa 6max sentados 4 bots + Mestre + Red Baron, pudiéndose usar HUD. Y a ver quien gana allí.
La verdad es que según estuve leyendo, para poder resolver todas las combinaciones posibles en un juego HU, hizo falta una cantidad de poder de procesamiento de 7.000 veces de la que dispone una computadora normal (un súper servidor de 20 millones de dolares), si sumamos 5 jugadores más a la mano, la cantidad de combinaciones subiría a billones, por lo que hasta que no avance la tecnología no creo que sea posible a corto plazo resolver el 6max, quizá en 4 o 5 años se pueda llegar a conseguir algo, con suerte.
El tema de las IA, a diferencia de los programas de fuerza bruta, es que son capaces de filtrar cosas en base a lo que ellos "saben". Igual que nosotros no consideramos todas las posibilidades a la hora de jugar contra otro humano, Alpha Zero tampoco.
Dejo un dato del estudio que se publicó sobre Alpha Zero vs Stockfish:
"Efectivamente, de forma similar a los humanos, AlphaZero busca menos posiciones que sus antecesores. El estudio declara que "solo" mira 80.000 posiciones por segundo, frente a los 70 millones por segundo de Stockfish."
Por supuesto Google entrena a Alpha Zero con un poder computacional enorme, pero es que encima su capacidad de aprendizaje le permite calcular mucho menos que a los programas que funcionan por fuerza bruta.
En general, lo que Alpha Zero podría aportar al poker no es tanto su "resolución" (no está programado para resolver el juego en base a reglas matemáticas dadas, aunque eventualmente podría hacerlo descubriendo esas reglas matemáticas por sí mismo), sino una forma de entender el juego completamente nueva.
Por ejemplo, podríamos encontrarnos que tras horas de entrenamiento Alpha Zero deja de considerar determinados sizings en según que spot, o establece unas morfologías en ciertos spots diferentes a las que consideran los mejores humanos. Los humanos a lo mejor no pueden llevar a la práctica los rangos que utiliza una máquina, pero quizás sí pueden aplicar los patrones de pensamiento de Alpha Zero, aquello que le lleva a considerar o no considerar una línea.
La verdad que cansa el hilo cíclico.
En entornos regulados, en los que para jugar solo les falta exigirte los últimos análisis del medico, el mayor riesgo de un jugador ganador es un baneo.
Y no vale hacerse una cuenta y ya. Hay que tener acceso a una cuenta bancaria a nombre del jugador, pruebas de residencia etc.
Además, una cosa es que un amigo te deje una cuenta y si gana mil euros, se los das en mano y pista. Asumo que un bot que se haya pasado el juego ganara dinero sin control (mas que mestre ivansuited y demas educos que estan ya jugando y que no han acabado con el poker online). Pues bien, por encima de ciertos ingresos aparece el tio sam, y el fulano que te dejo la cuenta pasa a tener que pagar impuestos por ingresos de.. Cuanto? Mas de 500.000 €?. Eso de irpf, mas luego donaciones.
En resumen aparece un bot, listillo de turno lo usa, oleada de frickis lo detectan y denuncian, ban, FIN.
Mmm, sorry si el hilo te resulta pesado, siempre te lo puedes desmarcar y no te saltan los mensajes.
Una última cosa que quiero decir. No estamos hablando de bots domésticos creados para jugar perfecto y ganar dinero en la salas on-line. Esto no me quita el sueño. AlphaZero no es nada de esto, no es un producto comercial, es investigación en estado puro con muchos recursos de Google detrás.
El proyecto AlphaZero y el tema de las IA me interesan en cuanto a que me interesa saber si estamos cerca de ver nuevos enfoques teóricos al juego, desde el punto de vista del conocimiento universal, no desde el punto de vista práctico o su aplicación para ganar dinero de esto, eso me da exactamente igual.
Quizás debí haber titulado el hilo "Acabará con el poker tal y cómo lo conocemos"...
Jajajk, muy bueno lo de la halterofilia.... No creo que la IA vaya a terminar con el poker pero sí con el poker online. Cuando para una máquina el poker sea tan sencillo como el 3 en raya tú me dirás quién se va a sentar en una mesa... Y ese momento se está acercando muy deprisa. Desconozco si hay competiciones mundiales relevantes de ajedrez online pero lo dudo mucho. Supongo que los buenos se verán las caras y jugarán a pelo (no sé si habrá otra forma de garantizar una competición limpia). Nos vamos a tener que reconvertir en casineros no tardando.
No se qué tan efectivas pueden ser las salas en perseguir a los bots pero de momento en stars el flopzilla no funciona si tienes el cliente abierto y si por casualidad te olvidaste abierto el icmizer se te bloquea stars y te mandan un correo insta-amenaza de ban. Incluso usar más tablas que lo normal o un hud con según que datos puede ser causa de ban. En esas condiciones es difícil colar un bot que lea solo la mano y juegue en tiempo real ¿no crees?
En el poker podría haber una federación, competiciones oficiales y un entorno de juego limpio pero creo que eso nos importa poco a los que vivimos de que haya peces en las mesas. A nosotros nos importa que los regulares con los que nos sentamos no tengan acceso a nada que les de ventaja, eso de momento no parece posible pero a medio plazo quién sabe.
Yo hasta que no vea en una mesa 6max sentados 4 bots + Mestre + Red Baron, pudiéndose usar HUD. Y a ver quien gana allí.
Dudo que sirva de algo usar hud contra bots, además creo que a Raúl no lo veremos nunca jugar una mesa así (y lo bien que hace).
El tema de las IA...
Lo de Alphazero es muy impresionante, está marcando un cambio de era en ajedrez, lo hizo en go y de IA no entiendo mucho pero parece que también.
Este bicho entiende el ajedrez como nadie. Desde Deep Blue las máquinas nos tenían acostumbrados a darle excesiva importancia al material y ésta viene y sacrifica todo. Esta herramienta en manos de los mejores analistas y entrenadores puede llevar el ajedrez a la estratósfera imo.
Pokerstars es un casino, los casinos siempre ganan. Por tanto, de la misma manera que te van a echar a patadas de un casino por contar cartas en el blackjack tambien lo haran si ven que alguien tiene un winrate o manera de jugar sospechosa sin importar si es cierto o no. No van a dejar que los recreacionales crean que no pueden ganar por los bots.
El problema no es crear un bot que pueda ganar a jugadores, sino saltarse la seguridad por un tiempo ilimitado(ganar al poker no es como atracar un banco) de un negocio que mueve cientos? miles? de millones de euros.
No creo que sea correcto comparar el ajedrez y el go con el poker, porque los 2 primeros son juegos de informacion completa, es decir, tanto tu como tu oponente puede ver las todos las variables en el tablero, en el poker no y eso creo que dificulta a una ia tratar de batir el juego, creo que pasara bastante tiempo para que una IA pueda resolver (si es que se puede) el holdem en 6max y en full ring mucho mas tiempo.
Alpha Zero, por supuesto que puede aprender a jugar al poker y acabar con él. Un humano siempre podrá actualizarlo si encuentra algún error en su adaptación a diferentes rivales. Y de la misma forma que un humano puede variar sus stats voluntariamente para despistar a Alpha Zero, éste también lo puede hacer y mejor.
Supongo que los buenos se verán las caras y jugarán a pelo (no sé si habrá otra forma de garantizar una competición limpia). Nos vamos a tener que reconvertir en casineros no tardando.
Es que nadie va a pensar en los cyborgs? :O xDD
Saludos
Yo siempre me he imaginado poder grindear en live con las gafas de google y que me pusiera un popup con el hud de cada villano encima de la cabeza xDD