Atari-Klassiker: Bot spielt Q*bert und erreicht dank Bug "unmögliche" Highscores
Forscher haben evolutionäre Algorithmen auf Atari-Spieleklassiker losgelassen und untersucht, wie sie sich gegen das etablierte Reinforcement Learning schlagen. Dabei hat ihr Bot im Hüpfspiel Q*bert einen Bug gefunden, der "unmögliche" Highscores erlaubt.
(Bild: Patryk Chrabąszcz (Screenshot aus Video))
Drei Forscher an der Universität Freiburg haben einen Bot mit künstlicher Intelligenz auf klassische Atari-Konsolenspiele angesetzt und untersucht, wie gut unterschiedliche Algorithmen des maschinellen Lernens dafür geeignet sind. Sie setzten auf Evolution Strategies (ES) und verglichen sie mit den Algorithmen des Reinforcement Learning (RL, bestärkendes Lernen), wie The Register schreibt.
Evolution Strategies meistern Videospiele
In ihrer Forschungsarbeit "Back to Basics: Benchmarking Canonical Evolution Strategies for Playing Atari" (PDF-Datei) erproben Patryk Chrabaszcz, Ilya Loshchilov und Frank Hutter grundlegende ES-Algorithmen (Canonical ES) an Atari-Spielen, einer bekannten Deep-Learning-Herausforderung. Sie fütterten ihren Bot mit Daten aus Titeln wie Pong, Breakout oder Space Invaders und ließen ihn anschließend Spielstrategien ausprobieren, die zu möglichst hohen Punktzahlen führten.
Bei solchen Aufgaben galten bislang eher RL-Algorithmen als erfolgversprechend, in einigen Fällen erwiesen sich allerdings spezialisierte ES-Algorithmen als eine Alternative. Die Forscher wollten jedoch zeigen, dass auch grundlegende ES-Algorithmen eine vergleichbare oder bessere Performance bei Lösen einer Aufgabe liefern können als RL-Algorithmen. In manchen Fällen ist dieses Ergebnis auch eingetreten, allerdings versagten die ES-Methoden in einigen Fällen. Deshalb empfehlen die Forscher, beide Algorithmen-Arten zu kombinieren.
Bug durch Herumprobieren gefunden
Bei dem Plattform-Hüpfspiel Q*bert von 1982 trickste der Bot ungeplant das Gamedesign aus. Der Bot verlor das Interesse daran, ein Level zu beenden und stürzte sich stattdessen mit einem Gegner auf den Fersen in den virtuellen Tod. Da der Gegner jedes Mal hinterhersprang, verlor der Spieler zwar ein "Leben", gewann jedoch durch das Erledigen des Gegners genug Punkte hinzu, um das Level endlos fortzusetzen.
In einem weiteren Fall fand die KI sogar einen Bug in Q*bert. Ist ein Level abgeschlossen ist, blinken die Plattformen und das Spiel müsste eigentlich zur nächsten Stufe wechseln. Der Bot lässt jedoch die Spielfigur wild herumhüpfen und dadurch Punkte sammeln, ohne das Level jemals abzuschließen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Inhalt geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
