Tiefes "Verstärken lernen" lehrt Roboter neue Fähigkeiten schneller als je zuvor

Roboter lernen, Aufgaben in schnelleren virtuellen Welten zu erledigen und Fähigkeiten innerhalb von Stunden zu entwickeln, die sonst Monate dauern könnten. Simuliertes Deep-Verstärkung-Lernen (oder Deep RL) bedeutet eine Fertigkeit, die normalerweise 55 Tage für einen A.I. Um in der realen Welt zu lernen, dauert es nur einen Tag im hyperbeschleunigten Klassenzimmer.

"Es hat das Potenzial, wirklich zu revolutionieren, was wir im Bereich Robotik tun können", sagte Raia Hadsell, Wissenschaftlerin bei Google DeepMind, auf dem Re-Work Deep Learning Summit am Donnerstag in London. "Wir können menschliche Fähigkeiten erlernen."

Es mag sich nicht intuitiv anhören, denn der Sinn von Robotern ist, dass Programmierer ihnen beibringen können, etwas zu tun, richtig? Beim Entwurf einer Maschine, die in der realen Welt eingesetzt wird, benötigen Roboter jedoch eine Menge Daten, um zu verstehen, wie eine Aufgabe in einer unbekannten Situation erledigt wird. A.I. Sie können diese Daten verwenden, um eine Fertigkeit basierend auf allen zuvor genannten Instanzen zu „lernen“.

Beim Deep-Verstärken-Lernen werden diese Daten auf ähnliche Weise gesammelt wie bei Menschen: Ein Roboter wird wiederholt eine Aufgabe ausführen, beispielsweise einen Ball fangen, und die Daten aufzeichnen, um sich ein Bild davon zu machen, wie man einen Ball in einer neuen Situation am besten fängt. Als DeepMind das Modell 2013 verwendete, um einem Roboter beizubringen, wie man Atari-Spiele meistert, indem man es einfach vor den Bildschirm setzte und ihm das Endziel erklärte, liebte es die wissenschaftliche Gemeinschaft.

Das Problem ist, das dauert ewig. Sie müssen wiederholt Bälle auf einen Roboter werfen, oder lassen Sie den Roboter im Atari-Fall für eine Weile in seinem Schlafzimmer. Durch Ausführen einer MuJoCo-Simulation in Kombination mit einem progressiven neuronalen Netzwerk können Trainer ein Programm ausführen, das den Roboter nachahmt, das erlernte Verhalten auf den Roboter überträgt und die virtuellen Bewegungen in die reale Welt abbildet.

"Wir können diese Simulatoren den ganzen Tag und die ganze Nacht ausführen", sagte Hadsell.

Die Ergebnisse sprechen für sich. Dieser Roboter, der sein Diplom erworben hat, kann nun virtuellen Bällen folgen, als ob sie echt wären, und ihn auf den großen Tag vorbereiten, an dem er einen echten Ball fangen wollte: