Just like the simulations: Teaching robots to play chess

Schachfiguren sind schwer und unsere Arme sind schwach. Glücklicherweise gibt es starke Roboter – und mit Simulationsumgebungen und Robot Foundation Models (RFMs) war es noch nie einfacher, ihnen beizubringen, wie man Schachfiguren bewegt. In diesem Vortrag zeigt unser Innovation Hacking-Team, wie Roboter in Simulationsumgebungen trainiert und in der realen Welt eingesetzt werden können.

Der Vortrag beginnt mit einer Einführung in RFMs, was sie so besonders macht und wie sie eingesetzt werden. Dann taucht das Team tief in NVIDIAs Gr00t ein, wie es aufgebaut ist, wie es trainiert wurde und wie es genutzt werden kann. Danach geht es um synthetische Datengenerierung: Unser Team zeigt, wie in NVIDIA Isaac Sim Roboter-Trainingsdaten generiert und wie die Daten mit generativer KI weiter verbessert werden können. Schließlich ist es an der Zeit, das simulierte Modell in die reale Welt zu übertragen: Unsere Speaker erläutern, wie die Lücke zwischen Simulation und Realität geschlossen werden kann, und zeigen, wie weit die Sprach- und Schlussfolgerungsfähigkeiten des trainierten Modells tatsächlich ausgereizt werden können.

Nebenbei werden die Inhalte mit Code-Beispielen und Live-Demos untermalt, die sowohl die beeindruckenden Fähigkeiten als auch die urkomischen Fehlschläge dieses Projekts zeigen. Spoiler-Alarm: Nicht jedes Spiel endet mit einem Schachmatt.