Американские инженеры разработали систему управления HITTER, которая позволяет свободно двигающемуся человекоподобному роботу играть в настольный теннис. Система состоит из двух элементов: высокоуровневого планировщика, предсказывающего траекторию мяча, и низкоуровневого нейросетевого контроллера, который управляет движениями робота. Такой подход позволяет роботу реагировать на мяч, летящий со скоростью более пяти метров в секунду, и при этом двигаться вдоль стола, удерживая равновесие. В тестах человекоподобный робот Unitree G1 под управлением HITTER показал уровень игры сравнимый с любительским. Робот смог провести несколько игр против людей и другого такого же робота. В одной из игр он успешно выполнил 106 последовательных ударов. Препринт статьи доступен на сайте arXiv.org.
Разработка роботов, способных участвовать в спортивных состязаниях, позволяет инженерам оттачивать новые подходы к управлению в быстро меняющихся условиях. Так, например, в настольном теннисе стол имеет сравнительно небольшие размеры, а мяч может лететь со скоростью более пяти метров в секунду, поэтому на восприятие, принятие решения и действие остаются лишь доли секунды и от игрока требуется молниеносная реакция, точность и ловкость. Роботы, способные успешно противостоять человеку в этой игре, уже существуют. Например, в 2024 году исследовательское подразделение Google DeepMind представило робота-теннисиста с основанной на нейросетях системой управления, который мог уверенно обыгрывать всех начинающих игроков (100 процентов матчей) и многих игроков среднего уровня (55 процентов матчей).
Как и многие другие подобные роботы для игры в пинг-понг, робот Google представлял собой установленный на платформе манипулятор, который мог двигаться лишь в ограниченных пределах. Команда инженеров под руководством Шанкара Састри (S. Shankar Sastry) и Кушиля Срината (Koushil Sreenath) из Калифорнийского университета в Беркли решила пойти другим путем и вместо создания узкоспециализированного стационарного робота попыталась превратить в теннисиста свободно передвигающегося человекоподобного робота общего назначения. На эту роль выбрали коммерчески доступного робота G1 Unitree.
Чтобы научить человекоподобного робота играть в настольный теннис, инженеры создали для него иерархическую систему управления под названием HITTER (A HumanoId Table TEnnis Robot via Hierarchical Planning and Learning). Для этого они разделили сложную проблему на два уровня: высокоуровневое планирование и низкоуровневое управление движениями. Для планирования используется модель-ориентированный подход, а за генерацию движений отвечает низкоуровневый контроллер всего тела робота, основанный на обучении с подкреплением. Планировщик получает данные о положении мяча от внешней системы захвата движения (девять камер OptiTrack отслеживают мяч с миллиметровой точностью), а затем использует физическую модель полета и отскока мяча, чтобы предсказать его будущую траекторию. На основе этого прогноза вычисляется оптимальная точка, время и скорость для удара ракеткой, а также определяется, в какую точку у стола должен переместиться робот, чтобы выполнить удар.
За движения робота отвечает низкоуровневый контроллер всего тела — многослойный перцептрон, обученный в симуляторе Isaac Lab с помощью обучения с подкреплением. Контроллер имеет три скрытых слоя с 512, 256, и 128 нейронами. На его вход подаются целевые параметры от планировщика (положение и скорость ракетки, положение корпуса робота) а на выходе генерируются конкретные движения для всех 29 суставов робота с частотой 50 герц. Чтобы робот отбивал мяч в более человеческой манере, в функцию вознаграждения также включили референсные движения человека. Для этого исследователи записали видеоклипы с человеком, выполняющим удары ракеткой справа (форхенд) и слева (бэкхенд), преобразовали их в 3D-анимацию, а после адаптировали ее к конструкции робота G1 (через инструменты GVHMR и GMR). Это позволило добиться сложных похожих на человеческие скоординированных движений всего тела. Робот под управлением контроллера научился делать быстрые шаги для занятия нужной позиции, сохраняя при этом динамическое равновесие, и выполнять характерные повороты корпуса для усиления удара по мячу. Обучение контроллера на сериях последовательных ударов позволило ему научиться не только выполнять сам удар, но и быстро восстанавливаться, готовясь к следующему.
Система была протестирована на человекоподобном роботе Unitree G1 с закрепленной на запястье ракеткой. В серии экспериментов роботу подавали мячи в разные точки стола, в результате он успешно ударил по мячу в 96 процентах случаев и вернул мяч на другую сторону стола в 92 процентах случаев. Робот под управлением HITTER показал способность быстро перемещаться, шагая вдоль стола, чтобы дотянуться до далеко летящих мячей. В одно из матчей с человеком он смог отбить серию из 106 последовательных ударов, что превосходит обычный уровень любительской игры. Серия прервалась, когда робот отбил очередной мяч в сетку. Робот отражал даже очень сильные удары, в которых время между ударом соперника и ответом робота составляло 0,42 секунды. Кроме этого, разработчики протестировали способность двух одинаковых роботов под управлением HITTER играть друг с другом — они продолжительное время обменивались мячом, выполняя удары полностью автономно.
Несмотря на успехи, по словам авторов, текущая система еще имеет множество ограничений. К примеру, она полностью опирается на данные внешней системы захвата движения вместо собственного зрения робота. Во-вторых, она не учитывает кручение мяча, которое является ключевым элементом в профессиональном настольном теннисе. Наконец, робот пока не умеет подавать. Помимо устранения этих недостатков, в будущем инженеры планируют обучить робота продвинутой тактике игры с более опытными соперниками.
Не только человекоподобные роботы могут играть в спортивные игры. Недавно швейцарские инженеры научили четвероногого робота с манипулятором на спине играть в бадминтон. Робот следит за движение волана, координирует движения ног и манипулятора с ракеткой и отбивает подачи, полагаясь только на данные собственной бортовой камеры.