МЕТОД НАВЧАННЯ АВТОНОМНИХ МОБІЛЬНИХ РОБОТІВ НА ОСНОВІ DRL ТА CURRICULUM LEARNING

Анотація

Робота присвячена актуальній задачі підвищення ефективності соціально-адаптивної навігації автономних мобільних роботів у динамічних середовищах із присутністю людей. Застосування методів глибокого навчання з підкріпленням (DRL) для вирішення цієї задачі ускладнюється високою розмірністю простору станів, складністю формалізації соціальних норм у функції винагороди та нестабільністю процесу навчання. Для подолання цих викликів запропоновано метод, що інтегрує алгоритм Proximal Policy Optimization (PPO) зі стратегією навчання за програмою Curriculum Learning (CL). Розроблена навчальна програма поєднує поступове ускладнення середовища (від статичних перешкод до середовища із рухомими агентами-людьми) та поетапне формування функції винагороди із додаванням соціальних компонентів. Ключовою особливістю є перехід між етапами, який базується на аналізі стабільності політики. Експериментальне дослідження проведено в розробленому симуляційному середовищі Gazebo із використанням мобільного робота Turtlebot3 Waffle та фреймворку ROS 2 Humble. Поетапне навчання дозволяє автономному мобільному роботу спочатку засвоїти базові навички уникнення статичних перешкод, потім — динамічних, і на завершальному етапі — враховувати соціальні норми взаємодії з людьми. Вхідними даними для системи є дані з LiDAR, стан робота та людей, а також цільова позиція. Результатом методу є оптимізована стохастична політика поведінки, що дозволяє автономному мобільному роботу приймати безпечні, ефективні та соціально прийнятні навігаційні рішення. Проведено порівняльний аналіз запропонованого методу із стандартним алгоритмом PPO. Отримані результати підтверджують, що запропонований метод дозволяє формувати ефективну політику соціально-адаптивної навігації, вирішуючи проблеми нестабільності та повільної збіжності.