Controle de ângulo da junta do ombro do Robô NAO com Q-Learning

uma abordagem de aprendizado por reforço

Resumo

O controle preciso das juntas de robôs humanoides, como as do ombro do robô NAO, é um desafio técnico devido à complexidade biomecânica e às não-linearidades dinâmicas, que frequentemente limitam a eficácia dos métodos tradicionais, como controladores PID. Este trabalho propõe uma abordagem baseada em aprendizado por reforço, utilizando o algoritmo Q-Learning, para controlar o ângulo da junta do ombro esquerdo do NAO, com o objetivo de alcançar um ângulo alvo de 45°. A metodologia foi desenvolvida e testada no ambiente de simulação CoppeliaSim, onde o problema foi modelado como um Processo de Decisão de Markov (MDP), com estados discretizados (ângulo e velocidade angular da junta) e ações representadas por torques aplicados. O algoritmo foi implementado em Python, utilizando a API ZMQ Remote do CoppeliaSim, e configurado com uma política ϵ-greedy para balancear exploração e aproveitamento. Os resultados mostraram que o Q-Learning convergiu em uma média de 62,70 episódios e desvio padrão de 2,72. Esses achados demonstram o potencial do Q-Learning como uma alternativa eficaz aos métodos tradicionais para o controle de juntas robóticas em simulação, contribuindo para o avanço de robôs humanoides em aplicações como assistência social e educação.