Helicóptero Autônomo

Introdução

Helicópteros são considerados mais difíceis do que aeronave de asa fixa por causa de ruído e assimetria. As maneiras de resolver esse problema são mostrados na tabela abaixo.

Características do Helicóptero

O helicóptero analizado pelo artigo, possui 3.6 m de comprimento e pesa 20 kg. Nele estão colocados 3 acelerômetros e 3 giroscópios. Além disso, há um sistema GPS e um compasso, que reporta 50 Hz.

Os valores obtidos são: (x,y,z), (θ, Φ ,ω), d(x,y,z)/dt, d(θ, Φ ,ω)/dt.

Explicação Simples de Aprendizado por Reforço

O aprendizado por reforço é um método de inteligência artificial que visa trabalhar com um aprendizado sem a necessidade de um dataset. Os parâmetros a ele relacionados estão inseridos em um estado de Markov, que é um sistema constituído por uma política, um agente, um estado e uma ação. Para dar prosseguimento ao aprendizado, também é definido uma função de ganho para a cada novo estado o agente aprender algo com as escolhas das ações anteriores.

Para o caso do helicóptero, são definidos os seguintes parâmetros:

A partir disso são encontrados os valores, que são encontrados por fórmulas de recorrência e métodos de maximização.

As maneiras possíveis para o aprendizado do helicóptero são duas.

As ações são relacionam com o movimento do helicóptero.

O artigo analizado usa o algoritmo de Pegasus para otimizar. Monte Carlo que geralmente fornece valores ligeiramente diferentes de qπ. A melhor opção é simular vários por Monte Carlo π e tirar o melhor deles.

Para a função de recompensa, ele usa o seguinte:

Que é uma separação da recompensa relacionada à ação e uma recompensa relacionada ao estado. O primeiro tem o objetivo de tornar suave a movimentação. O segundo seria uma recompensa por ir para o melhor estado (*) e o estado original. No final, as duas funções são unidas no R(s,a).

Resultados

Pelos testes feitos, os resultados são mostrados abaixo. Cada um dos gráficos é uma variação de algum dos graus de liberdade definidos para o helicóptero. A linha vermelha é a rota feita pelo humano e a linha azul é a feita pela inteligência artificial. Os testes mostram que em todos os momentos ele tentou manter o helicóptero o mais estável possível.

Conclusão

Com isso, temos que o uso de uma Inteligência artificial para o helicóptero é útil para tornar a movimentação mais suave e estável possível. O aprendizado por reforço mostrou resultados satisfatórios para o problema.

Para mais informações, acesse o artigo original.