Porque a Skynet é o menor de nossos problemas

Em julho de 2015, mais de mil cientistas e experts do mundo da inteligência artificial assinaram um documento contra o uso de robôs autônomos em guerra. Entre eles, nomes mais pops, como Elon Musk, Stephen Hawking e Steve Wozniak. De onde vem tamanha desaprovação?

Resumindo ao máximo: robôs militares dão medo, até para experts no assunto. É inevitável sentir um friozinho na espinha quando vemos um vídeo de spots correndo em grupo ou desse enxame de nano quadrotors. O imaginário coletivo não nos deixa fugir disso: logo pensamos que essas máquinas sairão do controle e, inevitavelmente, teremos cenários do tipo Matrix, Exterminador do Futuro ou Eu, Robô.

Mas será que algo assim vai realmente acontecer? Será esse o real problema? Difícil fazer qualquer tipo de previsão o futuro, então vamos dar atenção para duas possibilidades opostas: o caso em que perdemos o controle e o caso em que não.

O cenário “exterminador”

A ameaça da inteligência

Colocar um robô em guerra, como vimos, é complicado. Para acompanhar o nível de complexidade de uma situação como essa, é necessário um sistema tremendamente inteligente. No entanto, será que mais inteligência é, necessariamente, mais seguro?

Vamos pensar, primeiramente, na relação entre segurança e previsibilidade. Sem muito mistério, é uma relação direta: quanto mais previsível uma situação é, mais segura ela será. Sabe-se o que esperar, quando esperar e os atores envolvidos. Portanto, maior segurança.

Previsibilidade e inteligência, por outro lado, não tem uma relação assim tão simples. Para facilitar, imaginemos uma situação: levar uma mensagem de um lugar para outro.

Colocar um robô burrinho para lidar com a situação pode ser complicado. Ele pode, por falta de inteligência, chegar à conclusão que o melhor a fazer é usar um carrinho para levar a mensagem impressa até o destino. Mas pode pegar o caminho errado ou bater em algo, falhando em cumprir o objetivo final. Portanto, melhor aumentar seu nível de inteligência para que o resultado seja mais previsível e o objetivo seja cumprido.

Mas existe um certo ponto em que maior inteligência não mais aumenta a previsibilidade. Quanto mais inteligente algo é, mais informações do ambiente ele absorve e maior são as possibilidades de criar saídas próprias e originais para os problemas que enfrenta. Para softwares, por exemplo, é uma surpresa atrás da outra.

Esse fenômeno é intrínseco à complexidade das metodologias criadas para criar essas inteligências. Evolutionary robotics e deep learning são as principais formas e, para simplificar e não entrar nos pormenores do processo, vale dizer que ambas são formas de seleção de algoritmos com base em feedbacks e extensos bancos de dados.

Evolutionary robotics, por exemplo, funciona mais ou menos assim:

O ciclo de algoritmos genéticos

A ideia aqui é que populações de algoritmos são criadas aleatoriamente, avaliadas de acordo com a tarefa que precisam cumprir, selecionadas e misturadas. Estilo biologia. Do resultado de vários desses ciclos, surgem algoritmos cada vez mais eficientes e com composições próprias para resolver um problema. É inerente a todo esse processo que haja altas doses de incerteza e imprevisibilidade na maneira com a qual o algoritmo evoluirá.

A ST5, uma antena espacial da NASA, exemplifica bem essa imprevisibilidade: “Para desenhar a antena ST5, os computadores começaram com designs aleatórios de antenas e […] examinou milhões de designs potenciais antes de chegar em um final […] Ele fez isso muito mais rápido do que qualquer humano faria dadas as mesmas circunstâncias, através de um processo criado a partir do conceito darwiniano de “sobrevivência do mais apto”, em que o design mais forte sobrevive e o menos capaz, não.”

Juntando isso tudo dá pra ver que, a partir de um ponto, maior inteligência implicará em menor previsibilidade. Talvez tenhamos mais certeza do resultado, mas também mais incerteza do caminho. E, em guerra, o caminho pode importar bem mais do que o resultado.

Voltando à mensagem: pode ser que a melhor forma seja hackear o computador dos civis na área e usar a infraestrutura da rede local para entregar a mensagem. Ilegal, mas eficaz.

Aí entra a dificuldade em juntar esses dois fatores: inteligência gera maior segurança apenas até um ponto ótimo. Depois, não mais. É importante (e extremamente difícil) entender quando chegamos lá. Porque, quando passarmos, começaremos a ter problemas em lidar com a inteligência que criamos, e seu uso passa a trazer cada vez menos benefícios.

Esse é o porquê da própria Evolutionary Robotics ter sido deixada de lado. A imprevisibilidade e o não entendimento do fenômeno, por mais interessante que ele fosse, fizeram com que empresas se distanciassem de seu uso, por medo de falhas com usuários e represálias governamentais. Por mais que testes sejam feitos, o fato de não se entender exatamente como um sistema altamente inteligente funciona e toma decisões faz com que seu uso tenha certos riscos inerentes à essa ignorância. E é daí que nasce o perigo de usá-las em guerra ou em outras situações complexas.

Enquanto avançamos rumo à inteligência, damos passos em direção à ignorância.

É esse tradeoff que está operando quando a curva cai, mais à direita. Não é que o sistema torna-se tão inteligente a ponto de sabotar as tarefas e se revoltar, conscientemente. O que ocorre é que os mecanismos responsáveis por gerar sua inteligência tornam-se tão complexos que nós deixamos de entender como o sistema funciona. Aí, o potencial para imprevisibilidade — tanto para o bem quanto para o mal — se multiplica.

Portanto, se levarmos o argumento ao seu extremo, o desenvolvimento de inteligência em robôs militares pode até criar uma situação de “exterminador do futuro”, mas não do jeito normalmente pensado. Estaremos criando sistemas cada vez mais inteligentes e com acesso a diferentes recursos, tornando-se cada vez mais difícil entender qual caminho tomarão para cumprir seus objetivos, por mais “válidos” que eles sejam, dando espaço para ações imprevisíveis e potencialmente indesejáveis. Resumindo: pode ser que tudo dê tão certo que passe a dar cada vez mais errado, e perdermos o controle.

Mas se isso não acontecer? Se conseguirmos manter total controle de todos os robôs que criamos e os usarmos em guerra?

Uma humanidade pós-guerra

O uso de robôs em guerra não muda apenas a composição das forças armadas de cada país. Bem mais do que isso, é a lógica da guerra que se modifica.

Comecemos com o básico: o conceito de guerra. Teoria de guerra é uma disciplina complicada. Não há grandes consensos sobre o assunto e, como fortemente ancorado em moralidade e ética, varia de acordo com o autor e a situação histórica em que ele se encontra.

Uma luz no túnel vem da Teoria da Guerra Justa. Ela tem como base dois conjuntos de princípios que devem ser seguidos para que uma guerra seja considerada justa. Jus ad bellum é o conjunto de princípios que deve ser seguido antes do começo de um conflito; jus in bello, por sua vez, diz respeito às regras a serem seguidas durante. Aplicar princípios morais e legais à guerra implica que, por mais que seja um evento extremo e com sérias implicações para a humanidade em geral, ela ainda seja uma atividade governada por certas regras.

Dois autores nos ajudam a entender melhor a questão. Em “A Study of War” Quincy Wright conceitua guerra: “Guerra é uma condição legal que permite igualmente a dois ou mais grupos participarem de um conflito armado”. “Just and Unjust Wars”, de Michael Walzer, aprofunda: “Sem o direito legal igualitário de matar, a guerra, como atividade governada por regras, iria desaparecer, sendo substituída por crime e punição, conspirações e a pura aplicação de leis militares”.

É fundamental prestarmos atenção em dois pontos principais. Para Wright, toda guerra é uma condição legal, isto é, pressupõe direitos para ambas as partes envolvidas; para Walzer, o direito bilateral de matar, em guerra, é fundamental para que ela seja considerada uma atividade governada por regras.

Como a robótica militar altera isso? Vamos pensar num cenário hipotético bem próximo. Um dos países envolvidos em um conflito tem acesso à robótica militar; o outro, não (EUA x Paquistão, alguém?). O primeiro manda robôs ao conflito; o segundo, humanos. Em um conflito assim, ainda que o “direito de matar” exista para os dois lados, ele torna-se, na prática, unilateral. Enquanto um lado tem robôs destruídos, o outro presencia sua população ser morta.

Se apenas um dos lados morre, a situação não pode ser considerada uma guerra, legal ou moralmente. Mas então, o que se torna? O cenário, hoje, já apresenta vestígios desse novo mundo: soldados e civis de nações “terroristas” se escondendo em cavernas, enquanto a nação “contra-terrorista” vasculha o território à procura de seus alvos com drones e outros robôs. Não há a menor possibilidade de contra-ataque, apenas de se esconder e esperar pelo pior passar. Que outra situação é assim? A caça. A partir do momento em que a humanidade permitir o uso de robôs militares autônomos, estaremos criando as condições ideais para a caça de seres humanos em escala global.

Se justificar uma guerra já é moralmente desafiador, só consigo começar a imaginar a dificuldade (e as acrobacias lógicas e políticas) em justificar a rotinização dessa atividade. Mas é provável que ela comece em: “Vamos acabar com o terrorismo de uma vez por todas, então foda-se!”.

Well, think again.

Uma das funções da robótica militar é a substituição de soldados. É criar as condições para que um conflito possa ser travado sem o alto custo humano e político da morte de soldados. Essa substituição traz consigo não apenas o problema lógico visto acima, mas também um problema prático: é incrivelmente ineficiente utilizar robôs para acabar com terrorismo.

Em toda a pesquisa necessária para escrever esse artigo, não encontramos melhores explicações dessa contradição do que as de Grégoire Chamayou, em Teoria do Drone; e de David Kilcullen e Andrew McDonald, num artigo para o New York Times. Ainda que focados no uso de drones, seus argumentos podem ser deslocados para entender os problemas que surgem com a robótica militar.

Para Chamayou, quando esvaziamos a guerra de soldados e colocamos robôs em seus lugares, o risco do contra-ataque se desloca da esfera militar para a civil. Se, por exemplo, não há mais militares no Paquistão, apenas robôs, então a revolta da população com a injustiça da situação (que descambou em caça) não poderá ser deslocada para os militares — o grupo que deveria arcar com as consequências e efeitos da guerra, em primeiro lugar. O que resta a fazer é atacar o civil, que está desprotegido. Portanto, o esvaziamento do militar do campo de batalha desloca a guerra para o local do civil, para a cidade: exatamente o tipo de ataque que é considerado “terrorismo”.

“Os defensores do drone como arma privilegiada do antiterrorismo prometem uma guerra sem perdas nem derrota. Eles omitem que será também uma guerra sem vitória. O roteiro que se perfila é de uma violência infinita, de solução impossível.”

David e Andrew, por sua vez, utilizam duas principais razões para considerar o uso de drones um erro estratégico que conflita com interesses contra-terroristas. A primeira é que os ataques aproximam a população civil de grupos extremistas, que “parecem menos odiosos que um inimigo sem rosto, que trava guerra a distância e em geral mata mais civis do que militares”. Em segundo, eles consideram que o uso de drones seja muito mais uma tática do que uma estratégia, já que os ataques são feitos sem que haja uma preocupação em entender a dinâmica sócio-cultural da população.

O foco nas percepções políticas da população local é de extrema importância para a adoção de uma estratégia coerente, constituindo a razão pela qual deveríamos nos afastar da concepção de contra-terrorismo e nos aproximar do conceito de contrainsurgência:

“Enquanto a contrainsurgência é essencialmente político-militar, o antiterrorismo é fundamentalmente policial-securitário”

Entender o tipo de conflito usual como político-militar é entender que a população local possui aspirações políticas e razões de se comportar como o fazem. É se afastar do rótulo de “terrorista” e da concepção dos insurgentes como simplesmente fanáticos, loucos e assassinos. Chamayou continua: “O antagonismo entre insurgência e contrainsurgência é concebido como ‘uma luta para controlar um espaço político’. Ora, isso não pode ser feito de fora. Para retomar o terreno, que é tanto geográfico como político, é preciso estar presente. […] O verdadeiro terreno é humano, é a própria população, a começar pelo que ela pensa, crê e percebe”.

A contrainsurgência precisa do fator humano. Precisa de um rosto, de compaixão, de empatia e de relação. Ela precisa de uma humanidade que ainda não pode ser emulada por um robô.

Sim, o exterminador é um problema. No entanto, antes de lidarmos com ele, passaremos algum tempo lidando com outros bem mais mundanos: com a morte de paquistaneses, sírios e afegãos. Um problema externo, distante e muito menos sexy e intelectualóide do que o de inteligência artificial.

Até ele bater na porta de casa.

Este artigo é o terceiro da série “Quando deixamos a guerra para robôs”.

Se você gostou, aperta no coração aí embaixo!

O próximo capítulo será liberado nos próximos dias, então é só seguir esse canal no Medium ou nosso facebook para saber mais.