Quem a Máquina Deve Matar?

O Dilema de Ensinar Escolhas Morais aos Carros Guiados por Inteligência Artificial.

Uma escolha moral (ou dilema social) por definição é aquela em que você deve decidir entre uma ou mais alternativas mutuamente excludentes que gerem a consequência mais desejável no seu quadro de referências morais. Em outras palavras, é um dilema que força você a fazer uma escolha com base em sua moral. Este tipo de problema foi magistralmente capturador no filme: A Escolha de Sofia (1982), onde uma mãe judia interpretada por Meryl Streep é obrigada pelos nazistas a fazer o seguinte julgamento: escolher um de seus dois filhos para ser salvo enquanto o outro será executado, ou não fazer escolha alguma e ver ambos serem executados. O dilema enfrentado pela personagem — salvar um filho a custa da vida do outro, ou perder ambos — é agravado pelo fato de além de ter de fazer uma escolha moral, Sofia ser forçada a considerar qual deles (o menino ou a menina) terá mais chances de sobreviver à guerra.

Grande parte das vezes as orientações morais que guiam nossas escolhas estão embutidas no tecido de nossa cultura, agindo sobre nós sem que tenhamos total consciência delas. Por exemplo: é senso comum em nossa sociedade que em caso de acidentes ou desastres naturais, mulheres e crianças tem preferência no salvamento. A lógica implícita a tal diretriz moral é que se considerada a sobrevivência do grupo, seu valor como indivíduo é menor do que o do grupo como um todo, ou seja, considerada a possibilidade iminente de extinção, devemos dar maior valor a perpetuação do grupo e não as realizações individuais de cada um. Justificaria-se esta orientação pelo fato de ser mais provável se repovoar uma sociedade se um grande número de mulheres (férteis) sobreviver (sendo necessário apenas um único homem) do que seu contrário (muitos homens e poucas mulheres), por extensão deste raciocínio crianças já são adultos em potência.

O valor que damos à vida e aos indivíduos é relativo, seguindo uma orientação que é cultural, e que muda de grupo para grupo. A título de exemplo em algumas culturas a morte é desejável à desonra (feudalismo japonês) e o suicídio aceitável quando o indivíduo torna-se um peso para a sociedade. Em um caso recente, ao entrar em contato com uma comunidade indígena isolada o grupo de repórteres surpreendeu-se com a proposta do índio que oferece um bebê como “presente” em troca de um cachorro. (Profissão Repórter: Minuto 2.30 do vídeo).

O mundo dos jogos digitais, objeto de meus estudos, tem evoluído em suas formas narrativas, bem como em seus objetivos na forma como constrói experiências. Grande parte deles passou a incluir escolhas morais que devem ser feitas pelos jogadores (e que terão profunda influência na narrativa) como forma de acentuar a experiência vivida. Exemplos magistrais deste tipo de escolha podem ser encontrados nos jogos Bioshock e Witcher III. O canal do Youtube “Sandman” fez uma seleção muito interessante de 13 jogos com escolhas morais.

Carros Guiados Por Inteligência Artificial e Acidentes.

Se considerarmos a inevitabilidade de que os carros passarão em algum momento deste século a serem guiados por computadores, o cientística Iyad Rahwan levanta a questão acerca das escolhas morais, que pode ser exemplificada nesta caso:

Você esta guiando seu carro um tanto distraído, sendo então surpreendido por um grupo de crianças que correm em frente ao seu carro, dado o pouco tempo que tem para reagir pode fazer uma das seguintes escolhas: A) desviar o carro das crianças e colidir com um muro (possivelmente sofrendo ferimentos graves) ou B) não desviar o carro atropelar as crianças e não sofrer ferimentos.

Neste cenário a escolha moral que você deve fazer é: o que considero mais importante, minha integridade física ou a das crianças? Independentemente de qual for sua resposta, qualquer pessoa que tenha uma carteira de habilitação compreende a possibilidade deste cenário acontecer e da nossa responsabilidade na hora de fazer as escolhas. Porém, como fica isto no caso de um carro guiado por inteligência artificial? Devemos ensinar as máquinas a fazer escolhas morais? E em caso afirmativo, como ensinamos a I.A. a pensar moralmente?

Como forma de responder a estes questionamentos o Massachusetts Institute of Technology (MIT) criou um website de modo a coletar informações e aprender, sobre a forma como fazermos escolhas morais. Modelado na forma de um pequeno jogo de escolhas, o objetivo maior do site Moral Machine é fazer uma medição de nossas escolhas, procurando aferir valor a elas. Quem optamos por salvar em detrimento de quem. No site, uma série de problemas morais aleatórios será apresentado ao jogador que deve escolher a opção que considera mais aceitável.

Convido você a acessar o site e participar do jogo (tem opção de texto em português). A parte mais interessante desta experiência, é que caso deseje, no fim do jogo o site gerará um breve relatório onde apresenta suas escolhas morais em comparação com a de outros jogadores. No feedback de suas escolhas você conseguirá detectar alguns elementos de seus valores morais, tais como: quantidade de vidas que optou por salvar, obediência a lei, quais os gêneros, espécies, idades e até “valor social” das pessoas que você optou por salvar em detrimento das outras.

Escolhas Morais e Planejamento

Mas o que este discussão tem haver com planejamento estratégico? Como já disse em artigos anteriores, planejar consiste essencialmente em fazer escolhas. E em certa medida, toda escolha é permeada por nossos valores morais. Mas valores morais também podem ser permear instituições e quando somos membro delas, nos afetar. Neste contexto qual o valor mais elevado para uma companhia? O lucro ou a salvaguarda de vidas? As vendas ou o meio ambiente? A felicidade de seus funcionários ou sua produtividade? O caso da barragem San Marco ilustra muito bem estes dilemas.

Considero importante que um planejador tenha consciência do quanto seus valores morais e os valores institucionais estão pensando no momento em que faz suas escolhas e traça seus planos, seja por uma questão de responsabilidade, seja por uma questão de respeito, seja simplesmente por uma questão de eficiência. Acredito que auto-conhecimento é o caminho para planos melhores e para uma sociedade mais equilibrada.

Mostrar caminhos, tornar escolhas opções e não acidentes, planejar para avançar, é por acreditar em coisas assim que eu e o Fernando Dineli criamos a Planners Group — Strategic Powerhouse.

Se tiver interesse entre em contato conosco: negocios@plannersgroup.com.br