Cinco recomendações urgentes para implementação de sistemas algorítmicos para questões de saúde pública durante a pandemia do COVID-19: uma resposta à reportagem publicada na Folha de S. Paulo

Escrito por Leonardo Melgaço, Amanda Jurno e Ana Guerra.

O texto “Algoritmos e inteligência artificial podem ajudar Brasil a decidir sobre leitos de UTI”, publicado em 24 de março de 2020 na Folha Online, ao delegar soluções (decisões) algorítmicas para questões de Saúde Pública — durante a pandemia do vírus COVID-19 — é abrupto e até mesmo irresponsável, sendo apontado pelas próprias fontes citadas na matéria como uma das possibilidades para a tomada de decisão.

Algumas das consequências da ação dos algoritmos implementados abruptamente podem ser: “dar prioridade às populações já favorecidas”, “oferecer atendimento humanizado para privilegiados e maquínico para as massas”, “isenção de responsabilidade humana nas mortes” e, no limite: “decidir quem merece viver ou morrer”. Ao falarmos das ações dos algoritmos estamos discutindo decisões sobre, por exemplo, o título da matéria: quais pacientes terão acesso aos leitos em Unidades de Terapia Intensiva (UTI). Estas implicações, portanto, não se referem apenas aos infectados pelo Sars-Cov-2, mas a todos que dependem (e dependerão) de atendimento médico-hospitalar durante as próximas semanas, seja público ou privado. O horizonte brasileiro se torna especialmente assustador em função das grandes diferenças socioeconômicas estruturais que existem no país.

O texto da matéria corrobora com um enfraquecimento ético e moral das nossas relações humanas em comparação às ações algorítmicas, de inteligência artificial — que seriam mais “objetivas” e “transparentes”. A pergunta que paira ao lermos essa matéria é: durante o grande colapso previsto para o sistema de saúde (público e privado) brasileiro, qual será o cenário se delegarmos abruptamente as decisões aos algoritmos? Em outras palavras: quais vidas serão salvas pelos algoritmos e quais serão deixadas para morrer?

Por que a decisão algorítmica pode ser problemática?

Enfatizamos que a reportagem, ao se apoiar em uma suposta “objetividade” e “transparência” dos algoritmos computacionais, suprime as implicações sociais das ações algorítmicas e, dessa forma, torna-se negligente aos seus potenciais aspectos nocivos. Como os pesquisadores da área enfatizam, já há algum tempo, os algoritmos sempre tomam decisões baseadas em critérios pré-estabelecidos por humanos falíveis e, por isso, são processos computacionais com dimensões éticas e morais imbuídas em seus códigos matemáticos. A pesquisadora Cathy o’Neil (referência no assunto) de forma sistemática utiliza a expressão “Armas de Destruição Matemática/em Massa” para se referir aos sistemas algorítmicos.

De forma breve, apontamos três dos principais problemas da delegação das decisões algorítmicas no contexto proposto pela reportagem: 1) a falta de transparência dos resultados algorítmicos produz a inquestionabilidade destes veredictos, mesmo quando errados ou prejudiciais — ocorre um esvaziamento da pluralidade política fundamental em processos decisórios, especialmente em questões de vida e morte; 2) não responsabilização dos atores fundamentais pela implementação desses cálculos, pois a opinião pública poderá acreditar que o culpado é a “máquina”, são “bugs” ou as constantes “falhas nos códigos”; 3) a natureza do seu funcionamento tende a punir os pobres e oprimidos da nossa sociedade brasileira enquanto beneficia os que já se encontram nas camadas mais confortáveis desse mundo tão desigual.

Entretanto, acreditamos que os processos algorítmicos podem (e devem) se tornar potenciais aliados neste momento. Precisamos ser mais sóbrios e conscientes em seus usos, dessa forma, enfatizamos a urgência de adotarmos posições distantes de utopias tecnológicas para que sejamos capazes de antecipar eventuais consequências funestas decorrentes da natureza das operações computacionais.

Cinco recomendações para implementação de sistemas algorítmicos para questões de saúde pública:

1. Criação de uma equipe diversificada e heterogênea para estabelecer critérios balizadores dos algoritmos. Como os algoritmos funcionam com critérios pré-estabelecidos, é preciso diversificar os profissionais para que esses critérios possam dar conta de uma realidade complexa de forma mais abrangente e plural possível. Profissionais da saúde que tenham experiência no tratamento de comunidades menos favorecidas e grupos de minoria, representantes de ONGs e instituições sociais que lidem com as diferentes camadas populacionais, e profissionais da saúde com especialidades diversas podem ajudar a ampliar esse quadro, apresentando pontos de vista diferenciados.
2. Implementação do “botão vermelho de parada” nos sistemas, ou seja, a possibilidade da equipe recuperar o poder de decisão sobre os algoritmos. Um dos grandes problemas da automatização é que ela não permite argumentação nem a consideração de casos especiais e isolados. Algumas pessoas precisam de capacidade decisória superior ao algoritmo para que soluções inadequadas ou injustas possam ser vetadas por profissionais da saúde.
3. Pensar em como as comorbidades serão implementadas nas decisões algorítmicas. as comorbidades associadas ao paciente são um fator que leva à morte pelo COVID-19 e, consequentemente, quanto menos comorbidades uma pessoa tiver maior sua chance de sobrevivência. Porém, o acesso à alimentação balanceada, a um estilo de vida saudável e até mesmo aos cuidados médicos, no Brasil, não são universais. Como lidar com essa questão sem punir aqueles que já sofrem com a falta de acesso à saúde? Quais comorbidades, associadas à realidade socioeconômica do indivíduo, devem ser levadas em consideração na hora de decidir pela disponibilização ou não do leito na UTI ou acesso ao respirador?
4. A publicação na íntegra dos códigos, dados e critérios utilizados e produzidos pelos sistemas algorítmicos, bem como eventuais atualizações. O acesso aos dados e ao código aberto são essenciais para que a população entenda como as decisões serão tomadas. Além disso, implica na responsabilidade dos profissionais que estão à frente dessas decisões, pois os interessados e descontentes podem fazer sugestões de melhorias nos processos.
5. Chamada pública de profissionais para codificação do sistema de forma voluntária. O Brasil conta hoje com muitos profissionais capacitados para o desenvolvimento de algoritmos. Como a maioria do processo é feita através de computadores, a localização dessas pessoas torna-se irrelevante. Acreditamos que a tentativa de reforçar a produção voluntária e de código aberto — em um momento tão desafiador e triste para todos — evita o lucro de pessoas (e empresas) mal intencionadas.