Encontrar formas de avaliar e gerir seus efeitos é o grande desafio atual

RICARDO FABRINO MENDONÇA
Professor do Departamento de Ciência Política da UFMG

FERNANDO FILGUEIRAS
Professor associado do Departamento de Ciência Política da UFMG (Universidade Federal de Minas Gerais)

VIRGILIO ALMEIDA
Professor emérito do Departamento de Ciência da Computação da UFMG (Universidade Federal de Minas Gerais)

[resumo] Cada vez mais presentes no dia a dia da sociedade, algoritmos deslocaram o ser humano do centro de decisões em vários setores, da contratação de funcionários e concessão de benefícios sociais a escolhas que respondem por vida ou morte nas áreas militar e de saúde. Em vista disso, avaliam professores, devem ser encarados como instituições que guiam as relações sociais e avaliados à luz de princípios morais e éticos de que a humanidade não pode abrir mão.

Vivemos no limiar de uma transição, em que a automação ocupará cada vez mais espaços na sociedade, num claro deslocamento dos humanos. Neste novo cenário, há um componente atuando com desenvoltura entre nós.

Suas ações e decisões, invisíveis e muitas vezes autônomas, estão cada vez mais presentes no dia a dia da vida contemporânea. Seu comportamento, no entanto, é opaco e pouco compreendido pela sociedade. Trata-se dos algoritmos.

São eles que, muitas vezes, decidem se você é contratado ou demitido, se você vai ter acesso a um benefício social, se seu visto de imigração vai ser concedido ou negado, quais notícias você vai ver nas redes sociais, qual o melhor trajeto do trabalho para casa ou qual o parceiro mais apropriado para um relacionamento.

Algoritmos são sequências lógicas de ações executáveis que viabilizam tomadas de decisões automatizadas e muitas vezes autônomas. Empregam-se algoritmos para quase tudo, sendo eles pensados como meios técnicos, eficientes e, em tese, menos subjetivos para lidar com um grande número de questões.

São algoritmos, por exemplo, que definem o preço do seguro de um automóvel, levando em consideração diferentes dados e informações. São algoritmos que balizam o cálculo da tarifa de transporte público, o tempo de duração dos sinais de trânsito e, eventualmente, onde são necessárias obras.

Algoritmos são usados na gestão de compras de hospitais, na estruturação de ações em face de uma epidemia ou mesmo na realização de diagnósticos automáticos, agregando volumes massivos de dados de forma rápida.

Algoritmos também se fazem cada vez mais presentes na área de recursos humanos de empresas diversas. Um relatório recente produzido pelo Center for Democracy and Technology indica que 33% das empresas já utilizam algoritmos para tomar decisões de contratação.

Tais algoritmos buscam predizer quem será bem-sucedido em uma certa função a partir de dados de pessoas que tiveram êxito (ou não) anteriormente. Se as promessas aqui são gigantescas, os riscos não são menores. O supramencionado relatório assinala, por exemplo, como essas formas automatizadas de contratação têm alimentado um viés capacitista, que prejudica pessoas com deficiência.

Os desafios não se restringem, todavia, a uma questão de viés. Os problemas são mais estruturais. Como todo padrão de decisão, algoritmos embutem – direta ou indiretamente – diferentes regras sociais e, com isso, afetam comportamentos.

A alteração nas regras para tomar uma decisão muda, consequentemente, o comportamento dos indivíduos e os vínculos coletivos da sociedade. Alterações essas que, pouco a pouco, institucionalizam-se, solidificam-se e parecem naturais.

Este é o argumento que gostaríamos de defender aqui. Os algoritmos podem ser pensados como instituições e eles têm institucionalizado uma nova sociedade regida por normas opacas, embutidas em sistemas autônomos de decisão. Os algoritmos estão assumindo um desempenho institucional na sociedade contemporânea porque eles estão dirigindo, gradativamente, o comportamento dos indivíduos na sociedade e gerando diversos impactos coletivos.

Instituições são normas formais ou informais relacionadas a decisões coletivas e que dirigem o comportamento dos atores em várias situações na sociedade. Instituições sociais como família, por exemplo, dependem de normas para estabelecer papéis e comportamentos dos indivíduos que compõem esse grupo. Instituições políticas como as do sistema eleitoral delimitam o comportamento dos eleitores.

Se a lista de votação é aberta, os eleitores tendem a dar um voto mais pessoal no candidato. Se a lista de votação é fechada, os eleitores exercem sua escolha mudando o seu cálculo eleitoral em torno dos partidos. Instituições são dinâmicas, estão inseridas em todos os aspectos da vida coletiva e dirigem comportamentos, estratégias e pensamentos.

Algoritmos, assim como instituições, são artifícios humanos para tomar algum tipo de decisão ou resolver algum problema. Ao pensarmos algoritmos como instituições, entendemos que eles possuem um tipo de capacidade específica: estruturar comportamentos humanos e afetar profundamente o escopo das nossas escolhas.

Mais que isso, entendemos que essa força se manifesta de forma tácita e naturalizada, sendo sustentada pela reprodução nem sempre perceptível de uma norma – correta ou não. Não nos damos conta no cotidiano do modo como essas instituições se relacionam às formas como pensamos, agimos, desejamos e, em última instância, somos.

Algoritmos representam relações de poder. Não do tipo hierárquico, mas do tipo sutil, pervasivo e onipresente de redes invisíveis (e não avistáveis) que marcam nosso ser. A ação dos algoritmos parece nos fazer habitar o mundo kafkiano de Josef K. (protagonista de “O Processo”), com regras, padrões e procedimentos onipresentes e onipotentes, sem que consigamos, sequer, vislumbrar de forma mais concreta o contexto em que nos inserimos.

Ainda que não seja novidade identificar a dimensão política da sociedade algorítmica em que nos inserimos e da qual participamos, há uma série de implicações derivadas dessa leitura institucionalista que aqui propomos, assim como uma nova ordem de problemas.

A primeira dessas implicações é a necessidade de pensar sua historicidade. Instituições têm trajetórias e foram produzidas, sedimentadas e transformadas ao longo do tempo.

Pensar os algoritmos como instituições requer compreender os valores sociais neles inscritos e a forma como intervêm sobre a realidade, bem como a maneira como se transformam a partir da efetiva ação dos sujeitos no mundo.

Assim como as instituições políticas, os algoritmos devem estar relacionados a princípios amplos que estruturam a ação coletiva, os quais podem mudar no tempo.

Algoritmos não são cadeias lógicas estanques e a-históricas, mas inscrições de relações sociais em padrões de tomada de decisão. Isso fica muito visível quando algoritmos, usando modelos de inteligência artificial, procuram aprender com o passado para atuar no presente e projetar algo no futuro.

A segunda implicação, que se relaciona à primeira, diz da importância de atentar para os impactos da dependência de trajetória. Algoritmos são sequências lógicas que estabelecem objetivos que influenciam o coletivo.

Ainda que projetados para lidar com a incerteza e que possam ser flexíveis para se adaptar continuamente a partir de novos dados oriundos de comportamentos de usuários, algoritmos são a própria reificação da dependência de trajetória ao projetar passos subsequentes, que eles ajudam a construir em uma eterna profecia autorrealizável. A flexibilidade que a lógica algorítmica pode acolher não é a da reflexividade, que nasce da incerteza sobre o próximo passo.

A terceira implicação de compreender algoritmos como instituições diz respeito a padrões de responsabilização. Como caixas pretas não totalmente compreensíveis aos cidadãos, algoritmos geram resultados cujos percursos não são facilmente atribuíveis a alguém. O sistema se torna ainda mais opaco quando se nota que muitas decisões não são produzidas por um algoritmo, mas por sistemas complexos com várias camadas algorítmicas, cujos resultados dependem de interações entre elas.

Temos, assim, conjuntos de decisões, muitas vezes com consequências de vida e morte, como na área militar ou na da saúde, sobre as quais ninguém responde exatamente.

Estas três implicações nos conduzem a uma ordem nova de problemas. A primeira ordem questiona: se algoritmos são instituições e se os resultados deles derivados são de difícil compreensão e responsabilização, quais devem ser as formas de governança democrática dos algoritmos? O que não pode ser codificado? Quais os limites dessas decisões autônomas e automatizadas?

Como pensar formas públicas de regulação e gestão não apenas da produção algorítmica mas também de suas consequências? Como assegurar que a necessidade de construir soluções técnicas complexas não alimente uma sensação de que vivemos em um mundo mágico em que nada nem ninguém é passível de responsabilização? Como democratizar essas instituições que regem grande parte de nossa existência coletiva?

A segunda ordem de problemas dos algoritmos como instituições diz respeito a muitos dos dilemas morais que se colocam à humanidade. Por mais que algoritmos possam oferecer respostas inteligentes e complexas a problemas de grande magnitude, é fundamental imaginar formas por meio das quais não nos entregamos completamente às máquinas em uma deriva não reflexiva.

Instituições criam ordem e estabilidade, mas as escolhas morais e políticas de que depende o futuro da humanidade são essencialmente inalienáveis. Encontrar formas públicas de gerar, simultaneamente, reflexão coletiva e respostas complexas é o desafio que se nos apresenta.

Uma visão institucionalista dos algoritmos significa pensar os fundamentos das normas que dirigem nossa capacidade de ação coletiva por meio de sistemas autônomos.

Isso significa que, assim como as instituições em vários aspectos da vida humana, o algoritmo como uma instituição é um artifício que estrutura nossa capacidade de decisão e solução de problemas. E artifícios devem ser avaliados em termos dos seus fundamentos sociais e políticos, assim como em termos de sua legitimidade e funcionalidade.

Artículo disponible en Folha de S.Paulo.

Artículo disponible en Revista de Administração Pública.