A ilusão da neutralidade algorítmica

A digitalização das atividades cotidianas, há pelo menos 30 anos, é um fenômeno crescente em nossas sociedades. Organizar dados ou receber as notícias do dia são alguns exemplos da constelação de atividades humanas que obtiveram uma versão digital mais eficiente ou acessível nessas últimas décadas. E, em especial nesse último decênio, com a exponencial difusão de novas técnicas de Inteligência Artificial (IA), como as técnicas de machine learning e deep learning, os algoritmos adquiriram maior capacidade de realizar tarefas sensíveis, de modo que o processo de digitalização tem avançado progressivamente sobre mais atividades que antes eram exclusivamente desempenhadas por humanos, como produzir notícias de jornais, reconhecer faces de criminosos, avaliar o risco de crédito de indivíduos, criar imagens e vídeos, entre outras atividades complexas.

Em todas essas atividades supracitadas um ou mais intermediários humanos explicitamente eram necessários para a realização e isso, evidentemente, conferia um caráter humano à atividade, na medida em que trazia à tona para as situações questões como a personalidade, a moral, a opinião, a competência e outras características dos vieses dos indivíduos que dela participam. Por exemplo, seja na curadoria das notícias recebidas do dia ou no reconhecimento de criminosos, a explícita participação de um mediador humano tornava essas atividades interpretáveis como algo essencialmente interpolado pela pessoalidade e a responsabilidade de alguém (Uliasz, 2020). Assim, se, por um lado, a crescente digitalização da vida tende a trazer incontáveis benefícios sociais como o aumento da eficiência ou acessibilidade de diversas atividades cotidianas, por outro lado, ela também tende a ocultar os autores responsáveis dessas mesmas atividades, gerando uma ilusão de neutralidade e de imparcialidade.

O verniz de neutralidade dos algoritmos e o desaparecimento da pessoalidade originária são processos ensejados por diversos componentes dessas tecnologias. As opacas linhas de código de acesso dificultado pela exigência de letramentos especializados ou as barreiras de propriedade intelectual, as diversas camadas de lógicas matemáticas dos processos de automatização e análise, bem como o uso de dados “brutos” são as características dos algoritmos responsáveis por possibilitar a produção da percepção falsa de neutralidade e objetividade dessas tecnologias (Joyce et al., 2021).

No entanto, as ciências humanas, principalmente após a virada do milênio, trouxeram a contribuição de compreender os algoritmos não como ferramentas lógicas inatas e consequentemente produtoras de objetividade, mas sim como mediadores culturais, na medida em que seus inputs recebem aspectos recortados da realidade social e, a partir de suas sequências programadas trabalham sobre essas realidades, transformando-as (Airoldi, 2022).

 Essa perspectiva permite evidenciar a não-neutralidade dos algoritmos e, igualmente, dos dados que são utilizados em seus parâmetros. Os algoritmos são instrumentos em que em seus designs residem premissas e finalidades indissociáveis dos agentes que os produzem (Beer, 2009). Da mesma forma, os processos de classificação e organização ensejados por esses artefatos são chafurdados em julgamentos morais implícitos com efeitos de distinção e estratificação social (Fourcade & Healy, 2013). Os métodos matemáticos mobilizados nos algoritmos de machine learning, por sua vez,  utilizam estatísticas para identificar padrões em dados. No entanto, esses padrões são, na verdade, simplesmente correlações estatísticas e não relações de causalidade (Angeletti, 2012). Assim, o resultado social de uma atividade automatizada a partir de um processo de classificação advindo de IAs é a transformação de insights correlativos em mecanismos de causalidade. Uma problemática bem conhecida a respeito dessa dinâmica diz respeito aos algoritmos que mobilizam técnicas de visão computacional para reconhecimento facial e classificação de indivíduos, frequentemente reproduzindo e agravando discriminações estruturais de racismo, sexismo ou xenofobia derivados dos dados presentes em seus datasets. A própria ciência da computação reconhece o problema desse tema sob a alcunha de viéses de algoritmo. E essa abordagem enfatiza a necessidade da capacitação individual do programador por trás do algoritmo para que este faça códigos mais justos e transparentes. Porém, essa perspectiva é limitada ao dissociar o indivíduo do contexto social geral que advém suas categorias e vieses:

"A pesquisa sociológica demonstra, no entanto, que o viés não está flutuando livremente dentro dos indivíduos, mas está incorporado em instituições sociais obstinadas. Transparência e equidade, em outras palavras, não são facilmente alcançadas por meio do melhor treinamento de profissionais de IA (Joyce et al., 2021, p. 6. -tradução livre)."

Seguindo a mesma linha de análise, os dados são igualmente politizados e produtos sociais, pois derivam tanto da estrutura social em que a coleta foi realizada - refletindo assim, por exemplo, questões de desigualdades estruturais de raça e gênero - quanto dos métodos e critérios dessa, que também são objetos de disputas de premissas e finalidades. Em outras palavras, dados nunca são achados, “brutos”, mas sim produzidos (Porter, 2020), uma vez que são treinados em bancos de dados que são coletados no mundo existente já condicionado.

Nesse sentido, um famoso exemplo de cumplicidade dos dados de um algoritmo com sua parcialidade é o caso do sistema de recrutamento da Amazon que foi descontinuado em 2018 por apresentar viés de gênero. A empresa havia desenvolvido um algoritmo de inteligência artificial com o objetivo de automatizar e agilizar o processo de triagem de currículos, visando selecionar os candidatos que mais combinassem com as vagas, usando como referência o histórico de contratações da empresa. Assim, o algoritmo foi treinado em uma base de dados históricos de profissionais de tecnologia já contratados. No entanto, esses conjuntos de dados de currículos anteriores refletiam uma disparidade de gênero no setor de tecnologia, com uma predominância de candidatos do sexo masculino e uma subrepresentação de candidatos do sexo feminino. Como resultado, o algoritmo foi tendencioso a favor de candidatos do sexo masculino e discriminava os currículos que continham palavras-chave associadas ao sexo feminino, como "mulher" ou nomes de faculdades femininas, reproduzindo e reforçando as desigualdades capturadas pelos dados que o alimentaram (FORBES BRASIL, 2018).

  O exercício de politização dos algoritmos inevitavelmente chama atenção à opacidade desses instrumentos. Enquanto caixas-pretas, são na maior parte das vezes inacessíveis pelos indivíduos por eles afetados, seja por barreiras jurídicas de propriedade intelectual, uma vez que frequentemente são produtos de empresas privadas que necessitam de monopólios temporários para garantir suas margens de lucro, seja pela complexidade técnica dos mesmos que exige letramentos especializados em programação (Silva, 2021). Levar em consideração a inevitável não-neutralidade dos algoritmos é um exercício fundamental contemporaneamente, na medida em que cada vez mais atividades humanas serão mediadas ou completamente realizadas por esses softwares. A derrocada da ilusão da imparcialidade é uma etapa basilar para o uso, produção e análise responsável dessas tecnologias, para o controle e prevenção dos crescentes riscos sociais presentes em sociedade cada vez mais definida pela digitalização.

Referências

AIROLDI, Massimo (2022). Machine Habitus: Toward a Sociology of Algorithms. Polity Press.

ANGELETTI, Thomas (2012). La prévision économique et ses « erreurs ». Raisons politiques, v. 48, p. 85-101, 2012/4

BEER, David (2009). Power through the Algorithm? Participatory Web Cultures and the Technological Unconscious. New Media & Society, vol. 11, no. 6, 2009, p. 985-1002.

FORBES BRASIL (2018). Amazon desiste de ferramenta secreta de recrutamento. Forbes Brasil, São Paulo, 10 out. 2018. Disponível em: https://forbes.com.br/negocios/2018/10/amazon-desiste-de-ferramenta-secreta-de-recrutamento/.Acesso em: 13 fev. 2024.

FOURCADE, Marion; HEALY, Kieran (2013). Classification Situations: Life-Chances in the Neoliberal Era. Accounting, Organizations and Society, vol. 38, nº 8.

GARCIA, Megan (2016). Racist in the machine: the disturbing implications of algorithmic bias. World Policy Journal, 33(4), 111–117.

JOYCE, Kelly, SMITH-DOERR, Laurel, ALEGRIA, Sharla, BELL, Susan, CRUZ, Taylor., HOFFMAN, Steve. G., NOBLE, Safiya, SHESTAKOFSKY, Benjamin (2021). Toward a Sociology of Artificial Intelligence: A Call for Research on Inequalities and Structural Change. Socius, v. 7.

PORTER, Theodore (2020). Trust in Numbers. Princeton, N.J.: Princeton University Press.

SILVA, Tarcízio (2021). Colonialidade difusa no aprendizado de máquina: camadas de opacidade algorítmica na Imagenet. In: CASINO, João.; SOUZA, Joyce; SILVEIRA, Sérgio. (Org.). Colonialismo de dados: como opera a trincheira algorítmica na guerra neoliberal. 1ed.São Paulo: Autonomia Literária, 2021, v. 1, p. 87-107.

ULIZASZ, Rebecca (2020). Seeing like an algorithm: operative images and emergent subjects. AI & Society.