Tarcizio Silva é “pesquisador de políticas de tecnologia baseado em São Paulo e focado em promover lentes decoloniais e afrodiaspóricas para entender e influenciar a governança da internet, IA e tecnologias emergentes”, como nos informa seu site: https://tarciziosilva.com/

Ele tem publicado em diversos meios de comunicação, participado de debates e mesas redondas e tendo inclusive trabalhado por vários anos na Fundação Mozilla, conhecida por sua produção de plataformas de código aberto e postura crítica em relação à tecnologia.

Neste texto vou me debruçar especialmente sobre o livro Racismo Algorítmico, mas também mencionar algumas outras de suas publicações. Vale dizer que os textos estão generosamente publicados de forma aberta no site já referido acima.

Racismo Algorítmico (2022) é uma obra muito interessante, cativante e direta nas questões que, como o próprio título indica, trata das diversas faces do racismo, dos privilégios da branquitude, e outras questões correlatas como novas epistemologias e formas de combate. É muito bem embasado e apoiado em diversos pensadores negros (mas não só), incluindo Abdias Nascimento, Cida Bento, Silvio Almeida, Beatriz Nascimento, oriundos do Brasil e internacionais, como Joy Buolamwini, Timnit Gebru, Simone Browne, Achille Mbembe, Fanon e muitos outros. E, aliás, está disponível online: https://racismo-algoritmico.pubpub.org/ 

O livro se divide em seis capítulos. Os temas não se restringem à Inteligência Artificial, tão em voga no momento, mas mergulham nas questões do racismo em desenvolvimentos e programas tecnológicos bem mais antigos.

O primeiro capítulo, chamado “Discursos racistas na web e nas mídias sociais”, ilustra diversos casos de racismo. Conta como situações em que um discurso de ódio foi feito por uma pessoa branca permaneceu publicado sob alegação de liberdade de expressão enquanto discursos de uma pessoa negra, combatendo tais posturas, foram retirados e a usuária suspensa pela rede social.

O autor explica o conceito de Microagressões (de Brendesha Tynes) através das quais pessoas racializadas são atacadas. Tais agressões podem ser classificadas como: 1. microinsultos (anúncios que atingem públicos específicos, como softwares de embelezamento que “embranquecem”); 2. microinvalidações (reconhecimento facial ou rotulagem falha para negros, buscas que só trazem pessoas brancas como retorno); 3. deseducação (autocompletar frases com palavras preconceituosas contra negros, sistemas que enviesam ou descaracterizam escravidão ou holocausto); 4. desinformação (vídeos com conteúdo racista recebem mais engajamento e aparecem em destaque e as plataformas evitam censurá-los).

Silva destaca também, no contexto do racismo, situações como: suposição de criminalidade (negros sendo mais suspeitos), negação da realidade racial, suposição de inferioridade intelectual, patologização de valores culturais como religiões afro, exotização, ser tratado como estrangeiro na própria terra e exclusão e isolamento.

Um ponto ressaltado é como as empresas por trás dos sistemas analisados, ou as próprias pessoas responsáveis (desenvolvedores, gerentes de produtos), minimizam o racismo e não se consideram responsáveis pelos danos causados. Usam apenas argumentos como existência de vieses nos dados de treinamento; que tais dados refletem situações da própria realidade, ou, ainda, que o erro foi não intencional. Segundo o autor, nem empresas, nem desenvolvedores se acham responsáveis (accountable) ou na obrigação de reparar/ressarcir pelos danos causados.

Bem antes da atual (2024/2025) febre da IA, muitos problemas ligados ao racismo e preconceito já ocorriam nas redes sociais como Facebook e nos buscadores do Google e Microsoft[JC2] . Tarcízio exemplifica [JC3] com o caso de buscas por “cachos feios” que trazia uma maioria de mulheres negras e o do reconhecimento de imagens que misturaram gorilas e negros.[JC4] 

O autor também explica como a direita usa técnicas para bloquear e reverter as campanhas de conscientização como #blacklivesmatter por #alllivesmatter, redirecionando o tráfego e com o objetivo de proteger policiais e minimizar os crimes por eles cometidos.

O capítulo seguinte, “O que as máquinas aprendem” conta uma breve história da IA, que começa com a utilização de abordagens semânticas no desenvolvimento de tais sistemas, mas que foi substituída pelo aprendizado de máquina. Silva chama a primeira abordagem, semântica, de “simbólico-dedutiva” e a estatística, de “conexionista-indutiva”. Neste segundo caso, afirma que o resultado do processamento são programas cuja operação se dá através dos dados usados e seus vieses. Exemplifica com o caso do robô (chatbot) Tay da Microsoft (2016). O sistema rapidamente aprendeu a ser racista e ofender negros e judeus. Depois de uma tentativa de retreinamento, voltou a se comportar de forma ofensiva e foi retirado do ar. Mostra que a imprensa especializada, ao invés de criticar tais problemas, optou por elogiar a capacidade de aprendizado do sistema, mesmo que este fosse um aprendizado racista[JC5] . Por outro lado, o autor destacou que os danos foram, outra vez, minimizados. Afirma que menos de 20% dos artigos sobre o tema, na época, foram de críticas.

O capítulo 3 – “Visibilidades algorítmicas diferenciais” – começa relatando o caso já famoso de Joy Buolamwini e o episódio TEDx no qual ela conta como descobriu que os sistemas do laboratório de visão computacional na universidade não reconheciam seu rosto, embora funcionasse para rostos de colegas brancos. Isso deu início à pesquisa que culminou com a descoberta dos problemas de viés algorítmico e limitações de tais sistemas.

Conta que empresas como Google, IBM e Microsoft [JC6] oferecem APIs para acesso a sistemas de reconhecimento facial; e todos os sistemas dessas empresas têm limitações ao não identificar rostos não brancos como negros, asiáticos e indígenas.

Afirma que apps como o FaceApp, por exemplo, ao oferecer recursos de “embelezamento” das fotos, embranquecem as faces negras. Ao ser confrontada com o problema, esta  empresa [JC7] empregou o mesmo tipo de desculpa apresentada por outras, anteriormente, ou seja, a relativa a falta de dados ou problemas de treinamento.

Na seção que discute bancos de dados, explica como o algoritmo pagerank do google seleciona o que vai ser mostrado em uma busca e, como normalmente usuários tendem a escolher as três primeiras respostas, isso tem grande influência. O termo “black girls”, por exemplo, retorna conteúdos pornográficos. E há grande opacidade, já que não se sabe como o algoritmo faz tais classificações.

Isso[JC8]  vale também para buscas de profissões, nas quais negros aparecem em profissões subalternas e brancos nas privilegiadas.

Na discussão sobre o que os computadores veem nas imagens, apresenta uma lista de funcionalidades de API do Google, IBM e Microsoft para tal classificação. E em outra tabela mostra como a precisão de reconhecimento fácil para mulheres negras é de 65% enquanto homens brancos é de 100% ou quase isso.

O autor critica  algoritmos muito problemáticos que se propõem a interpretar sentimentos pelas expressões faciais. E adverte sobre o risco de softwares para classificar a origem nacional pelas imagens. Exemplifica com um programa que classificou, dentre um grupo de imagens de pessoas, entre quem seria austríaco, brasileiro, nigeriano ou portuguese. Uma clara incorporação de estereótipos em sistema.

Dá ainda exemplos de falhas em aplicativos para reconhecer comidas ou ainda, erros na ImageNet, que classificou (colocou uma tag) com termos ofensivos pessoas com olhos puxados.

O capítulo sobre necropolítica começa com o caso de um aluno negro de escola fundamental que foi morto no Rio de Janeiro e o conceito de vigilância, trazendo a ideia de corpos “matáveis”. Mostra como tal política começa já no período de escravidão, com a marcação a ferro dos escravizados que haviam fugido. Mais contemporaneamente, descreve as leis de vadiagem e a necessidade de a população negra ter de portar a carteira de trabalho para se identificar nas ações policiais.

Neste capítulo há uma citação literal de Ruha Benjamim que vale ser mencionada:

“… quando pesquisadores se propõem a estudar os valores, suposições e desejos que moldam a ciência e tecnologia, também devemos permanecer atentos às ansiedades e medos raciais que moldam o design da tecnociência.”

Neste ponto entra Mbembe com a ideia de que racismo é, acima de tudo, o exercício do biopoder. O autor passa então a analisar sob outro prisma a questão do reconhecimento facial. Conta dois casos, um na Bahia e outro nos EUA, onde suspeitos, que eram pessoas negras e inocentes, foram presos por terem sido reconhecidos por tal tecnologia e depois, os suspeitos presos é que tiveram que provar sua inocência.

Aqui cito um trecho: “Os dois casos podem chocar; mas se tornam mais frequentes…Há outros casos tão ou mais chocantes de falsos positivos [meu destaque], mas esses dois tocam em pontos essenciais para a compreensão da problemática do reconhecimento facial: sua relação com a infraestrutura de transporte público e o direito à cidade e a normalização da decisão computacional como fuga da individualização da responsabilidade humana.” Destaco o “falso positivo” como um indicador muito usado nos sistemas de IA. Quando se analisa um resultado cuja precisão é de 98%, deve-se ter em mente que os 2% restantes podem significar duas pessoas presas por engano.

No caso das câmeras que foram instaladas na linha amarela do metrô[JC11]  e tiveram sua retirada ordenada pela justiça, bem como sistemas de vigilância no Rio de Janeiro em 2019, Silva mostra que foi necessária uma reação popular aliada a decisões da justiça para resolver as questões.

Usa o conceito “tecnochauvinismo” de Meredith Broussard, que seria a crença de que tecnologia é sempre a solução. Afirma que “[A] diluição da responsabilidade […] por meio de […] reconhecimento facial, policiamento preditivo e escores de risco é um dos maiores perigos do racismo algorítmico.”

Na seção que trata da seletividade penal mostra como a relação entre reconhecimento de suspeitos versus a efetiva prisão de criminosos é substancialmente desproporcional, causando dano social. No RJ, um estudo mostrou que mais de 90% dos presos a partir de reconhecimento facial foram negros. Vale dizer que quase 300 mil presos (da pop. total de 700 mil) estão encarcerados sem condenação; quase a metade destes, sem julgamento ou sentença.

Em seguida trata do caso do COMPAS, um caso muito conhecido de concessão de liberdade condicional no EUA e que era completamente enviesado contra os negros e a favor de brancos.

Explica como tecnologias de visão computacional fazem, efetivamente, julgamentos. Por exemplo, no caso do Google Vision, que entendeu corretamente uma mão branca segurando um termômetro em formato de pistola, enquanto uma mão negra foi identificada como portando uma arma.

Outro caso foi como o facebook bloqueou um post no qual havia uma imagem com personagens negros, alegando que nesta imagem havia comércio de armas, sendo que, na verdade, só havia uma imagem de favela. Também são descritos casos de aplicativos que dizem reconhecer características como estados mentais ou mesmo inteligência através de reconhecimento facial.

Na seção “Deixar morrer” é explicado como uma abordagem de Machine Learning (ML) na qual hospitais estadunidenses usaram os gastos nos procedimentos como proxies (representantes) para diagnosticar severidade das doenças resultou em problemas. Como, por exemplo, pacientes negros têm menos recursos, eles gastam menos nos hospitais. E assim ficam prejudicados com tais métodos . Silva afirma que há vários estudos que mostram como mulheres negras são prejudicadas no acesso aos recursos de saúde, como anestesias e cuidados em geral. Faz então uma crítica aos desenvolvedores de IA que, ao usar a expressão “recursos despendidos” como equivalente à condição de saúde, negligenciam pacientes; e os hospitais teriam sido negligentes, por adotar tais sistemas sem auditorias prévias. Remete, por fim, a um estudo de Sueli Carneiro, “racialidade, morbidade e mortalidade” que mostra como questões de poder e privilégio atuam sobre racialidade impactando tais dimensões.

O capítulo 5, “Tecnologias são políticas. E racializadas” começa com a discussão de affordance, um conceito vindo da ecologia, cujo objetivo é entender o mecanismo de apropriação de bens naturais para utilidade humana, como as peles dos animais. Assim, esse conceito se presta a avaliar softwares; por exemplo, como os “likes” promovem ou invisibilizam determinados grupos ou ações.

Retorna à ideia de que a tecnologia a serviço do racismo é antiga. Relata sobre projetos urbanísticos nos EUA nos quais pontes baixas impediam ônibus, vindos da periferia, de chegar ao centro, prejudicando em especial, populações negras e latinas. Em outro caso, uma solução de software proposta para combater incêndios, também nos EUA, mostrou como seu uso acabou expulsando as populações negras de certas regiões e valorizando-as para especulação imobiliária. Um terceiro caso foi um estudo sobre o espirômetro, um equipamento para medir a capacidade pulmonar. Foi usado para mostrar como os negros, que supostamente tinham uma maior capacidade respiratória, poderiam ser aproveitados em trabalhos manuais e braçais. Esse projeto de dominação vem desde o tempo da escravidão. Esse instrumento (espirômetro) foi até mesmo usado na batalha judicial nos processos contra empresas na exploração do amianto.

No que diz respeito à fotografia, discute as questões de invisibilidade. Conta como a Kodak, nos anos 1950, cria uma modelo de referência, “cartões Shirley”, que foram usados enquanto durou tal indústria, para calibrar máquinas e cujo referencial era uma modelo branca. Os resultados para outros tipos de pele eram aberrantes. Então remete ao que foi dito antes, sobre selfies “embranquecidas”.

Há um outro ponto sobre bases de dados: cita a CDU (classificação decimal universal) de bibliotecas, que possui, por exemplo, sete categorias para questões cristãs e uma para outras religiões. O mesmo vale para literatura, com muitas categorias eurocêntricas e poucas para outras regiões. E destaca não haver classificações para religiões afro-brasileiras, “encaixadas” frequentemente como “ocultismo”.

O último capítulo chama-se “Reações, remediações e invenções”. Começa citando que Jurema Werneck diz que a recusa à desagregação das identidades e não adesão ao status quo é uma luta que vem de longe. Explica que o projeto “Gender Shades” criou uma base de dados pública de imagens para auditar sistemas de reconhecimento facial com imagens de negros e outras etnias. Outras auditorias buscam expor problemas, p. ex., em plataformas de imagens que, nos termos “família” ou “pessoas”, retornam apenas brancos. Cita ainda um estudo de Ziv Epstein que mostra que os novos sistemas de IA crescem mais rápido que os estudos de modelos que os verificam. Usa ainda a ideia de sinédoque (a figura de linguagem que toma a parte pelo todo, por exemplo) para os sistemas algorítmicos como representações da sociedade com suas distorções.

No contexto da pandemia, Silva narra como algoritmos foram usados no Reino Unido para atribuir notas a alunos baseados no desempenho anterior delas e deles; no caso das escolas privadas, mostra que os alunos foram favorecidos frente aos pertencentes à escola pública. Alguns outros casos são citados, como sistemas para identificação de imigrantes ilegais nos EUA e as reações contra tais sistemas. As big techs estão sempre envolvidas nestas iniciativas e, em geral, tentam utilizar discursos de relações públicas para minimizar suas atitudes ou falhas.

Por fim, discute que as reações contra esta dominação poderiam seguir uma proposta de Rayvon Fouché: a) reimplementação – o poder da tecnologia é reinterpretado, mas mantém seu uso, b) reconcepção – redefinir de modo a transgredir o uso e c) recriação – redesenho ou novo artefato. Conta a história do navegador Blackbird, da base de imagens Nappy, um app de realidade aumentada, SparkAR e um site, White Collar Crime Zones, que identifica um rosto genérico para crimes de colarinho branco; quase sempre são pessoas brancas. Todas são iniciativas de combate à dominação dos grandes grupos e governos hegemônicos.

Há um mapeamento muito interessante de iniciativas brasileiras, em especial de mulheres negras. Fala do PrestasLab de Silvana Bahia, Blogueiras Negras e diversos outros grupos e coletivos como Minas Programam, Conexão Malunga, Kilombotech, Perifacode, Tecnogueto, Afropython, Afrotech, Quebradadev, InspirAda. Algumas das coordenadoras destes grupos foram entrevistadas por Tarcízio Silva que reúne suas opiniões.

Descreve uma proposta para regular além dos aspectos éticos. Começa explicando o modelo FAT (Fairness, Accountability and Transparency). Menciona o trabalho de Luciano Floridi, um filósofo de origem italiana, radicado na Inglaterra e que tem desenvolvido muitos trabalhos relacionados com a IA responsável, inclusive o projeto AI4People (Floridi, Cowls et al. 2018).

Apresenta uma tabela a partir de um trabalho de D’Ignazio e Klein (https://data-feminism.mitpress.mit.edu/) que achei extremamente interessante e é reproduzida abaixo:

Ainda assim, vale ressaltar que conceitos classificados como se fossem de status quo, ou seja, manter o poder, são necessários tanto quanto aqueles que desafiam tal continuidade. 

Em seguida, Silva trata de uma análise de Tendayi Achiume, da ONU, que postula as seguintes diretrizes:

– Estados devem tomar medidas na educação e cultura para combater discriminação;

– Empreender esforços para resolver a “crise de diversidade”;

– Tornar igualdade racial e não discriminação como requisito para adoção de sistemas;

– Estados devem garantir transparência  e prestação de contas;

– Frameworks e regras em princípios internacionais e vinculativos.

Tarcízio Silva conclui seu livro de forma otimista, afirmando que, se fatalismos são ferramentas de dominação, pensar horizontes, revelar as raízes do racismo algorítmico fortalece novos imaginários.

Há ainda um posfácio que atualiza o livro, que havia sido publicado em formato ebook em 2022. Nele, Silva discute o surgimento dos GPTs e dos esforços em direção à regulamentação. Afirma que o movimento das big techs em “fingir” uma preocupação enquanto efetivamente avançam no desenvolvimento.

Relata que as manifestações de preocupação pela sociedade foram minimizadas pelas big techs. E que Timnit Gebru e Margaret Mitchell, duas cientistas críticas dos desenvolvimentos da IA, foram demitidas do google onde atuavam na área de IA responsável.

Deveria haver uma preocupação social com a erosão epistêmica, ou seja, construção de conhecimento a partir das máquinas. E ainda preocupações com vigilância em massa; isso é especialmente forte no Brasil, com 17 das 26 prefeituras eleitas em 2020 e empossadas em 2021, terem projetos nessa linha. E isso não só em nível de Estado, mas também no âmbito privado.

Finaliza com uma breve discussão das disputas de legislação, cita o EU AI Act e os esforços para uma legislação brasileira, muito influenciada e pressionada pelos lobbies empresariais.[JC18] 

Por tudo o que conta e discute, é um livro imprescindível tanto para um público mais amplo e não especializado, assim como para cientistas e engenheiros que podem obter informações valiosas nos trabalhos de concepção de sistemas, evitando cair nas armadilhas tecnológicas atuais.

Um artigo que resume o livro, feito pelo autor, está publicado no site da Scielo: https://doi.org/10.1590/1984-6487.sess.2023.39.e22304.a.en

Em 2024, Silva publicou o artigo Fighting Algorithmic Racism, no qual discute mais profundamente as formas de combate já elencadas no livro.

A primeira alternativa para lutar contra o racismo é através de auditorias públicas e conscientização. Em casos como o projeto Gender Shades, citado no livro, as autoras demonstram os problemas em softwares de reconhecimento facial, em especial para mulheres negras.

Uma outra abordagem de enfrentamento do preconceito é através de ações diretas como campanhas. Um exemplo é #BuscaPorIgualdade do coletivo “Desabafo Social”, através de pequenos vídeos mostra como, p. ex., plataformas de fotos contém majoritariamente fotos de pessoas brancas em buscas como “família” ou “pessoas”.

Em “Fuck the algorithm” discorre sobre movimentos da juventude protestando contra os sistemas de rastreamento durante a pandemia da COVID-19.

Houve outras manifestações em escala para tentar reverter a participação das big techs no fornecimento de programas para controle da imigração nos EUA. Resistência através das Reinvenções é outra forma de combate, também explicada no livro.

Por fim, o autor propõe criar novos imaginários. Cenários em que outras realidades são possíveis e não se resignar com a realidade presente, que pode ser mudada.

Para finalizar as análises desta nota crítica, vamos comentar a publicação “Griots e tecnologias digitais” organizada por Tarcízio Silva e Thiane Neves Barros. Nesta publicação, disponível online, há um artigo de autoria de Silva e Oliveira que discute a obra de Milton Santos, denominado “Tecnologias Emergentes: reflexões a partir da intelectualidade de Milton Santos”. Os autores fazem um interessante entrelaçamento entre a obra de um dos grandes geógrafos mundiais, o brasileiro Milton Santos, e a contemporaneidade de suas ideias relativas à sociedade tecnológica atual.

Classificado como um griô, alguém com conhecimentos ancestrais, Milton Santos questiona a sociedade tecnológica. Os autores o interpretam como tendo dito que “hoje as tecnologias que existem no nosso contexto seguem seu percurso de escravizar o ser humano.” Estas ideias não ficam em generalizações: exemplos discutidos incluem a plataformização do trabalho, impactos socioambientais e discursos e mídia.

Os textos de Santos discutidos são “A Natureza do Espaço” (2008) e “Técnica, Espaço e Tempo” (2013). Ao analisar a relação entre ser humano e máquina, mostram com o exemplo de um colaborador do Google  que afirmou que o computador havia adquirido consciência, esse caminho do afastamento da natureza faz com que o humano veja a técnica como sobrenatural. Descrevem assim a situação: “Como paroxismo do reenquadramento do papel da materialidade tecnológica digital na própria redefinição das relações, temos o lugar do debate sobre direitos de personalidade dos robôs.”

Destacam a episódio da demissão de Timnit Gebru e Melanie Mitchell (descrito anteriormente) que teria sido motivada pela análise do impacto ambiental provocado pelas novas tecnologias de Grandes Modelos de Linguagem (LLMs), impacto ambiental este que Santos, para outro tipo de tecnologias, já havia destacado claramente.

Fora de um contexto de IA, a questão midiática que, constrói um discurso de “criminalização do povo negro”, é feita através de programas televisivos[JC21] . A discussão aqui é sobre um “populismo penal midiático” que fere premissas básicas da ética jornalística e legal, como se utilizar do sensacionalismo, violar a presunção da inocência ao julgar sumariamente sem investigação, expor crianças e adolescentes em clara violação ao Estatuto da Criança e Adolescente.

Por fim, sobre plataformização, mostram um cenário de drenagem de recursos, tanto em termos de empresas do sul em direção ao norte global, como da exploração dos trabalhos em situação precarizada. Afirmam que o desafio seria integrar as plataformas na sociedade sem comprometer direitos e nem aumentar o abismo social.

Assim, Tarcízio Silva, em seus escritos independentes ou em coautoria, é uma voz fundamental na compreensão da tecnosociedade contemporânea.

Referências

SILVA, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes digitais. Edições Sesc SP, 2022. ISBN: 978-6586111705

Floridi, L., Cowls, J., Beltrametti, M. et al. AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations. Minds & Machines 28, 689–707 (2018). https://doi.org/10.1007/s11023-018-9482-5