Entrevista com Fernanda Rosa, por Juliane Helanski

Esta entrevista foi realizada originalmente em português em setembro de 2023.

Juliane Helanski: Em sua experiência, como podemos aplicar os conceitos de “etnografia do código” e “alfabetização digital ao estudo da Inteligência Artificial, abrangendo não apenas os cientistas da área, mas também os projetos, laboratórios e centros de pesquisa? Como você acredita que esses conceitos podem inspirar pesquisas na IA?

Fernanda Rosa: Temos que partir da base de que a etnografia do código tenta quebrar a separação entre mente e corpo das ciências conforme aprendemos nas ciências sociais. Essa divisão perdurou por muito tempo até que os estudos feministas começaram a questionar a falta da presença do corpo na ciência. Vamos pensar, por exemplo, como os filósofos, “filósofos brancos”, tentaram trazer uma ideia de “não lugar”, como se a pessoa que fala não tivesse um lugar de onde está falando. Da mesma forma, isso está na origem da sociologia. É o que o Merton está falando dos estudos de ciência. Essa perspectiva de como olhar a ciência traz padrões que não são possíveis de realizar, como é que se realiza o universalismo na ciência? Uma outra forma de pensar é trazida pelos estudos feministas, a necessidade de trazer o corpo de volta para os nossos estudos, e ao fazer isso aquele cientista que não tinha gênero, que não tinha raça, que não tinha etnia, começa a ter. Qualquer cientista está situado. Não existe um “não lugar” da ciência. Nós sempre estamos situados. Um outro ponto por trás da etnografia do código é que quando pensamos as tecnologias digitais, e por isso o estudo do código é tido como uma fórmula que estrutura o digital, sua materialidade, o código que nós não vemos, que pode ser uma linguagem de programação, um protocolo de Internet, um algoritmo; esse código está atrás dessa materialidade, dessa infraestrutura, daquilo que nós não vemos. Nós vemos o computador, não aquilo que está por trás do computador. Aqui entra a questão da separação entre corpo e mente. Porque vamos ter que começar a pensar o material junto com o código, e não como se este fosse uma entidade separada, distante e desconectada do todo. O código está sempre conectado nos estudos sociais de ciência e tecnologia, como podemos pensar com a teoria “ator-rede”, como algo sempre conectado com uma outra coisa ou um outro alguém. E não precisa ser uma pessoa, o código pode estar conectado com o físico, com a infraestrutura. Então, a ideia é conectar o código com a infraestrutura. Quando olharmos para um código de Inteligência Artificial, a primeira pergunta que devemos fazer é qual a infraestrutura que o materializa. Os cientistas sociais provavelmente não têm o letramento desse código, mas isso não deveria impedir que estudássemos o código ou qualquer tecnologia.

A outra questão, que eu acho que é mais normativa da etnografia do código, é que esta surge de um desejo de trazer o global para o nosso entendimento de maneira teórica, porque somente quando trazemos a infraestrutura para a conversa do código, é que o global aparece. O código é produzido, normalmente, no Norte Global, mas para esse código funcionar, a infraestrutura do Sul Global é necessária. A maior parte dos usuários do Facebook, por exemplo, estão no Sul Global. Nós simplesmente não prestamos atenção nisso, e pensamos que essa é uma plataforma do Norte Global. Essa interdependência existe. É uma questão relevante para pensarmos na interdependência quando esse corpo, essa materialidade, essa infraestrutura vêm para complementar o nosso entendimento. Com o Chat GPT é muito mais fácil perceber que você pode “falar” com o código; você pergunta e o código responde. Existem autores criticando essa forma de falar com o código, porque parece que ao falar com o código estamos formando uma entidade daquele código, impedindo que entendamos as forças por trás dessa visão. Na minha visão as pessoas estão falando com o código, elas podem não querer assumir isso, mas quando elas usam o Chat GPT, elas estão, de fato, falando com o código.

A questão que eu trago é que esse código pode se tornar “ator” nas pesquisas de Inteligência Artificial, ou de qualquer infraestrutura e tecnologia digital, de maneira que, incluamos com o código às suas “redes”, as instituições, as questões políticas, sociais e econômicas que estão por trás. Isso é muito diferente de personificar, ou acreditar naquilo como se fosse um Deus. É entender que podemos nos comunicar com o não-humano; é parte da etnografia do código. Já nos comunicamos com não-humanos, com o cachorrinho, com o gatinho, essa comunicação está sempre acontecendo. Eu acho que está relacionado com a forma preconceituosa como vemos o não-humano, e de “descer do salto” como seres humanos para nos colocar no mesmo nível que outros seres e atores. O conhecimento indígena pede que façamos isso há muito tempo. Mas, nós nas ciências sociais, nas ciências ocidentais, ainda não conseguimos dar esse passo.

Juliane Helanski: Você mencionou a importância de considerar a materialidade ao investigar o digital através da etnografia. Qual seria um ponto de partida eficaz para explorar a materialidade da Inteligência Artificial? Como podemos aplicar essa abordagem ao estudo da IA?

Fernanda Rosa: Primeiro precisamos desconstruir a visão que a indústria está nos trazendo. A indústria está tentando fazer a gente pensar como na ficção científica. A ficção científica existe nos livros, nas artes, e que legal que existe e que faz parte da nossa criatividade. Mas ela ainda não existe no campo científico. Não existe um objeto que pense e sinta. O que eu tento explicar, e que é importante que entendamos, é que quando falamos da materialidade da Inteligência Artificial, estamos falando também de matemática. Nossos sentimentos não podem ser calculáveis, nenhuma máquina pode fazer isso. O que temos hoje não é a IA geral, mas a IA limitada, e a indústria está tentando nos fazer pensar o contrário. A IA enquanto matemática tem seus limites. Não tem como prevermos o futuro ou criar tecnologias que prevejam quem vai ser criminoso ou criminosa. A IA utiliza dados que já existem para fazer essa predição, mas esses dados são “dados sujos”, ou seja, perpetuam as desigualdades de um sistema, por exemplo, o prisional. Ninguém diria hoje que devemos continuar fazendo o que fazíamos, prender e matar negros, pardos e indígenas. Então por que criaríamos tecnologias para fazer isso? Para trazer essa realidade nefasta através do código.  Ruha Benjamim traz o conceito de “New Jim Code” para pensar a história dos EUA e a lei que separava brancos e negros. Ruha diz que não estamos mais nessa lei e ainda assim o nosso mundo está sendo influenciado por ela e a separação entre brancos e negros continua a existir. No digital, ela vai falar que estamos codificando essa desigualdade através do código. A indústria está anunciando para o mundo que esse código é moderno, que essa é a forma de fazer as coisas. Estamos correndo o risco de propagar a discriminação porque simplesmente estamos pegando dados que existem em uma sociedade que não é perfeita, e que não consegue predizer o futuro, a não ser para dizer que o futuro é violento, machista e preconceituoso. Temos que quebrar com a visão da indústria, temos que entender a materialidade, como a IA funciona e quais dados estão sendo utilizados para construir esses sistemas. Para entender a materialidade da IA, o primeiro passo é entender como esses dados são utilizados para construir essas tecnologias.

Juliane Helanski: Você destacou a concentração de poder, a dependência e a desigualdade na infraestrutura da Internet e a necessidade de políticas públicas para equilibrar interesses públicos e privados. Como você enxerga essas questões em relação à atual conjuntura global da Inteligência Artificial? Como podemos abordar a concentração de poder, a dependência e a desigualdade nesse contexto?

Fernanda Rosa: Parece que estamos vendo um filme que já passou com a IA. A diferença da emergência da Internet com o que está acontecendo agora, é que a IA já está totalmente dominada pelo privado. A IA está surgindo na era das big tech. Quando a Internet surgiu, não existiam as big tech. Existiam vários provedores de Internet pequenos, tentando utilizar de uma infraestrutura construída a partir da inteligência militar (Arpanet) onde o mercado era descontinuado e permitia-se utilizar daquela estrutura.  No contexto da economia americana, onde o mercado deve regular tudo, esses pequenos provedores começaram a se desenvolver, e assim, temos o que as mãos do mercado conseguem produzir. Tudo isso em uma situação onde a concentração de poder e riqueza são bastante marcados. O Silicon Valley, por exemplo, é um espaço bastante “branco”, não temos como não discutir questões raciais e de gênero quando discutimos a emergência da IA.  O que está acontecendo hoje é uma corrida por quem consegue lançar um Chat GPT mais rápido. Que foi lançado por uma organização chamada OpenAI, mas que alguns autores dirão como Meredith Whittaker (fundadora do AI Now e hoje presidente do Signal) que a OpenAI não é “open”. A Microsoft já fez um acordo com a OpenAI. O que ocorre é um momento de concentração de poder. A OpenAI já era uma empresa privada antes de entrar no contexto de uma big tech como a Microsoft. A Google também está correndo atrás para fazer algo que compita com o Chat GPT.  Essas questões estão por trás do que está acontecendo hoje. E não dá para imaginarmos que em uma corrida capitalista teremos um resultado diferente, é como se já soubéssemos o fim da história. Eu me sinto desprovida, é uma violência ontológica quando um Chat GPT é lançado e o que ele faz é varrer a Internet atrás de material, e que pode estar utilizando meus próprios artigos publicados em open access, que o Scielo publica em acesso aberto, baseados na ideia de ciência aberta. Não estamos fazendo ciência aberta para alimentar software privado, que vai dar lucro para alguém que eu nem sei quem é, e que além disso, vai causar diversos problemas no contexto acadêmico porque sabemos como o plágio funciona, e como essa tecnologia não está preocupada com os padrões da ciência como nós construímos. É uma disrupção violenta e perigosa Tudo isso para dizer que a regulação é necessária, mas a governança que vem sendo realizada é a governança privada, a despeito de algumas ações como as tomadas pelos Estados Unidos e a União Europeia. É um avanço que talvez nem fosse acontecer sem as pesquisadoras que estão trazendo essas informações. Precisamos de regulação e não precisamos aceitar tudo o que o mercado está dizendo. Precisamos falar o que não está de acordo com a sociedade que queremos. Essa é uma questão atual e sobre a capacidade dos países do Sul Global fazerem frente. Porque se entrarmos nessa onda, vamos ficar para trás. Temos que construir tecnologia a partir dos valores que nós temos como sociedade. Essa é a questão que deve guiar qualquer governança de IA e de regulação dessas tecnologias.