Entrevista com Ana Gabriela Ferreira, por Paulo Pirozelli, Pedro Vivas e Rodrigo Brandão
Essa entrevista foi realizada originalmente em português em outubro de 2023.
Assista a entrevista completa em vídeo no nosso canal do YouTube:
https://www.youtube.com/watch?v=nfAODE9Q7rgA Bahia tem sido um dos estados que mais utiliza tecnologias de reconhecimento facial na segurança pública, fato que tem suscitado preocupações por parte de especialistas, organizações de defesa dos direitos humanos e sociedade civil.
O processo começou em 2018, na cidade de Salvador, tendo sido expandido e acentuado a partir de 2021 (1), contexto que produziu o programa “Câmera Interativa”, que, segundo a Secretaria de Segurança Pública, tem o intuito de “utilizar imagens cedidas pela sociedade civil, para auxiliar no combate à criminalidade”(2).
O sistema de reconhecimento facial no estado já gerou mais de mil prisões - algumas delas comprovadamente indevidas (3) -, tendo o alto custo e a falta de transparência como marcas. Cerca de R$700 milhões já foram investidos e a Secretaria de Segurança Pública não divulga dados sobre erros de reconhecimento.
A preocupação em torno do uso do reconhecimento facial na segurança pública tem crescido ao redor do mundo, com uma vertente crescente que defende restrições regulatórias significativas, ou mesmo o banimento da tecnologia da esfera pública.
Para entender melhor o caso baiano e a discussão em torno do uso de reconhecimento facial na segurança pública, o U.A.I. entrevistou Ana Gabriela Ferreira, advogada, professora de Direito Penal e Criminologia, doutoranda em Filosofia pela PUC/RS pesquisando Inteligência Artificial e Necropolítica. Ela também é mestre em Direito Público pela Universidade Federal da Bahia, com especializações em Direito e Gênero pela Universidade de Buenos Aires (UBA), Universidade de Pittsburgh e Universidad Diego Portalez(CHI). Além disso, é Bacharela em Direito pela Universidade Federal da Bahia e foi pesquisadora em Estudos Afrolatinoamericanos e Caribenhos pela CLACSO.
Na visão da pesquisadora, o uso de reconhecimento facial de modo ostensivo na Bahia é caro, ineficiente, e acentua situações discriminatórias e de racismo algorítmico. Além disso, ela argumenta que a quantidade de problemas associados ao contexto atual da tecnologia justificaria o banimento de seu uso. Ações neste sentido não seriam inéditas, um caso emblemático em sintonia com essa demanda já ocorreu em San Francisco, na Califórnia (4).
Confira a íntegra da entrevista:
Pedro Vivas: Obrigado por estar aqui, Ana. Antes de começar, pode contar um pouco mais sobre sua trajetória de pesquisa, sobre sua história? Como é que ela se relaciona com esse tema [do reconhecimento facial na segurança pública]?
Ana Gabriela Ferreira: Eu sou formada em Direito, então meu background é todo no Direito, e sou advogada e professora. Trabalho com pesquisa em segurança pública e em ciências criminais há muitos anos. Desde a graduação que meu interesse em pesquisa acabou sendo em ciências criminais. Por conta disso, acabei estudando também os impactos de raça e gênero nas perspectivas de seletividade criminal. Há cerca de seis anos, passei a trabalhar na sociedade civil com temas associados à tecnologia e trouxe a perspectiva de gênero e raça para os meus estudos de compreensão sobre tecnologia - e vi que muita gente já fazia isso.
A gente tem pesquisas sendo desenvolvidas ao redor do mundo sobre inteligência artificial e discriminação algorítmica, sobre racismo algorítmico, e isso me trouxe para um campo novo, que foi o direito digital, a tecnologia analisada da perspectiva de gênero e raça. A gente tem casos emblemáticos que me marcaram muito na trajetória de pesquisa. Por exemplo, eu estudei aborto por muitos anos.
Nos Estados Unidos, as tecnologias de agenda menstrual, que são dispositivos que registram dados sobre menstruação, período, e informam isso a mulheres, foram usadas contra essas mulheres depois do Roe vs. Wade ser revogado.
Também nos Estados Unidos, a gente teve na semana de protestos do Black Lives Matter a utilização de instrumentos de reconhecimento facial contra pessoas negras que estavam sendo procuradas pela polícia e a cessão de dados. Eu percebi então que essas coisas são essencialmente conectadas.
Meu mestrado é em Direito Público, eu tenho especializações de gênero em estudos afro-latino-americanos e caribenhos e fui pro doutorado na filosofia pra poder estudar necropolítica associada à inteligência artificial, porque eu acho que estão intimamente conectadas.
Pedro Vivas: Você foi uma das entrevistadas da matéria do G1 escrita por Itana Alencar. Como é que você explicaria o caso do uso de reconhecimento facial na segurança pública da Bahia? Você poderia fazer um panorama geral?
Ana Gabriela Ferreira: O uso de reconhecimento facial na Bahia é um caso que talvez não tenha precedente no Brasil. A Bahia é de fato um laboratório para testes sobre reconhecimento facial e reconhecimento biométrico no país. Isso não começa de agora - nós tivemos uma implementação de uma política de segurança pública, afirmada de segurança pública, mas que tem um baixíssimo nível de eficácia e de acurácia, implementada no estado que tem a capital mais negra do mundo fora das capitais de África, o que não parece ser uma coincidência, né?
E por que que tem sido feitas tantas críticas ao estado? Porque é uma tecnologia com um investimento altíssimo, como a reportagem diz, de mais de 700 milhões de reais no início [da implementação]. Isso não é o gasto todo, hoje isso deve ser ainda maior. Foram implementadas tecnologias a um custo absurdo, com uma acurácia que para pessoas negras pode chegar a um índice de erro de quase 40%.
A gente não pode computar como sucesso uma tecnologia que tem um sem fim de dados - porque o governo não tem um informe e uma transparência específica sobre quantos dados ele tem hoje - porque houve mil matches.
Mil matches, sendo que o sistema começou a ser implementado e teve um aprofundamento em 2018. A gente está em 2023. Então, não há sequer o número de erros desses matches, porque o governo disse que houve mil matches, ele não diz quantos desses matches foram errados.
Para quem é de fora da área, eu imagino que seja bom explicar que matches são as compatibilizações entre a imagem captada na biometria e a imagem que o sistema do governo na Secretaria de Segurança Pública tem da pessoa que está sendo acusada do cometimento de crime. Quando a gente tem a compatibilização disso, a gente fala que teve um match. Só que, como eu disse, o índice de erros desses matches para pessoas negras pode chegar a quase 40%.
A tecnologia que o governo usa aqui, que é da Huawei, foi uma das tecnologias investigadas pela Joy Buolamwini e a [Timnit] Gebru nas pesquisas delas do "GenderShades”. E foi um dos investimentos feitos no governo como se fosse uma precisão, uma acurácia de 100%, é essa a campanha que o governo do estado vem fazendo aqui - o que não é verdade.
É um uso politiqueiro de uma tecnologia com um gasto imenso e com uma precisão que é baixa para os nossos parâmetros de precisão. Isso tem sido implementado inclusive em cidades que não têm sequer sistemas de saneamento, como a pesquisa do Panóptico (5) mostra hoje. A gente tem pesquisa do Panópticocom o CESeC mostrando isso.
Então, a Bahia tem sido um laboratório e uma experiência extremamente simbólica do quão pouco eficaz é o uso desses sistemas para tentar melhorar a segurança pública de um estado.
Paulo Pirozelli: Então, pelo que eu entendo, não é nem claro quais são os resultados em termos de número -de prisões, de sucessos - que a gente tem nesse programa?
Olha, Paulo, o governo dá o resultado, e celebra isso inclusive, ele dá o resultado de matches. Então, ele colocou a contabilização recente de 1.065, salvo engano, matches feitos, que seriam 1.065 pessoas presas. Mas ele não divulga o número de erros dentre eles. E nós temos uma soma de estudos em outros lugares que mostra que o índice de erro pode ser de até 70%.
Por que primeiro eu falei de até 40% e agora estou falando de até 70%? Porque, por exemplo, a gente teve no estudo chamado "Gender Shades", que foi um estudo voltado para as três maiores tecnologias de reconhecimento, uma identificação de que para mulheres negras os matches aconteciam com incidência de quase 40% de erros. Mas, no estudo feito pelo Panóptico, na implementação do reconhecimento facial no Rio de Janeiro, no Maracanã, houve erros de quase 70% no reconhecimento. De 11 pessoas, 7 pessoas foram identificadas de forma equivocada.
Considerando que a gente está num estado, também um estado negro, é muito difícil precisar os erros aqui, e dizer que dentre essas mil e tantas pessoas presas, nós não temos uma incidência tão grande. Percebe? Falta transparência na divulgação dos erros para que a gente possa saber se tem valido a pena investir nisso.
Pedro Vivas: A Secretaria de Segurança Pública da Bahia anuncia que já prendeu mais de mil pessoas, mais precisamente, mil e onze pessoas. Segundo a matéria da Itana, já teriam sido vários inocentes levados à cadeia desde a implementação, que foi em 2018. Diante disso, Gabriela, o que mais te preocupa nesse caso, o que mais chama a sua atenção no caso da Bahia, para além dessa questão das prisões que podem estar sendo equivocadas - algumas delas já foram comprovadamente equivocadas -, o que é que te chama mais a atenção nesse caso?
Ana Gabriela Ferreira: A tendência de expansão do uso dessas tecnologias e um projeto que foi implementado pelo então governador Rui Costa [Câmera Interativa] sobre a ampliação da coleta de imagens através de parcerias público-privadas.
Elas são feitas da seguinte forma - o governo implementou uma parceria por edital que permite que entes privados enviem as imagens captadas e registradas por até 7 dias. Imagens de locais comuns, de câmeras, que não são câmeras de monitoramento imediato, para empresas que vão gerir essas imagens e submeter as imagens das TRF, as tecnologias de reconhecimento facial, e enviar para o Estado quando houver matches.
Então, a gente tem um sistema cuja eficácia não foi comprovada, ao contrário, tem um sistemático índice de erros, não existe transparência nisso e há uma comprovada discriminação na seleção das pessoas. No sistema da Bahia, para vocês terem uma ideia, há critérios como o formato do cabelo como critério para monitoramento da imagem das pessoas.
É discriminatório e é comprovadamente discriminatório e não contente com o gasto já feito, existe uma ampliação do manejo desses dados para entes privados que também estão lucrando com isso, e uma ampliação da coleta de dados de uma forma que eu não hesitaria em dizer, parece de certo modo irresponsável, considerando os princípios de uso e de registro de dados, por entes públicos e privados.
Então, me preocupa muito que não só a ineficácia seja vertente, mas haja uma ampliação das possibilidades desses sistemas aqui no Estado. Isso é algo muito preocupante, muito intenso, para qualquer pessoa que esteja estudando o tema.
Pedro Vivas: Ao longo da matéria, a jornalista fez uma série de pedidos de esclarecimento à secretaria de segurança pública, todos eles, ou a maior parte deles negados. A gente tem uma marca aí que é a falta de transparência, a dificuldade de acesso às informações. Quais são as informações que a gente tem sobre esse programa, onde elas estão disponíveis e o que é que está se dizendo?
Ana Gabriela Ferreira: [Há] muito pouco publicado pelo próprio governo, mas coisas sendo publicadas pela sociedade civil e pelo jornalismo alternativo. Por exemplo, como eu mencionei, o "Panóptico" é um site de uma organização que monitora a implementação de sistemas de reconhecimento facial e biométrico no Brasil inteiro e publicou um especial sobre a Bahia, além de reportagens sobre a Bahia.
Além disso, tem pesquisadores autônomos, pesquisadores e pesquisadoras que vêm denunciando o que está acontecendo aqui. Existe a campanha "Tire o meu rosto da sua mira", que é uma campanha que hoje éparceira da Coalizão de Direitos na Rede, tem feito a denúncia desses sistemas de reconhecimento também.
Existe uma série de reportagens do Intercept Brasil voltadas para a demonstração de que os números que estão sendo divulgados eles não sustentariam a implementação dessas tecnologias e há, dentro das universidades, das universidades públicas e de universidades privadas que estão desenvolvendo centros de estudos em tecnologia, uma preocupação muito grande com isso e publicações sequenciais de artigos.
Então, a gente tem muita gente produzindo no campo da pesquisa e no campo dos direitos humanos,denúncias sobre o estado amplificado desse desuso de tecnologias.
Pedro Vivas: Com base nas suas pesquisas, com base no que você tem visto, você acha que tem algum paralelo no Brasil ou mesmo no mundo com o que está acontecendo em Salvador, na Bahia?
Olha, eu acho que a Bahia é um caso muito peculiar por causa da amplitude do projeto de uso de tecnologias de reconhecimento, mas nós temos no Brasil períodos de experimentação dessas tecnologias em São Paulo, através do SmartSampa, que foi um projeto que captura dados, coleta dados, inclusive em escolas públicas, dados de estudantes, ou seja, dados também de menores, para que as pessoas tenham integração no monitoramento.
Esses dados foram coletados inclusive do metrô e isso gerou uma ação que questionava a constitucionalidade do registro de dados, da captura de dados pelo metrô e a partilha disso com a Secretaria de Segurança Pública e a ação teve recentemente um parecer do Ministério Público de São Paulo, que era contrário - e olha que o Ministério Público de São Paulo é conhecido por suas práticas normalmente tendentes a um viés mais punitivo, mais punitivista, como a gente diz.
Ainda assim, o Ministério Público do Estado de São Paulo foi contrário ao uso de tecnologia dereconhecimento lá, porque o SmartSampa integra inúmeras perspectivas de monitoramento.
A gente tem em Recife um aumento do número de tecnologias utilizadas, que também é preocupante. Tem casos registrados em Goiás que são similares na perspectiva de investimento, cidades muito pequenas com investimento muito alto em TRFs, sendo que as cidades não têm uma infraestrutura desenvolvida, falta esgotamento e aí pesquisa também do Panóptico.
E no mundo, eu acho que a gente pode comparar os sistemas de monitoramento de fronteiras, que foram usados por muitos anos e agora são denunciados pela União Europeia, por exemplo, e sistemas de monitoramento nos Estados Unidos. Como a gente sabe, os Estados Unidos não são referência para qualquer questão de segurança pública, usualmente são referência negativa. E o Brasil copiou um sistemaque tem uma referência negativa, que é considerada negativa até nos Estados Unidos. Depois do Black Lives Matter, houve uma coletivização da discussão sobre o banimento dessas tecnologias em ferramentas de segurança pública.
Paulo Pirozelli: Como essas tecnologias de reconhecimento facial são usadas na prática? A gente estava falando, você apontou vários problemas que tem com as tecnologias, desde invasão de privacidade, passar dados pessoais entre empresas e Estado, e também a ineficiência de recursos, mas um ponto que você falou, que eu acho bastante importante, é das falhas de tecnologia, que ela produz reconhecimentos errados, falsos positivos, de quem seriam aquelas pessoas.
Além de esses dados não serem públicos e não haver muita transparência, eu queria saber, na sua opinião, você acha que os agentes que utilizam as ferramentas, eles entendem e compreendem essas limitações inerentes a essas tecnologias? E como que eles usam essa tecnologia? Qual que é a função dela na prática?E como ela funciona dentro do sistema de justiça e de investigação policial?
Ana Gabriela Ferreira: Bom, começando pelo final, não me parece que todos os agentes que manejam essas tecnologias têm o domínio sobre o funcionamento delas. E eu falo isso com base em entrevistas e declarações desses próprios agentes. Na Bahia, no momento da implementação do projeto CâmeraInterativa, houve uma afirmação de um dos responsáveis pelo projeto de que o índice de acerto seria de até 90% quando ele se referia à eficácia, ao ajuste de acurácia da TRF.
Isso quer dizer que, é uma coisa que eu falei com vocês, para explicar para as pessoas, se a gente tem 90% de um modo abstrato, a gente está falando de fato de 90%, então parece para o público externo que 90% de acerto é algo muito grande e que é algo matemático, precisão matemática. Na verdade, as tecnologias são linguagens interpretativas. Como assim? A pessoa que é monitorada na rua e que vai ensejar o monitoramento não é qualquer pessoa. É uma pessoa entendida como suspeita por quem está manejando o sistema, certo?
Quem são essas pessoas? Eu posso fazer um paralelo para vocês sobre a abordagem de suspeitos sem as tecnologias. Quem são as pessoas que são abordadas comumente pela polícia, sem tecnologias de reconhecimento facial? Pessoas com características raciais bem demarcadas. Não foi diferente na seleção de quais seriam os perfis monitorados aqui na Bahia. Eu cheguei a mencionar que a gente teve uma definição, por exemplo, de perfis monitorados através da estrutura do cabelo, do formato do cabelo das pessoas. Quais são os cabelos que têm um formato, gente? Se a gente pensar no senso comum, a gente está falando da população negra, essencialmente. Num estado majoritariamente negro. Percebam, já tem uma seletividade prévia aqui.
A partir daí, a gente tem uma segunda etapa. Como eu disse, ferramentas de tecnologia são ferramentas de linguagem. Se pensa matematicamente quando se fala em algoritmo mas, na verdade, a gente está falando de uma linguagem. Quando eu dito ao algoritmo, quando eu estou codando e eu especifico o que é que esse algoritmo, qual é a função que esse algoritmo vai realizar, eu estou determinando uma interpretação minha. É daí que vêm as falhas. A gente chama de viés algorítmico e, nos últimos anos, tem uma demonstração de que esse viés segue uma ideia de racismo algorítmico.
Rostos negros são rostos mais propensos a ter uma identificação errada do que rostos brancos. Por quê? Porque essas tecnologias são desenvolvidas para fazer comparativos entre uma imagem específica e uma imagem dada. E esses comparativos vão da forma do cabelo, à largura do nariz, a pontos específicos nas faces. E as pessoas que estão desenhando isso, desenhando o algoritmo que vai fornecer essa leitura, são pessoas que vêm de um mesmo grupo, que controla hoje a construção de grandes tecnologias. Essencialmente, homens brancos cis, bilionários, muitas vezes envolvidos abertamente com regimes segregatórios, racialmente segregatórios, com ideias racialmente segregatórias e segregatórias de gênero.
A gente teve um deles que admitiu em uma entrevista que ele comprou uma rede social porque ele achava que essa rede social influenciou a filha a se tornar trans. Isso não é acaso. São pessoas com muito poder concentrado. E são pessoas que não se preocupam que a métrica de erro para um homem branco, por exemplo, tenha sido 0,3% no erro quanto aos matches. E a métrica de erro para uma mulher negra tenhachegado a quase 40%. É como se você dissesse para a mulher negra continua havendo a chance de 50% dela ser abordada na rua de forma equivocada, e para um homem branco isso se torna quase impossível. Isso também é seletividade.
Por isso é que a gente fala que não é algo matemático, é uma manipulação de dados, que é uma manipulação perigosa e que tem uma intervenção humana como a característica principal. Não é a inteligência artificial. O próprio nome inteligência artificial é um nome que dá margem à sensação de que existe um ente completamente automato e de uma matemática pura. Não é assim que funciona. Os sistemas de inteligência artificial são sistemas que são formulados com uma linguagem interpretativa. Não é matemática, é português, coloquemos assim. É uma linguagem interpretativa sobre um fato.
No caso desse fato, o fato é: aquele indivíduo é suspeito ou não é suspeito para o meu parâmetro? Qual é o meu parâmetro? E aí vem toda a implicação do racismo contido no sistema de segurança pública anteriormente. As pessoas não estão tendo tempo para discutir isso, e da forma como isso é publicizado não parece que há possibilidade de erros dessa maneira, o que torna isso tudo ainda mais grave.
Porque quando você tem a seletividade na rua e uma pessoa negra é confundida com outra e presa por engano porque uma pessoa identificou aquilo ali erradamente, você enxerga a pessoa e é mais fácil perceber o viés. Quando você vê uma máquina identificando erradamente, se presume que aquela máquina não erra, que aquela máquina teria um padrão matemático e ela não podia ter uma contaminação humana. E é o oposto.
A máquina foi programada já com a interpretação sobre aquilo enviesada. Eu não sei se ficou nítido, mas eu acho que esse é o caminho, assim, para compreender melhor.
Paulo Pirozelli: Era a impressão que eu tinha tido quando li a reportagem também de que as pessoas têm essa incompreensão do algoritmo como algo infalível, que não deriva de nenhum viés, de nenhuma concepção sobre como que é aquele fenômeno e que tomam de maneira inquestionável e que substitui todos os tipos de provas e evidências.
Pedro Vivas: Isso é bastante preocupante porque pode ser um processo que também se dá em formuladores de políticas. Indo um pouco nessa linha, Ana Gabriela, você mencionou uma parceria público-privada e um projeto que se chama Câmara Interativa. Poderia explicar um pouco mais sobre esse projeto?
Ana Gabriela Ferreira: O governo do estado da Bahia, alguns anos após a implementação da primeira leva de TRFs, ele celebrou um acordo com entes privados. A gente só tem sobre esse acordo os dados que são o termo de adesão e a publicação da portaria que institui esse acordo. E nessa determinação e no termo de adesão, o governo diz o seguinte: ele abre uma parceria público-privada e abre a possibilidade de cessão de dados privados de quaisquer locais que tenham câmeras de registro de imagem.
Então a padaria do bairro, se ela tiver uma câmera, ela pode se cadastrar nesse programa e mandar a imagem retida até sete dias para o sistema do governo para que o governo avalie a existência ou não de suspeitos ali.
Como é que esse governo vai avaliar isso? Através de um contrato com empresas intermediadoras, e essas empresas recebem as imagens, armazenam os dados e fazem essa avaliação sobre possíveis matches entre as imagens capturadas e as imagens que são do sistema de segurança pública do Estado.
Temos vários problemas aí. O primeiro problema é que no próprio termo de adesão, o governo se coloca como absolutamente irresponsável pelo manejo de dados e presume a veracidade dos dados que são compartilhados.
O segundo ponto é que o governo coloca que haverá sigilo decretado sobre esses dados quando houver reconhecimento. Isso faz com que a pessoa que seja possível vítima - eu estou dizendo vítima porque o número de casos de erro é gigante - então a pessoa que é possível vítima de um erro nesse caso não consegue sequer discutir o caso de forma técnica porque existe uma decretação de sigilo sobre como aquela imagem foi obtida.
Terceiro ponto - a gente tem uma parceria público-privada numa implementação de sistema que já seria inconstitucional, porque está legislando sobre segurança pública de uma forma que não provém do que a nossa Constituição determina. Só a União pode legislar sobre segurança pública no Brasil para medidas constritivas, ou seja, para você restringir a liberdade de alguém, você precisa que a União tenha sido responsável pela formulação de lei. Isso quer dizer que ela tem que vir do Congresso Nacional, ela não pode vir da Assembleia Legislativa do Estado, ela não pode vir de uma determinação do município, ela não pode vir do governador, ela tem que vir do Congresso Nacional.
E, por conta disso, a gente tem uma violação também jurídica, mas uma violação jurídica que vai se somar a violações diversas de direitos humanos. No uso e manejo de dados, existem normas que são normas protetivas das pessoas. O Brasil tem o marco civil da internet que deveria regular uma parte da disposição sobre como se utiliza, como se captura e como se utiliza um pouco do que é colhido virtualmente.
O Brasil tem a perspectiva de uma LGPD implementada e o Brasil tem discussões sobre LGPD penal exatamente para que haja uma limitação dessa coleta de dados restrita e dessa partilha de dados entre entes públicos e entes privados.
Aí eu vou tentar ser um pouquinho mais específica. Quando um ente privado tem acesso aos seus dados, esses dados podem ser capitalizados. Se esses dados podem ser capitalizados, eles podem ser também manejados de uma forma que não necessariamente é ética. E o que o governo faz é abrir um leque para que empresas tenham acesso a dados que podem valer uma fortuna e que não haja transparência e evidência sobre como tem sido feito o manejo desses dados, qual tem sido o destino secundário, como tem sido feito sequer o armazenamento desses dados, e qual a perspectiva de responsabilização no caso de erros cometidos com bases neles.
É a comercialização de dados pessoais, dados sensíveis, porque são dados biométricos, entre o governo que celebra essa parceria e entes privados, abstratamente. Tem tudo pra dar erro.
Pedro Vivas: Muito se fala que há na Bahia uma crescente crise de segurança pública. Ao menos tem se multiplicado, aparentemente, as notícias de tiroteios, de confrontos, e aumenta a sensação de que o governo começa a tentar dar respostas, começa a tentar se articular pra gerar um discurso com base nisso.
Você acha que essa tecnologia [de RF] está sendo utilizada de um modo político? Você vê a relação entre essa crise e o aumento do discurso em torno dessa tecnologia? Eu lembro que você mencionou em uma das nossas conversas uma campanha recente, que estaria dizendo que "o inimigo está sendo mapeado". Conta um pouco pra gente sobre isso?
Ana Gabriela Ferreira: Infelizmente, eu tive o desprazer de ver essa campanha, está sendo divulgada pelo governo agora, e que mostra a ideia de inimigo abertamente declarada. Para quem não é do direito, a gente tem uma tese, uma teoria sobre o direito penal do inimigo, que é o seguinte, o Estado só é obrigado, segundo essa corrente, a respeitar direitos humanos quando ele está falando do cidadão. Aquele que não é cidadão, aquele que infringe perspectivas do que o Estado considera cidadania, ele pode ser tratado como inimigo e isso implica perder direitos.
Não por acaso o Estado lança essa campanha, e ele lança essa campanha associada a imagens que vão passando à medida que ele vai narrando isso, de que o inimigo está sendo mapeado, imagens de fotografias criadas por inteligência artificial. E ele coloca como se o Estado estivesse trabalhando no mapeamento exatamente com base nessas imagens, para dar um retorno, uma resposta que seria uma resposta mais eficaz à situação de insegurança vivida no Estado.
Ocorre que essa situação de insegurança vivida no Estado não é recente, ela vem de muitos anos. Se intensificou porque existe uma disputa de facções no estado da Bahia, e ela se intensifica mesmo com o estado investindo em policiamento e em repressão há muitos anos. A gente não pode esquecer, por exemplo, que houve a chacina do Cabula já tem muitos anos. O estado já usava de muita força naquele período, para mim é evidente que sim.
O discurso político à época era: o policial na frente do bandido é o artilheiro na cara do gol. Se isso não é uma política repressiva de inimigo, eu não sei o que é. E, apesar disso, a violência cresceu, a violência perceptível cresceu. Por quê? Porque é um discurso politiqueiro, não resolve o problema real da insegurança pública. São outras as medidas que resolvem o problema da insegurança pública.
No nosso estado, esse discurso de reconhecimento facial, com certeza também está atrelado à tentativa de render uma imagem de maior controle sobre a insegurança. É notoriamente uma espécie de enfeite, é enfeitar o direito penal com o tecnossolucionismo. Você vende que a tecnologia vai resolver o problema, quando o problema é um problema de ordem infraestrutural, de condições de vida das pessoas.
Posso usar um parâmetro muito simples para quem estuda segurança pública. A Colômbia teve cidades cujo estado se assemelhava às condições que a gente vê na Bahia hoje. E a resolução disso não veio de maior uso de força pelo Estado, veio de investimento em condições de vida para as pessoas, investimento em educação, investimento em saúde pública, investimento em transporte público. É assim que se tira o poder dessas organizações, que são organizações paralelas à sistemática estatal.
O tecnossolucionismo é um enfeite, ele não resolve, ele não funciona. Se você bota um enfeite numa parede que está danificada, você não está resolvendo o problema da parede. é assim que eu vejo o que está acontecendo aqui.
Pedro Vivas: E claro, a gente está falando do caso da Bahia, porque é o caso que está sendo discutido hoje, é o caso que está mais em voga, mas o que preocupa é a multiplicação desse discurso em escala nacionaltambém, em diferentes estados, com diferentes entes, diferentes, enfim, diferentes agentes que podem se valer desse tecnossolucionismo.
Pedro Vivas: Vamos falar um pouco sobre responsabilização. Ana Gabriela, você vê alguma margem para que a Secretaria de Segurança Pública, tanto da Bahia como de outros estados brasileiros, possa ser responsabilizada pelo uso inadequado do reconhecimento facial?
Ana Gabriela Ferreira: A secretaria, não, porque ela não é um ente autônomo. O Estado poderia vir a ser responsabilizado, mas é muito improvável que sim. E aí a gente podia falar não só do Estado, Bahia, mas como você mencionou, todo o país passa por um período de endurecimento desse discurso punitivista e do tecnossolucionismo.
Não à toa a gente tem essa discussão agora em pauta no âmbito de Ministérios da justiça e segurança pública, né? A ampliação de ferramentas digitais como um modelo possível de controle que não vai resolver o problema, como a gente já sabe, mas que vai enfeitar o que está sendo feito.
O que acontece? Responsabilização estatal é um processo que é muito difícil de ser obtido. Então, é viável, sim, mas é improvável, especialmente pelas pessoas que são mais atingidas, que são as que estão em uma situação de vulnerabilidade maior, social, inclusive. É muito mais difícil ter uma condenação com base nisso do Estado e uma reparação efetiva.
A gente já tem situações em curso do Estado brasileiro ter sido responsabilizado por ofensas a direitos humanos nas questões criminais, como o caso das prisões. Se declarou estado de coisas inconstitucional e a CID condenou o Brasil pelo estado em que se encontravam as prisões.
Mas não teve uma responsabilização e uma reparação efetiva de lá para cá. Então é muito difícil pensar nisso do ponto de vista objetivo.
Pedro Vivas: A pergunta que vem logo em seguida é se existe alguma margem para que essa tecnologia implementada de reconhecimento facial seja bem aproveitada. Se sim, de que forma você vê que ela poderia ser bem aproveitada? E se não há margem, quais seriam as melhores práticas para ao menos garantir a conformidade regulatória e ética, ou ao menos atenuar os possíveis desmandos no uso dessa tecnologia de reconhecimento facial?
Ana Gabriela Ferreira: Todo o campo progressista, que é o campo do qual eu faço parte nos estudos e no viés político, entende que não há possibilidade do bom aproveitamento disso, porque as decisões relacionadas a TRFs em segurança pública são decisões políticas. [Elas] Estão contaminadas pelos vieses desde o início. A seletividade penal é uma decisão política.
Se você tem uma decisão que parte de um pressuposto de segregação, você não consegue otimizar nada que venha disso. A solução que a gente propõe, que a gente propõe inclusive através da campanha "Tire o meu rosto da sua mira", que é coordenada hoje pela Horrara Moreira, e que traz uma discussão para todo o Brasil. Como você falou, a gente está falando do caso da Bahia porque é um caso emblemático, mas não é o único lugar no Brasil onde se tem utilizado isso. E nisso, infelizmente, governos de esquerda e governos de direita tem se assemelhado. É difícil você votar na esquerda querendo uma proposta política progressista e você se deparar com isso, mas é o que tem acontecido.
A campanha tem pautado o banimento do uso de tecnologias de reconhecimento facial na segurança pública, o banimento absoluto. As TRFs não podem ser usadas de uma forma que o manejo delas não seja um manejo danoso, porque, como eu disse, elas são linguagens interpretativas e a prescrição de interpretação delas é uma prescrição racista. Se você começa com uma prescrição racista, qualquer coisa que seja interpretada vai tender ao racismo.
Se você começa com uma prescrição enviesada de gênero, qualquer coisa que seja determinada pela leitura dela vai ser enviesada de gênero. Então, não tem um aproveitamento possível, porque como eu disse antes também, não é uma questão matemática, é uma questão linguística. Pensar em TRFs, pensar em algoritmo é pensar em linguagem, em compreensão de mundo por interpretação.
Não é pensar em um ajuste matemático que resolveria o problema. Não vai resolver, não tem interesse político para isso.
Paulo Pirozelli: Eu gostaria de fazer uma pergunta relacionada com essa. Então, pensando talvez de uma maneira mais idealizada, mais abstrata, o que a gente precisaria ter para poder criar e utilizar uma tecnologia de reconhecimento facial que talvez estivesse menos sujeita a esse tipo de coisa?
Ana Gabriela Ferreira: Inicialmente a gente precisa desconectar o uso dessas tecnologias, das ferramentas de controle e punição. Porque se a gente não desconecta isso, a gente já começa pela incidência delas com o manejo que é voltado para determinados corpos.
Secundariamente, existem propostas no mundo de autores como Ruha Benjamin, que vai estar aqui no Brasil, inclusive, não sei se em outubro ou em novembro, mas vale a pena para quem puder ver, vai estar na UFAL, e que fala sobre isso, ela tem um livro chamado "Captivating Technology", em que ela pensa imaginários possíveis para as tecnologias e para a inteligência artificial, que não são imaginários punitivos e não são imaginários segregatórios.
Eu não tenho uma resposta pronta para isso, e eu brinco que eu sou tecnopessimista. E sou - eu sempre acho que quem maneja ferramentas que envolvem tanto investimento, maneja de um grupo muito pequeno [sendo uma barreira] para que essas ferramentas se tornem realmente democráticas. E a gente tem experiências do banimento sendo implementadas ao redor do mundo que ratificam a minha tese de que não é possível.
Mesmo quando se tenta trazer essas ferramentas para um campo mais acessível, elas são enviesadas. Mas tem pessoas que pensam diferente que são pessoas que eu admiro. O Tarcízio Silva também lançou um livro aqui sobre experiências em tecnologia que são experiências centradas em outras perspectivas de mundo.
Então, eu recomendaria esses dois autores como possíveis fomentadores da criatividade tecnológica para a gente. Se a gente quer pensar em um outro mundo, a gente tem que partir de outras premissas. Eles dois falam muito sobre isso e são autores que eu recomendo e que eu admiro bastante. Então, iria por aí.
Pedro Vivas: Um dos casos emblemáticos desse banimento é San Francisco. Mas, mudando um pouco os "ares" de Salvador para São Paulo, o Ministério Público de São Paulo, recentemente, recomendou a suspensão do consórcio Smart City, que foi criado para instalar milhares de câmeras de reconhecimento facial pela cidade de São Paulo. Dados produzidos pelo Panóptico, e que foram publicados pela Rede de Observatórios da Segurança, foram usados na justificativa da suspensão. Qual é a sua avaliação sobre o caso? Quais são os seus comentários acerca desse caso também em São Paulo? Nesse caso, há uma coisa que ainda não parece estar no horizonte de Salvador, que é a suspensão. Nesse caso da suspensão, o que é que chama a sua atenção?
Ana Gabriela Ferreira: A gente trabalhou no caso da suspensão em São Paulo, na ação que questionou a constitucionalidade da suspensão disso em São Paulo, e isso deu um tempo maior de respiro entre a implementação do Smart Sampa, que é o projeto de coleta de dados que envolvia a parceria entre o metrô de São Paulo e a Secretaria de Segurança Pública.
Houve um tempo maior para debates. Eu acho, inclusive, que o que separa São Paulo de Salvador hoje é um pouco disso. Como sustou o projeto, teve um tempo um pouco maior para debate lá. Não que a situação de segurança pública tenha outra perspectiva lá, ao contrário. Existe uma tendência à amplificação, oSmartSampa conecta, de uma forma ainda mais ampla, dados que são coletados em diversas esferas.
A perspectiva dele, o projeto dele é conectar dados coletados em escolas, que envolvem, como a gente, eu acho, mencionou antes, dados de crianças, né, são menores, tendo, possivelmente, coleta biométrica e monitoramento, envolve transporte público e envolve compartilhamento de entes privados com entes públicos sem termos de regularidade e responsabilização.
Inclusive, usa ferramentas de monitoramento de humor, que são um outro campo para ser discutido sobre a inteligência artificial e os impactos desses dados e como isso é altamente capaz de influenciar a comercialização dos dados coletados.
Tem uma tendência a macro-controle no projeto de São Paulo, que é como se ele pegasse todos os projetos do Brasil e reunisse em um só para o monitoramento e a segurança pública.
Não à toa, até o Ministério Público de lá, o Ministério Público é um órgão acusatório, costuma ter um viés, especialmente em São Paulo, costuma ter um viés bem punitivista, e é um órgão que se posicionou contrário. Porque a amplificação das possibilidades de controle lá é absurda com esse projeto do Smart Sampa. Então, a gente teria um monitoramento ainda maior do que o que já é feito em outros lugares.
Pedro Vivas: Caminhando um pouco para o final, Ana Gabriela, seria legal ouvir um pouco da sua pesquisa atual e como ela se relaciona com esse caso que a gente está discutindo. Dito isso, além das pesquisadorase dos pesquisadores que a gente já mencionou, quais são as pessoas ou autoras ou autores que estão debatendo isso com notabilidade e que você recomendaria?
Ana Gabriela Ferreira: Eu pesquiso hoje a ideia de necrotecnologia, de imaginários necropolíticos na construção de inteligência artificial. O que é que o meu projeto de pesquisa propõe? Que existe uma tendência de utilização das ferramentas de inteligência artificial, cada vez mais, para ampliar a segregação entre o mundo branco e o resto do mundo. E aí eu uso o conceito de mundo branco e de resto do mundo, que é usado por Achille Mbembe, quando ele fala do devir negro no mundo.
Eu não estou falando só de pessoas negras, eu estou falando da separação do mundo entre mundo de norte global e sul global, entre Europa e Estados Unidos e o restante do mundo, que não teve acesso à solidificação de capital por vias exploratórias, e que, ao contrário, foi explorado ou foi vítima de políticas de segregação desses regentes do mundo colonizatório, né?
Existe uma preocupação minha, que é definir se há uma intencionalidade ou não no desenvolvimento de ferramentas que segregam o mundo dessa forma. E isso vem das pesquisas que são feitas por pesquisadores e pesquisadoras que utilizam teorias críticas raciais, análise do discurso crítica e tecnologias em inteligência artificial, ética na inteligência artificial.
Eu vou citar alguns daqui, como eu já mencionei e você também já falou aqui, Pablo Nunes, do Panóptico, Bianca Kremer, que é do IDP, do Rio. Tarcízio Silva, que é da UFABC e tem um livro. Na verdade ele tem alguns livros, ele coordenou alguns livros e é autor de um que se chama "Racismo Algorítmico", recomendo muito.
Aí a gente tem a Horrara Moreira, que é coordenadora da campanha, "Tire o meu rosto da sua mira". A gente tem o José Vitor Neto, que é de Recife e é parte da Coalizão Direitos na Rede, da Coalizão Negra por Direitos, e pesquisa em racismo, algoritmo e discriminação também.
A gente tem a Ruha Benjamin, que escreveu, daí [a partir] da Perspectiva do Norte, mas sobre discriminação algorítmica, a [Timnit] Gebru e a Joy Buolamwini, que são co-autoras no artigo "Gender Shades", que eu acho que é uma das maiores pesquisas e elas têm um projeto comum que até hoje monitora, mapeia e denuncia as ferramentas discriminatórias utilizadas sob o viés, sob o pano de opacidade da inteligência artificial.
E eu poderia citar várias outras pessoas, tem muitas pessoas, gente, mas eu vou fazer o seguinte, eu vou passar para vocês um registro da "Coalizão Direitos na Rede", que é uma coalizão da qual eu faço parte hoje, que soma diversas organizações e coletivos e pessoas que fazem pesquisa nessas áreas.
Eu sou ponto focal do grupo de trabalho sobre inteligência artificial da coalizão hoje, e a gente está numa campanha muito grande para mobilização do Senado e do grupo que foi criado, o CTIA, que hoje pretende discutir o projeto de lei sobre regulação de inteligência artificial no Brasil.
Vale acompanhar e eu recomendo a vocês que sigam a coalizão nas redes. Eu tenho um Instagram que se chama o @professora.anagabriela, em que eu tento discutir também sobre isso. Sempre que eu posso eu coloco tanto referências quanto discussões atuais acerca de direitos humanos, não só sobre tecnologia, mas nos últimos tempos, como são o meu campo de pesquisa, muita coisa sobre isso.
E eu aconselho vocês a seguirem o Aqualtune, que também é um centro de pesquisa afro-referenciado e que busca denunciar quando esses sistemas vêm sendo implementados de uma forma que viola direitos.
Também indico o IRIS, que é o Instituto de Referência de Internet e Sociedade, lá em Belo Horizonte. Por que eu tô falando tantos? Pra tentar sair do eixo Rio-São Paulo. Porque, infelizmente, a gente sabe que muito pouca pesquisa é conhecida no país, não porque não tá sendo feita, mas porque, claro, no eixo Rio-São Paulo circula mais dinheiro, então a divulgação é maior.
Tem também o IP-REC, que é de Recife e é o Instituto de Pesquisa, que trabalha sobre direitos digitais e inteligência artificial. Então, eu recomendo todas essas possibilidades a vocês.
Certamente, vocês têm uma gama muito boa de referências para encontrar em qualquer desses espaços.
Pedro Vivas: Para finalizar, quais seriam suas considerações finais? Qual seria a sua mensagem para a comunidade de pesquisadores, para o público em geral, para os entes governamentais, diante de toda essa situação? Qual é a sua mensagem final dessa nossa conversa de hoje?
Ana Gabriela Ferreira: Minha mensagem final é que precisamos banir as tecnologias de reconhecimento facial na segurança pública e precisamos abrir o debate público para as considerações de pessoas que pesquisam no tema e que vem denunciando o sem fim de erros atentos.
Especialmente nesse momento, eu quero pedir a vocês que acompanham a gente que façam, junto com a sociedade civil, a pressão, junto ao grupo de trabalho de inteligência artificial para que a regulação considere essas perspectivas da sociedade civil e de pesquisadoras e pesquisadores que estão se debruçando sobre o tema.
Existe um grupo de trabalho já formado e a gente precisa que a sociedade civil participe disso. Então, pressionem os senadores e senadoras que estão na comissão através de emails, através de requerimentos de informação, porque isso tem sido tocado de uma forma muito acelerada e pode causar danos a todas as pessoas.
Ninguém espera ser preso por engano, gente. Ninguém espera. E o índice de erro dessas tecnologias é tão grande que qualquer um de nós aqui poderia ser preso por engano. Talvez Paulo menos. Paulo entra ali no 0,3%, mas eu e Pedro, por exemplo, não.
Então, fiquem atentos a isso e pressionem as pessoas que estão em posições de poder hoje. Vejam pesquisa, vejam informações. É essencial o acompanhamento disso pela sociedade.
(1) “UM PRESO POR MILHÃO”, por Paulo Nascimento no The Intercept Brasil. 31/07/2023. Disponível em: https://www.intercept.com.br/2023/07/31/reconhecimento-facial-na-bahia-custearia-um-hospital-e-mil-ambulancias-com-uti/
(2) “SSP usará imagens de câmeras privadas para investigar e prevenir crimes” Governo da Bahia. 10/03/2022. Disponível em: https://www.bahia.ba.gov.br/2022/03/noticias/seguranca/ssp-usara-imagens-de-cameras-privadas-para-investigar-e-prevenir-crimes/
(3) “Com mais de mil prisões na BA, sistema de reconhecimento facial é criticado por 'racismo algorítmico'; inocente ficou preso por 26 dias”, por Itana Alencar no G1. 01/09/2023. Disponível em: https://g1.globo.com/ba/bahia/noticia/2023/09/01/com-mais-de-mil-prisoes-na-ba-sistema-de-reconhecimento-facial-e-criticado-por-racismo-algoritmico-inocente-ficou-preso-por-26-dias.ghtml
(4) “San Francisco Bans Facial Recognition Technology”, By Kate Conger, Richard Fausset and Serge F. Kovaleski
May 14, 2019; New York Times. Disponível em: https://www.nytimes.com/2019/05/14/us/facial-recognition-ban-san-francisco.html \
(5) “O Panóptico é um projeto do Centro de Estudo de Segurança e Cidadania – CESeC que monitora a adoção da tecnologia de reconhecimento facial pelas instituições de segurança pública do Brasil. Desde 2018, o CESeC tem acompanhado os efeitos do uso de reconhecimento facial pelas polícias, revelando que cerca de 90% das pessoas presas com o uso dessa tecnologia eram negras.”. Disponível em: https://opanoptico.com.br/sobre/