Entrevista com Jörg Pohle, por Paola Cantarini

Esta entrevista foi realizada  originalmente em inglês em setembro de 2023.

Jörg Pohle é diretor responsável pelo Programa de Investigação "Actores, Dados e Infra-estruturas" e  gestor de projeto "Governação global da privacidade" do "Instituto Alexander von Humboldt para a Internet e a Sociedade": https://www.hiig.de/en/jorg-pohle/ 

Paola Cantarini: Poderia começar nos falando sua área principal de atuação, comentando seu trabalho atual relacionado à Inteligência Artificial?

Jörg Pohle: Sou cientista da computação por formação, com experiência em direito, ciência política e sociologia. Sou pós-doutorando no Alexander von Humboldt Institute for Internet and Society em Berlim, Alemanha, onde dirijo o programa de pesquisa "Data, Actors, Infrastructures: The Governance of data-driven Innovation and Cyber Security" (Governança da inovação orientada por dados e segurança cibernética). Meus interesses de pesquisa são bastante amplos e abrangem as interseções de minhas diferentes formações disciplinares, desde o campo da informática jurídica na interseção do direito e da ciência da computação, passando pelo campo de computadores e sociedade e a governança e o design de operações e sistemas de processamento de informações socialmente aceitáveis, até a teoria sociológica da digitalização e da sociedade digital. No programa de pesquisa, estamos nos concentrando muito em questões de governança - a governança das modernas tecnologias da informação, entre diferentes atores, não tanto no nível de indivíduos ou atores ou instituições individuais, mas no nível social. Entendemos a governança de forma semelhante à usada na ciência política, ou seja, como uma forma de negociar e regulamentar as tecnologias da informação, diferente da forma tradicional de governo de cima para baixo. Nós nos concentramos em como os diferentes atores se reúnem em um nível de olho no olho, como eles entendem as questões técnicas ou sociotécnicas, quais interesses e expectativas eles têm e quais riscos eles veem, e como tudo isso se junta quando eles negociam como os sistemas técnicos devem ser projetados, implementados e usados.

Para mim, assim como para a maioria dos cientistas da computação, a IA é um campo de pesquisa em ciência da computação, com muitas contribuições de outras disciplinas, como psicologia e ciência cognitiva, linguística e filosofia, estatística e lógica, e não uma coisa ou um produto. Os pesquisadores e engenheiros desse campo desenvolvem métodos e técnicas, dispositivos e sistemas de software e, embora alguns deles sejam publicamente chamados de "IA", nenhum deles é "inteligente", independentemente do que a inteligência realmente seja. Em vez disso, se há alguma inteligência envolvida, ela está com os pesquisadores e engenheiros, não com as máquinas ou nas máquinas.

Nem em minha pesquisa ou trabalho de projeto, nem quando leciono, faço distinção entre IA e não IA. De uma perspectiva consequencialista, ou seja, ao focar nas implicações sociais de tais sistemas e tentar evitar ou atenuar as implicações indesejadas, fazer uma distinção entre sistemas de IA e não IA não faz sentido - eles não são diferentes em suas implicações indesejadas nem nas maneiras pelas quais podem e devem ser evitados ou atenuados. Por outro lado, vejo que, no campo de pesquisa de que estamos falando, na pesquisa sobre Internet e sociedade, na pesquisa sobre digitalização, há uma crença generalizada de que os sistemas de IA são, de certa forma, inerentemente diferentes, qualitativamente diferentes de outros sistemas de informação. Isso não apenas cria mal-entendidos com relação às fontes de riscos ou outras implicações indesejadas, mas também leva a uma variedade de "soluções" propostas que, no final, não resolvem o problema ou os problemas, porque erram o alvo.

Paola Cantarini: A seu ver, haveria necessidade e daí, em decorrência,  também possibilidade de uma lei mundial que objetive a regulação da IA em termos globais, ainda que estabelecendo apenas patamares mínimos?

Jörg Pohle: Não tenho certeza da necessidade, e tenho ainda menos certeza da possibilidade. Acho que não há necessidade nem seria possível regulamentar a IA globalmente. Se for o caso, as abordagens para regulamentar as implicações indesejadas dos sistemas de TIC e das práticas de processamento de informações teriam de estar vinculadas a outros elementos dos sistemas sociotécnicos, ou seja, os sistemas sociais nos quais os sistemas de TIC e as práticas de processamento de informações estão inseridos. Esses elementos poderiam ser determinados atores que operam esses sistemas, por exemplo, agências de inteligência, determinadas relações sociais nas quais eles são usados, por exemplo, em relações de trabalho, determinadas pessoas ou grupos que são afetados, por exemplo, crianças, ou determinadas implicações que esses sistemas têm, por exemplo, sobre a democracia, o estado de direito ou os direitos fundamentais. Mas regulamentar os sistemas de IA é muito parecido com regulamentar o processamento de informações às quintas-feiras, ou seja, o critério para a aplicabilidade da regulamentação é um elemento ou uma característica de algum sistema ou de seu uso que não é o que determina as implicações nem a indesejabilidade das implicações. Nesse contexto, acredito que seria muito difícil encontrar padrões mínimos comuns significativos aos quais esses sistemas teriam que aderir, pois eles podem ser fundamentalmente diferentes em diferentes campos, em diferentes relações sociais, para diferentes atores ou com relação a diferentes usos ou práticas de processamento de informações. Assim, o resultado de uma análise abrangente poderia ser que algum sistema ou seu uso deveria ser regulamentado para alguns atores, mas não para outros, ou em alguns campos, mas não em outros. E esse é um dos motivos pelos quais não tenho certeza sobre uma necessidade geral e ainda menos sobre a possibilidade de uma lei mundial para regulamentar a IA globalmente. Além disso, nesse caso, os padrões mínimos resultantes podem acabar sendo tão baixos que seria melhor que não houvesse regulamentação alguma. O motivo é que esses padrões mínimos podem se tornar, na prática, também os padrões máximos, de modo que veremos uma corrida para o fundo do poço globalmente, mas especialmente com relação às regulamentações existentes em muitos países do mundo. E isso reforça ainda mais o que eu disse antes: A IA em si pode não ser amplamente regulamentada, mas os diferentes campos, as relações sociais, a proteção de determinados atores e assim por diante geralmente o são, independentemente de os sistemas de IA serem usados ou não. E essas regulamentações têm um impacto sobre o projeto, a implementação e o uso de sistemas de IA, mesmo que não se refiram a eles explicitamente.

Paola Cantarini: Como se daria o assim denominado "trade-off" entre inovação e regulação? Ou a regulação por si só iria impedir ou comprometer a inovação e a competição internacional? Segundo Daniel SOLOVE, no livro  Nothing to hide. The false tradeoff between privacy and security (Yale University Press, 2011), esta seria uma concepção equivocada. Poderia comentar sobre tal ponto?

Jörg Pohle: Não sei como funcionaria o chamado "trade-off" entre inovação e regulamentação. Em primeiro lugar, não sei o que se supõe que seja inovação. Sabemos, por meio da lei ambiental ou da lei de segurança automotiva, que uma regulamentação rigorosa pode levar a muitas inovações em um campo ou setor. Tanto a inovação quanto a regulamentação são multifacetadas. Depende muito do fato de a inovação significar "mais do mesmo", embora mais eficiente, ou algo novo, ou se o novo também é bom. Há muitas implicações. Só porque alguém projetou, fabricou e colocou no mercado algo novo, que é um robô assassino, isso não é necessariamente uma inovação, não é mesmo? E esse não era também o argumento daqueles que se opunham à abolição da escravidão ou do trabalho infantil? A função social da lei é conciliar interesses sociais conflitantes. Se a lei define o que deve ser considerado aceitável sob a perspectiva de interesses sociais conflitantes, então como e por que criar algo inaceitável é uma inovação? Você realmente quer competir com os EUA ou com a China com base nos padrões deles de Estado de Direito, direitos humanos e interesses nacionais - ou nos seus padrões? E algo semelhante se aplica à lei: o fato de chamarmos algo de regulamentação "forte" não diz muito sobre como a lei foi projetada, implementada e como é aplicada na prática. Por exemplo, a lei de proteção ambiental está, na verdade, impulsionando a inovação porque estabelece padrões e inclui mecanismos que aumentarão os padrões ao longo do tempo. Ela fornece incentivos para que os atores desse campo inovem, por exemplo, desenvolvendo e colocando no mercado mecanismos ou tecnologias de proteção novos e melhores. Assim, os atores podem usar a lei ao competir com outros participantes do mesmo setor. Tornou-se até mesmo um modelo de negócios desenvolver sistemas melhores, por exemplo, de filtragem de emissões, o que exige que outros participantes desse campo empreguem essas novas tecnologias, pois precisam provar que seus sistemas e mecanismos de proteção ambiental são de última geração. Portanto, aqueles que de fato inovam nesse campo têm uma vantagem competitiva. Portanto, a regulamentação muito forte nesse campo está, na verdade, impulsionando a inovação.

Portanto, depende muito, tanto do lado da inovação quanto do lado da regulamentação, se há uma compensação entre os dois ou um efeito de reforço mútuo. Depende muito do fato de a lei estabelecer ou não os incentivos certos para a inovação, e isso depende das especificidades de determinadas abordagens regulatórias e até mesmo de formulações específicas de determinadas disposições da lei. Portanto, temos que analisar especificamente como a lei foi projetada e redigida e como ela é implementada e aplicada no local.

Paola Cantarini: Tomando como exemplo paradigmático na área de proteção de dados do LIA - avaliação de legítimo interesse, previsto na LGPD e no GDPR da União Europeia como sendo um documento obrigatório de compliance, quando da utilização da base legal de tratamento de dados pessoais, qual seja, do legítimo interesse, onde há, por exemplo, uma análise/teste de proporcionalidade, vc. entende que seria possível a criação de um "framework" voltado à proteção de direitos fundamentais embutido em um  documento específico, a AIIA - Avaliação de Impacto Algorítmico? Isso no sentido de se estabelecer, após uma análise via ponderação, medidas de mitigação de riscos a tais direitos, que sejam adequadas, necessárias e proporcionais em sentido estrito.

Jörg Pohle: Sim, mas é bastante difícil. Todas as estruturas de avaliação de impacto que já vi são "reflexões" de alto nível sem uma base teórica sólida, metodologia controlada e resultados reproduzíveis, ou exercícios de branqueamento do tipo lista de verificação que carecem de exame substantivo. Ainda não vi critérios substantivos adequadamente operacionalizados e métodos de avaliação sólidos, unidos por algum procedimento controlado para fazer essa avaliação na prática e com as devidas proteções contra fraudes e lavagem de dinheiro.

A propósito: não há nenhum documento de conformidade obrigatório que deva ser criado quando se usa o interesse legítimo como base legal para o processamento de dados pessoais de acordo com o GDPR. Embora uma avaliação de impacto informal seja sempre obrigatória antes do processamento de dados pessoais para estar em conformidade com os artigos 24 e 25 e poder selecionar e implementar medidas de proteção adequadas e eficazes, não há nenhuma exigência até o momento de documentar formalmente os resultados dessa avaliação de impacto, e todas as diretrizes existentes nesse campo, inclusive as das autoridades de proteção de dados, simplesmente omitem essas questões. Somente para avaliações de impacto formais de acordo com o Artigo 35, a preparação, a execução e os resultados da avaliação devem ser documentados e fornecidos às autoridades, embora somente mediante solicitação. Teremos que ver como ficarão algumas disposições mais ou menos semelhantes na Lei de IA proposta sobre uma avaliação de impacto sobre os direitos fundamentais quando a lei for promulgada e depois na prática.

Paola Cantarini:  O que se entende por governança de IA? Qual a relação que você vê entre inovação, tecnologia e Direito?

Jörg Pohle: Eu não uso o termo "governança de IA". Na verdade, geralmente nem uso "IA", a menos que seja obrigado a usar o termo em um pedido de subsídio, em um relatório de projeto ou em algum anúncio de projeto. Do meu ponto de vista, tudo isso é software, e não há diferença significativa entre software com "IA" e sem "IA", especialmente em relação às suas implicações sociais.

De acordo com a forma como é entendida na ciência política, eu entendo "governança" como uma coordenação reflexiva entre entidades. No campo das modernas tecnologias e práticas de informação, trata-se da coordenação entre diferentes partes interessadas, de forma amplamente não hierárquica, com relação às condições, critérios, requisitos e expectativas para projetar, implementar, operar e conduzir o processamento de informações, a fim de garantir que o processamento e suas implicações sejam aceitáveis para todas as partes interessadas. No final, trata-se de maximizar os usos e as implicações desejados e, ao mesmo tempo, evitar, mitigar ou minimizar os indesejados.

Em geral, as tecnologias devem ser projetadas para servir à humanidade. Mesmo quando servem a interesses individuais, isso não deve ocorrer às custas dos interesses de outros, pelo menos não a menos que já tenhamos decidido como equilibrar os interesses ou quais interesses devem ter prioridade. Assim, as tecnologias que prejudicam os valores, princípios, prioridades, estruturas, procedimentos e mecanismos de proteção existentes, negociados e acordados socialmente, que são - ou deveriam ser - estabelecidos em lei, não devem ser desenvolvidas, colocadas no mercado ou usadas.

Paola Cantarini: Na Bienal de arquitetura de Veneza deste ano (2023) o tema do pavilhão brasileiro é a Terra e a ancestralidade, ou seja, a decolonização  e o Brasil (“De-colonizando o cânone”, pavilhão "Terra", do Brasil, na Bienal de Veneza). Seria possível fugir de tal lógica colonialista, também presente nas áreas de IA/dados?

Jörg Pohle: Há claramente uma lógica colonialista. Por exemplo, independentemente da história ou do contexto social, cultural, político ou econômico das sociedades, espera-se que todas elas se vinculem às concepções brancas, masculinas, europeias, cristãs (historicamente gregas ou romano-gregas), individualistas, liberais, burguesas e capitalistas dos direitos humanos e das liberdades individuais. De modo mais geral, nós - como em: "nós, pesquisadores", não apenas no Ocidente coletivo, mas também aqueles cuja participação nesse tipo de discurso reconhecemos no Ocidente, mesmo que venham do Sul Global - frequentemente atribuímos, de forma muito seletiva, características positivas e negativas a questões, conceitos e elementos originários do Ocidente coletivo e, em seguida, presumimos que todos terão de nos seguir nisso. Até mesmo o próprio discurso sobre colonialismo e decolonização no campo da digitalização é dominado por pesquisadores ocidentais, valores e conceitos ocidentais e "soluções" ocidentais. Por exemplo, "nós" nunca aceitaríamos que as pessoas, seja no Sul Global ou em qualquer outro lugar, pedissem para se livrar desses direitos e liberdades fundamentais, mesmo que isso fosse dito em termos de "decolonização". 

Além disso, seria necessário analisar todas essas questões de forma muito diferenciada, como em: o que significa que conceitos ou sistemas de informação ou dados ou práticas são "colonialistas" em uma circunstância específica, ou a que se refere a atribuição de "colonialismo" nesse campo?

A questão é, em muitos casos, o que aconteceria se, em vez do Ocidente ou do Norte em geral, países como a China assumissem o controle da definição ou determinação de valores, conceitos, tecnologias ou dados? Portanto, "decolonização" é um termo muito forte, mas também muito geral, mas se você observar os detalhes de como as pessoas o utilizam, elas o estão usando de forma muito seletiva. Tenho certeza de que muitas das pessoas que usam esse termo não ficariam felizes se o principal beneficiário do uso desse termo fosse a China... Pelo menos algumas das questões muito importantes nesse campo, como a exploração de pessoas em benefício de provedores de plataformas ou empresas de IA, seriam muito diferentes se estivéssemos falando de trabalhadores na África ou, como foi o caso há um ou dois anos, de prisioneiros em uma prisão finlandesa. Portanto, no final, temos que perguntar se essas são apenas formas diferentes de exploração, independentemente de onde ocorrem ou de quem é explorado, ou se há algo específico que poderíamos chamar de "colonialista" ou "colonialismo". Nesse último caso, a descolonização não resolveria a questão, mas o fim da exploração sim - no Norte Global e no Sul.

Paola Cantarini: Quais os principais desafios atualmente com o avanço da IA, considerando a polêmica com o ChatGPT e a  "moratória" solicitada em carta/manifesto assinada por Elon Musk e outros expoentes? 

Jörg Pohle: O principal desafio é não cair em descrições erradas, especialmente com relação a tecnologias individuais e, portanto, em locais errados para buscar soluções. Os desafios são basicamente os mesmos para entender, abordar e lidar com sistemas de "IA" e não "IA". Por exemplo, em muitos casos, o tipo específico de tecnologia, ou seja, se ela é "IA" ou não, não está mudando fundamentalmente a relação social subjacente na qual ela está inserida ou é empregada.

O pedido de uma "moratória" exige que nos perguntemos por que uma moratória de, digamos, seis meses nos ajudaria a resolver algum problema, mesmo que não tenhamos realmente abordado esses problemas com sucesso nos últimos seis meses ou mesmo nos últimos dois anos.