Seminário Regulação da Inteligência Artificial na União Europeia

Resumo e tradução do evento, por Guilherme Mattas Garcia, graduando em Filosofia e Pesquisador no Departamento de Sociologia da FFLCH-USP

Contextualização do evento: No dia 21 de março de 2024, a conferência “Regulação da Inteligência Artificial na União Europeia” realizada por Connor Dunlop, líder de políticas públicas europeias no Instituto Ada Lovelace e responsável por liderar e implementar a estratégia de influência na governança e regulamentação da inteligência artificial na Europa, deu continuidade a um ciclo de palestras que busca debater acerca de propostas de governança e regulação da inteligência artificial tanto ao nível nacional quanto internacional. A exposição aconteceu, de maneira online, nos canais do YouTube do Center for Artificial Intelligence (C4AI) e do IEA-RP. Além disso, o evento teve a presença de Bruna Castro, especialista em governança de IA e doutoranda em Direito e Tecnologia com sede em Helsinque, pesquisa responsabilidade de IA e soluções para danos causados por essas tecnologias. A abertura e condução da conferência foram feitas por Leonardo Peixoto Barbosa, Doutorando em Direito Econômico pela Universidade de São Paulo, que integra a equipe organizadora do evento.

Estrutura expositiva: Ao dar início Connor divide a apresentação em quatro blocos: 1. Introdução ao Instituto Ada Lovelace; 2. AI Act, legislação de referência mundial que regulamenta a IA nos países da União Europeia; 3. Responsabilidade sobre IA na Europa; E, por último, 4. Debate e Perguntas.

1. ADA LOVELACE INSTITUTE

Ada Lovelace era uma mulher na área da tecnologia, considerada uma das primeiras cientistas da computação. Ada, contribuiu com Charles Babbage (cientista e matemático) no conceito de um computador nos anos 1800. Portanto, no Reino Unido, ela tornou-se um ícone e é por isso que o instituto leva seu nome. O palestrante afirma ser um instituto independente iniciado em 2018, sediado em Londres e Bruxelas, que se preocupa em enxergar como a IA e os dados afetam os indivíduos e a sociedade. Atuando por meio da análise de mecanismos de responsabilidade no contexto de regulamentação e governança, concentrando-se em como a responsabilidade é atribuída a IA, quais ferramentas são utilizadas para fazer isso, e se elas realmente funcionam. O foco principal do trabalho de Connor é considerar como toda essa responsabilidade deve ser refletida em padrões, leis e políticas públicas. Outro ponto de concentração do instituto é compreender como a cadeia de valor da IA deve ser regulamentada, ou seja, o que um desenvolvedor e um implementador de software (deployer) podem fazer.

2. A UNIÃO EUROPEIA E O AI ACT

A estratégia digital da UE tem como objetivo reequilibrar o poder entre a grande tecnologia e a sociedade, atribuindo responsabilidade e prestação de contas àqueles que têm a capacidade e eficiência para assumi-las. UE e a agenda de regulamentações: Vale ressaltar que, anteriormente ao AI Act a UE conta com uma série de iniciativas de regulamentação em relação ao conteúdo e arquivos digitais, tendo em curso o Digital Services Act (lei de serviços digitais), que define regras comuns sobre as obrigações e responsabilidades dos intermediários nas plataformas; e o Digital Marketplaces Act (lei de mercados digitais), que busca combater comportamentos injustos de "gatekeepers". Além disso, o bloco possui o Data Act (lei de dados) e o Data Governance (lei de governança de dados), ambos tratam sobre o fornecimento de acesso equitativo aos dados por meio de mecanismos como compartilhamento e interoperabilidade1 de dados, inclusive para infraestrutura de dados como a nuvem. E, por último, o terceiro ponto, consiste no AI Act e o AI liability, que atribuem obrigações ex ante (antes do fato) em toda a cadeia de valor de IA e oferecem proteções ex post (pós-fato) para quando o dano for causado.

Etapas de desenvolvimento do AI Act: A proposta inicial foi realizada em abril de 2021 e finalizada em dezembro de 2023. Tal proposta contou com um grupo altamente especializado de acadêmicos e outros profissionais do setor, criado pela UE. Um fator crucial é compreender que o escopo da legislação foi demarcado como pertencente ao âmbito de segurança de produtos, o que fez com que ela não fosse concebida como uma legislação baseada em princípios ou que visasse apenas às proteções dos direitos fundamentais, e,no início, não era baseada em direitos, como o GDPR (General Data Protection Regulation - Regulamento Geral de Proteção de Dados). Ao ganhar maiores nuances, o AI Act introduziu a proteção dos direitos fundamentais a sua categoria de segurança de produtos, gerando certa inovação por tratar de algo, até então, inédito. Isto constituiu uma tensão durante todo o processo – compreender a regulamentação aos termos de um produto, mas também em função da proteção dos direitos fundamentais. Com base nesta abordagem de segurança do produto, buscaram uma abordagem baseada em risco e, pelo menos no começo do processo, se concentraram na pretensão de uso de um sistema de IA no momento em que ele é implementado.

Avaliação de risco: Conforme a lei, a pretensão de uso dos sistemas determinada pelo provedor ou pelo implementador de software indicaria o nível de risco em que o produto seria categorizado. Existem quatro níveis: a) proibido; b) alto risco; c) baixo risco; e d) risco sistêmico.

1 A interoperabilidade pode ser entendida como uma característica que se refere à capacidade de diversos sistemas e organizações trabalharem em conjunto (interoperar) de modo a garantir que pessoas, organizações e sistemas computacionais interajam para trocar informações de maneira eficaz e eficiente (https://www.gov.br/governodigital/pt-br/governanca-de-dados/interoperabilidade)

1. A) Práticas proibidas: Referem-se a coisas como a manipulação subliminar que cause danos; ferramentas usadas para gerar qualquer pontuação social, especialmente referentes ao acesso a serviços públicos; e a identificação biométrica, incluindo principalmente, a identificação utilizada pelas autoridades policiais, sendo a parte mais polêmica do AI Act. Existem isenções muito amplas para a aplicação da lei, por exemplo, se estiverem procurando uma criança que foi sequestrada ou um suspeito de terrorismo. Portanto, no papel, há uma proibição, mas, na prática, o uso não é estritamente proibido.
2. B) Práticas de alto risco: Essas práticas constituíram o foco principal de muita energia e atenção durante o processo legislativo. Os sistemas categorizados como de alto risco são o cerne da regulamentação e espera-se que capturem de 5 a 15% do mercado da UE. A maioria delas concentra-se no uso da IA no setor público, envolvendo o acesso a serviços públicos essenciais, como assistência social e judiciária, migração, saúde e infraestrutura crítica.
3. C) Práticas de baixo risco: Não estão sujeitas a requisitos muito rigorosos; são principalmente mecanismos de transparência, como, por exemplo, a rotulagem de produção gerada por inteligência artificial, que representa uma das obrigações de baixo risco. Geralmente não costumam ser muito onerosas.
4. D) Práticas de risco sistêmico: A categoria foi introduzida na escala de risco em função dos chamamos general-purpose AI models (modelos de IA de propósito geral), que não têm uma pretensão de uso de alto risco no escopo de segurança do produto, mas claramente podem representar um risco significativo substancial, especialmente se atuarem como uma espécie de nova camada de infraestrutura do mercado digital. Um exemplo disso são os LLM 's (large language models) como o ChatGPT-4.

Quais seriam as implicações da escala de risco na implementação dos sistemas? As empresas terão de implementar processos de gerenciamento de riscos e governança de dados - esses são dois dos mais importantes fatores e receberam bastante atenção durante o processo. Na prática, significaria para as empresas uma questão de documentação, diligência prévia, supervisão humana (em todo o processo de sistemas de alto risco), robustez, precisão e segurança cibernética. Questões como níveis aceitáveis de precisão para um sistema de IA em uma área de alto risco são questões de direitos fundamentais e não apenas questões de produtos. Esse foi um desafio durante o processo, ainda não encontraram a resposta, e é isso que usarão para operacionalizar o que chamam de órgãos de definição de padrões.

Qual seria a obrigação exclusiva do setor público? Seriam as avaliações de impacto em relação aos direitos fundamentais. Os implementadores de sistemas de IA do setor privado não precisam fazer isso. De acordo com Connor, isso poderia ser bom para mudar a mentalidade e cultura dentro do setor público, onde teriam que sentar e pensar sobre as repercussões para a sociedade quando optarem por usar um sistema de IA. Inclusive, poderia servir para mudar a cultura do setor de tecnologia, que pode acabar seguindo o princípio "move fast and break things” (mover-se rapidamente e quebrar as coisas).

 Classificação de general-purpose AI models: Para aqueles que apresentam riscos sistêmicos, são classificados usando um limite de computação baseado na

quantidade de computação utilizada para treinar o modelo. Eles optaram por um limite de 1025 FLOP’s2. Esse valor é um pouco menor do que o usado nos Estados Unidos. A ordem executiva dos EUA tem 1026 FLOP’s. O palestrante afirma que o instituto não apoia o uso de limites de computação como uma solução de longo prazo, pois apesar deles serem um bom substituto temporário para o que representa risco sistêmico, não são uma maneira confiável de medir quais modelos podem representar o maior risco devido aos ganhos de eficiência com o avanço algorítmico e da computação. No entanto, ainda acham que é útil porque pode dar aos reguladores uma ideia de que um modelo muito poderoso está chegando, como um modelo de nível GPT-4 ou GPT-5.

Obrigações de general-purpose models: Os modelos menores precisam apenas cumprir as obrigações básicas de transparência. Grande parte delas se concentra no tipo de documentação que eles devem fazer e no compartilhamento dessas informações com os criadores de aplicativos que se baseiam em seus modelos. Existe um grande foco em direitos autorais, eles devem publicar um resumo dos dados protegidos por direitos autorais usados para treinar o modelo. Os modelos com risco sistêmico, teriam que passar por procedimentos como avaliação, sendo testados em relação ao conjunto de riscos que o AI Act identifica. Muito disso está concentrado em casos bastante extremos, como riscos químicos, biológicos, e nucleares. Também terão de ter um procedimento para lidar com incidentes graves e para informar aos governos, além de um foco muito forte em segurança cibernética, dando aos governos alguma capacidade de acessar essas informações, pois, no momento, eles não têm muita noção do funcionamento.

Abordagem de IA de código aberto e isenções: Connor afirma que a ambição da UE é dar muita liberdade às pessoas que disponibilizam seus sistemas de IA sob uma licença gratuita e de código aberto. O que é muito importante porque algumas empresas afirmaram que estão abrindo o código-fonte de seus modelos de IA, como, por exemplo, a Meta com a Llama, mas os verdadeiros defensores do código-fonte aberto dizem que não é de fato um código-fonte aberto, pois o modelo em si, é licenciado. Para o verdadeiro código aberto, como a UE pensa, há uma isenção das obrigações do AI Act. Curiosamente, não há isenção para general models quando eles atingem 1025 FLOP's. Eles ainda teriam que cumprir as mesmas obrigações da lei, independentemente de como estão lançando o modelo, seja um modelo proprietário ou um modelo de código aberto.

Novidades estruturais da regulação de IA na Europa: Um aspecto interessante apontado pelo palestrante é a criação de um escritório centralizado de IA na UE. Algo diferente de como regulamentam o GDPR, onde a aplicação vem de reguladores descentralizados em todos os Estados-membros. O escritório deve contar com cerca de 100 pessoas para se concentrar na regulamentação de general-purpose AI models que representam riscos

2 “FLOP's” consiste em uma abreviatura para operações de ponto flutuante por segundo: uma unidade para medir a velocidade de um computador, com base em quantas operações matemáticas de um determinado tipo ele pode realizar em um segundo. (https://dictionary.cambridge.org/us/dictionary/english/flops). Este seria o foco principal do escritório, mas eles também ajudariam a coordenar investigações internacionais e atuariam como um ponto central onde especialistas poderiam interagir com o órgão regulador. Além disso, houve a criação de um fórum consultivo de várias partes interessadas, abrindo um caminho para que a sociedade civil, a comunidade acadêmica e outros especialistas tenham alguma influência na governança da IA.

Sandboxes Regulatórias: Os sistemas e modelos de IA estão se inclinando fortemente para sandboxes regulatórias. O objetivo das sandboxes é oferecer um ambiente controlado no qual, principalmente pequenas empresas e startups, possam testar sistemas de IA e obter informações conforme o AI Act antes de colocá-lo no mercado. Se bem executado, esse pode ser um mecanismo bastante benéfico, pois permite que os participantes menores entendam a conformidade sem ter uma grande equipe jurídica que os reguladores aprendam por meio dessa interação, melhorando suas habilidades.

3. RESPONSABILIDADE SOBRE SISTEMAS DE IA NA EUROPA

Duas peças fundamentais na responsabilidade – Product Liability Directive (Diretiva de Responsabilidade pelo Produto) e AI Liability Directive (Diretiva de Responsabilidade pela IA): A primeira atualiza as regras de responsabilidade existentes na UE para produtos, tornando-as aplicáveis a softwares e sistemas de IA, o que não era o caso anteriormente. No mercado da UE, há uma responsabilidade estrita por danos materiais causados por softwares ou sistemas de IA, significa que, se um indivíduo for prejudicado e os danos forem materiais, terá direito de reparação e indenização. A segunda (AI Liability Directive), reconhece que a IA pode representar desafios únicos para a responsabilidade devido à opacidade dos sistemas, em função disso, concentra-se na transparência e na capacidade de acessar informações quando um sistema causar danos.

Danos imateriais? Conforme a AI Liability Directive existe cobertura para danos imateriais, como preconceito e discriminação generalizados. Se isso acontecer, pode haver algum caminho legal para cobrir os danos, com foco não na responsabilidade objetiva, mas baseada na culpa. Neste caso, o indivíduo pode acessar as informações, criar um caso e levá-lo aos tribunais para provar a culpa do provedor do sistema de IA e reivindicar uma indenização. Isso continua em negociação, pois se trata de uma questão complexa que envolve a jurisdição legal dos Estados-membros da UE.

4. DEBATE E PERGUNTAS

Ao encerrar sua apresentação, Connor se dispõe a responder as perguntas

“Como você percebe o desafio da responsabilidade compartilhada ou a alocação de funções entre diferentes atores?” (feita por Bruna)

Resposta dada por Connor à primeira pergunta: A atribuição de responsabilidade é um dos desafios mais significativos, dada a complexidade da cadeia de valor. Observando o caso do ChatGPT, temos um bom exemplo, trata-se de uma tecnologia de uso geral, portanto, a princípio, não seria justo considerá-la de alto risco. No entanto, é inegável que profissionais como médicos ou advogados podem ser dependentes dessa ferramenta em seu ambiente de trabalho diário. Assim, embora não seja inerentemente de alto risco, ela certamente pode ser usada para fins de alto risco. Se esta tecnologia for disponibilizada por meio de acesso à API (Application Programming Interface – Interface de Programação de Aplicação) como o que a OpenAI oferece, eles manteriam controle significativo, uma vez que possuem todo o acesso aos dados e têm a capacidade de definir barreiras de proteção”.

Segundo o convidado, dentro dos cenários da legislação de segurança de produtos, faria sentido que o agente que implementa sistemas em um contexto específico assumisse toda a responsabilidade, pois é aí que a maioria dos danos ocorre. No entanto, ao considerar quem é responsável por mitigar esses danos, percebe-se que o implementador não tem controle absoluto para ter que lidar com eles. Outro ângulo de mercado que temos ponderado está relacionado ao posicionamento dos principais monopólios no ápice da cadeia de valor no domínio da IA. Nossa preocupação está nas pequenas e médias empresas e nas startups que compram dos fornecedores de modelos gerais, pois não têm poder para impor padrões elevados. Vale ressaltar que os monopólios, impõe responsabilidade e obrigações por meio de contratos. Portanto, se os governos não conseguirem distribuir a responsabilidade por toda a cadeia de valor, os efeitos no mercado podem não atingir o melhor resultado.

“Você já considerou a conexão entre negócios e direitos humanos em seu trabalho, alinhando a governança de IA com a responsabilidade social corporativa? Como você vê a interação entre eles ao abordar a alocação de responsabilidade?" (feita por Bruna)

Resposta dada por Connor à segunda pergunta: Trata-se de um esforço contínuo. Às vezes, é frustrante observar que, no setor de IA, há uma propensão a reinventar a roda e começar do zero. Embora reconheçamos a existência da responsabilidade social corporativa e acreditemos que há lições valiosas a serem extraídas de outros setores, como o automotivo, o de aviação e o de segurança cibernética, os profissionais de IA geralmente preferem embarcar em iniciativas totalmente novas. Nós nos esforçamos para destacar as ferramentas e práticas existentes, incluindo avaliações de impacto sobre os direitos humanos e avaliações de impacto algorítmico, que nem sempre são totalmente aproveitadas. Podemos observar um número crescente de investidores de capital de risco buscando orientação sobre práticas responsáveis de IA ao alocar fundos. "

Contextualização da terceira pergunta: Bruna constata que somos confrontados com o desafio de equilibrar os danos materiais com os danos aos direitos, questionando como podemos estruturar os “remédios” e a reparação em termos de aplicação privada dos direitos humanos, especialmente quando se trata de danos coletivos. Conforme a debatedora, estamos fazendo a transição do modelo tradicional de indivíduos que buscam recursos legais para violações de direitos humanos para lidar com as complexidades emergentes dos danos relacionados à IA, o uso difundido e generalizado da IA em várias facetas da vida acrescenta uma nova dimensão a esse desafio.

 Como podemos lidar com isso de forma eficaz para aprimorar os mecanismos de reparação e remediação na era dos danos causados pela IA? (feita por Bruna)

Resposta dada por Connor à terceira pergunta: Primeiramente, é preciso considerar o nível de proteção já existente nos Estados-membros da UE. Por exemplo, a Alemanha não oferece cobertura de danos imateriais e, portanto, se um grande Estado-membro da UE como esse não oferece cobertura de danos imateriais, é difícil que isso seja definido como uma regulamentação para todo o mercado, assim, a cobertura de danos imateriais dependerá do que já existe em cada Estado-membro. A capacidade de mover ações coletivas parece essencial, e a diretriz de IA, conforme seu escopo original, permite isso, estamos tentando ver se há uma maneira de atribuir alta responsabilidade a esses danos generalizados a muitas pessoas ao mesmo tempo, devido a uma falha sistêmica ou a uma decisão errada nesse setor.

Os países da América Latina estão começando a discutir regulamentação de IA, e a maioria delas talvez seja inspirada pela UE. Você acha que essa inspiração ou o " Brussels effect" é desejável, e o que você acha que é o principal desafio relacionado a isso? (feita pelo Chat)

Resposta dada por Connor à quarta pergunta: Penso que seria bom se tomassem isso como um marco, é uma base sólida em constante construção. Eu encorajaria outras jurisdições como o Brasil a, pelo menos, olhar, aprender e se basear no que a UE já fez. No entanto, acho que o desafio da segunda parte da pergunta é claramente o ângulo dos direitos fundamentais, outras jurisdições têm diferentes níveis de concepção desses direitos. Por exemplo, pode-se adotar o tipo de fusão que a UE fez com a segurança do produto e com direitos fundamentais, adotar uma abordagem plenamente baseada em direitos ou uma abordagem baseada em princípios, que é aquilo que os EUA estão fazendo. Acho que essa é a parte em que talvez não seja tão fácil mapear diretamente, mas sim, definitivamente a favor do uso das considerações de direitos fundamentais tanto quanto for viável em outras jurisdições.

Você vê o governo da UE, ou a própria UE, tentando expandir sua política regulatória de IA para outras regiões na América Latina, por exemplo, na Ásia, na África ou coisas do gênero? Você acha que se trata de uma política econômica da UE? (feita por Leonardo)

Resposta dada por Connor à quinta pergunta: Sim, temos a ISO, as normas internacionais, e, pelo que sei, há uma espécie de corrida entre as jurisdições para que suas normas sejam implementadas em nível internacional, pois assim elas se tornam o ponto de referência para todos. Acho que a UE em geral está pensando em como construir essas pontes e moldar parte do pensamento em outras jurisdições.

As tecnologias de uso geral estão cada vez mais concentradas em poucas empresas, e elas estão funcionando como guardiãs da tecnologia e de seu desenvolvimento e fornecimento. Então, como você vê a IA no futuro em termos de quem a controla, e você acha que os governos devem lutar contra esse tipo de controle econômico ou isso não é desejável? (feita por Leonardo)

Resposta dada por Connor à sexta pergunta: Creio que o governo deve intervir neste assunto. Se for deixado por conta própria, provavelmente veremos apenas três ou quatro provedores de modelos de IA de uso geral, porque é necessário grande capacidade computacional, mão de obra especializada, e acesso a dados proprietários em tempo real, e há apenas algumas empresas que podem ter isso, como Google, Microsoft, e talvez a Amazon. Poderemos ver todas as startups e pequenas empresas serem devoradas lentamente por essas grandes corporações. Vimos a Mistral na França, que recebeu investimentos da Microsoft, embora dissesse que era uma empresa independente. Mustafa Suleyman tinha sua própria empresa chamada Inflection AI, que era uma nova startup para competir, e então a Microsoft contratou ele e várias de suas equipes, e a Inflection basicamente não existe mais. Portanto, isso contorna muitas dessas questões antitruste. Precisamos de diversidade e controle dos sistemas de IA e, se deixados à própria sorte, essa é a direção que o mercado tomaria.

Contextualização da sétima pergunta: O estabelecimento de regras substanciais relativas, por exemplo, à precisão e à robustez da IA deixadas para essas organizações é um ponto fraco da regulamentação, porque a regulamentação vê isso basicamente como um padrão técnico, mas, como você mencionou, isso pode ter sérios impactos em termos de direitos humanos e outros direitos substanciais.

Você acha que esse é um ponto fraco da regulamentação da UE e da regulamentação de IA em geral, ou isso não é um problema? (feita por Leonardo)

Resposta dada por Connor à sétima pergunta: Sim, definitivamente acho que é um grande problema, a IA é única nesse sentido, dadas as implicações de direitos. O meio acadêmico e a sociedade civil, no processo de definição de normas da UE sobre IA tem sido mais aceito pela sociedade do que o normal, portanto, ainda será dominado pelo setor, mas tem havido um esforço consciente para ter uma representação mais diversificada. A UE também está criando coisas como um fórum de alto nível sobre padronização, na tentativa de pensar em mecanismos centralizados em que se possa agilizar a entrada de especialistas independentes nospadrões. Existealgumamaneiradeobteressacontribuiçãoapenassobrequestões-chave, como precisão, robustez, níveis aceitáveis de viés ou qualquer outra coisa, porque agora você teria que estar na sala de cada órgão de definição de padrões em cada Estado-membro, e a sociedade civil e a academia não podem fazer isso.