Inovação e IA Generativa: um problema à vista?
Por Leonardo Barbosa e Paola Cantarini
Há algo de estranho, e ao mesmo tempo novo, na comunidade científica.
Para alguns filósofos do conhecimento científico, o progresso e o avanço da ciência ocorrem de modo endógeno: conhecimento científico acumulado é o passo necessário para saltos qualitativos e descobertas verdadeiramente significativas. Trata-se de uma visão de realidade que se aproxima à acepção de progresso via sucessivas quebras de paradigmas científicos - esses tidos como realizações científicas universalmente reconhecidas em determinado tempo e espaço (Kuhn, 2012). Isaac Newton teria dito, certa vez, que “se vi além, é porque estava posicionado sobre os ombros de gigantes”.
Ocorre que, em um contexto como tal, a diversificação, difusão e aprimoramento da prática científica em todo o mundo observada atualmente deveria gerar mais revoluções científicas, e não menos.
De fato, se concebermos o progresso científico como um processo singular, dialético e ascendente, descobertas científicas significativas deveriam, em tese, ser alcançadas cada vez mais rapidamente. Se concebido como um processo ramificado e multidirecional, a mesma conclusão permaneceria válida: com maior profusão de estudos e acúmulo de “saber científico”, mais ramos de conhecimento existiriam, cada qual provendo seu processo de acúmulo transformador.
No entanto, não é isto que tem ocorrido. Ao menos é o que mostra o interessantíssimo estudo publicado por Michael Park, Erin Leahey e Russel J. Fund na Nature em 2023 (Park et al., 2023), que aponta que a profusão de materiais acadêmicos tem impactado a capacidade de pesquisadores ampliarem o universo de sua pesquisa, tornando-as menos diversas, baseadas em trabalhos mais antigos e repletas de autorreferências.
Qualidade vs. quantidade
Motivados por uma provocação quase-filosófica acerca do paradoxo entre a profusão de pesquisadores acadêmicos e pretensa produção científica, Park, Leahey e Fund se deparam com evidências de que em nossos tempos, as revoluções científicas, as quebras de paradigma, têm, a bem da verdade, diminuído.
Algumas evidências de tal incongruência repousam em estudos que indicam (i) a queda de produtividade científica em campos como semicondutores e farmacêutica; (ii) reduzido impacto disruptivo acerca em artigos e patentes, que estariam cada vez menos conectadas com áreas do conhecimento ligadas à inovação; e (iii) até mesmo maior intervalo entre o ano da descoberta científica e da data da definição de um novo nobelista, sugerindo que as contribuições científicas hodiernas não são tão impactantes como no passado.
Os autores desenvolvem um método próprio para constatar tal realidade. Tal método parte do pressuposto de que publicações científicas mais relevantes podem ser funcionalmente classificadas em “consolidadoras” e “disruptivas”. Enquanto publicações consolidadoras são importantes para aprimorar determinada corrente de conhecimento e sedimentar proposições teóricas e empíricas, descobertas disruptivas impulsionam a ciência para campos antes desconhecidos, atraindo a necessidade de um novo ciclo de consolidação.
A partir dessa formulação teórica, os autores desenvolveram um índice denominado “CD5”, o qual será baixo caso o perfil do trabalho seja consolidador, ou alto, caso o perfil seja disruptivo.
A intuição por trás desse índice é que se um artigo for disruptivo, os trabalhos publicados nos cinco anos seguintes terão menor tendência a citar seus predecessores, pois as ideias anteriores já não encontram (tanto) lugar em um novo paradigma que se forma. Contrariamente, um trabalho será consolidador, se artigos posteriores o citarem em conjunto com seus predecessores. E a constatação é de fato implacável: analisando uma amostra expressiva de dados (n> 27 milhões), os autores demonstram que de 1945 a 2010 a queda no índice CD chega a 100%, existindo um comportamento descendente similar em todas as áreas do conhecimento.
Em que pese a medida de queda de disrupção de produções acadêmicas apontar para dados agregados (considerados em seu conjunto total), há, naturalmente, a ressalva de que o efeito descendente observado na pesquisa não sugere que no período não tenham ocorrido descobertas científicas transformadoras pontuais.
Para tentar formular uma hipótese sobre o motivo de tal queda de produtividade, os autores buscam antes descartar outras possíveis justificativas para os dados encontrados, tais como diminuição da qualidade da pesquisa científica de modo geral; exaurimento de descobertas científicas “mais simples”, com exigência de maiores esforços para descobertas realmente novas; vieses nas bases de dados analisadas; ou até mesmo alterações paulatinas de práticas científicas de citações.
Diante de tal quadro, a hipótese central do artigo, documentada e embasada por indícios extraídos de uma série de regressões e inferências estatísticas, é que a expansão do conhecimento – por meio do aumento de publicações científicas e patentes – pode levar pesquisadores e cientistas a focar em parcelas mais “estreitas” de conhecimento, levando, assim, à limitação sobre o conhecimento efetivo utilizado para determinada pesquisa.
Indícios dessa tendência seriam a queda na diversidade de trabalhos citados com a citação mais frequente do mesmo ciclo de trabalhos paradigmáticos; maior profusão de autorreferências; e aumento da idade média dos trabalhos referenciados. A conclusão, portanto, é que práticas acadêmicas relacionadas à citação de trabalhos menos diversos, mais velhos e de autoria própria, estão diretamente correlacionadas com a queda da disrupção científica.
Esses achados permitem inferir que, por mais que seja necessário acúmulo científico para seu progresso, de nada parece adiantar quando a produção acadêmica deixa de se engajar com um campo mais amplo de conhecimento
Questionamentos sobre práticas científicas
O trabalho de Park, Leahey e Fund nos faz refletir sobre práticas científicas atuais, em especial se a massa crescente de conhecimento gerado é de fato significativa e nos levará a um destino melhor.
Algumas perguntas fundamentais, para as quais não temos resposta, são:
- Será que faz sentido estimular a produção acadêmica por meio de metas de publicação que não levam em consideração a efetiva contribuição científica?
- Qual é o efeito da maior profusão de trabalhos acadêmicos de diferentes qualidades em veículos e meios online sobre a qualidade da pesquisa?
- É possível conciliar a necessária democratização ao saber e fazer ciência com a manutenção de descobertas com impactos mais significativos?
- Será que há um viés em nossos tempos atuais no aparecer e na velocidade (e por que não, ansiedade?) de pesquisa, do que em sua capacidade de contribuição e profundidade?
- Será que este texto não é apenas mais uma gota nesse oceano?
Entra a IA generativa
O artigo que serve como motivação para esta nota foi escrito em 2023, ao tempo em que a Inteligência Artificial (IA) já estava se consolidando como o grande tema das rodas de debate científica e política em todo o mundo. Mais importante, nesse momento iniciava-se a disponibilização do Chat GPT 3.0, que passaria a pautar importante parcela das discussões em torno do desenvolvimento da IA, seus impactos na sociedade e os esforços necessários para que instituições políticas e sociais pudessem compreender e direcionar o desenvolvimento dessa tecnologia.
Nesse contexto – e ainda a se confirmar – é possível que o avanço ocasionado pela IA, em especial a IA generativa, seja um salto qualitativo no conhecimento humano e computacional. Referido salto, por óbvio não foi capturado pelo estudo Park, Leahey e Fund, cujas análises encerram-se em 2010, mas tampouco pode sugerir que viveremos necessariamente novos tempos de revoluções científicas generalizadas.
Aqui vamos focar apenas na IA generativa, ferramenta capaz de gerar conteúdo coerentes de produções tipicamente humanas – texto, imagem, códigos computacionais, dentre outros – que, por mais que sejam aparentemente criativos e inéditos, são na verdade o resultado de um complexo modelo de predição de conteúdo baseado em prompts iniciais. Tais predições são realizadas em cadeia, associando termos e expressões prováveis de aparecerem no contexto do prompt dado e do encadeamento de conteúdo que vai sendo contruído pela IA. Ao final, o output é geralmente é reprocessado para garantir coesão textual e ausência de conteúdo ofensivo e não responsável (UNESCO, 2023).
Riscos associados à produção acadêmica
Para a UNESCO, o uso indiscriminado da referida ferramenta pode trazer alguns riscos para atividades educacionais e, de modo mais amplo, para a produção científica.
Dentre os riscos apontados há a possibilidade de que a fonte de conhecimento se torne extremamente centrada em informações providas pela IA generativa, a qual para além de estar sob o controle de poucos players globais, primordialmente de natureza empresariais, igualmente não passam de ferramentas que reproduzem textos prévios com algum grau de coerência e sem, de fato, acrescentar nada novo. A bem da verdade, em razão de suas características preditivas, são capazes de reforçar e reiterar valores presentes nos centros de desenvolvimento de tal tecnologia.
Outro relevante risco é o fato de que os outputs não estão sujeitos à revisão acadêmica independente, em razão de limites relativos ao nível de transparência concedidos ao público sobre tais ferramentas de IA por motivos de propriedade industrial. Da mesma forma, a IA generativa não contribui para a consolidação e difusão de conhecimento quando (a)utiliza conteúdo sem consenso ou autorização de seu autor; e (b) não realiza as necessárias referências.
Outra questão relevante, com impactos sistêmicos mais pronunciados, é a possibilidade de o debate acadêmico se tornar ainda mais poluído e ruidoso pela profusão ainda mais intensa de conteúdo gerado pela IA com aparência de precisão científica e coerência. Ocorre que, como discutido acima, a profusão de conteúdo do tipo “mais do mesmo” pode ser um problema ao avanço científico, dificultando progressivamente a diversidade e abrangência da pesquisa. Ademais, a coerência de sistemas de IA generativa é meramente formal. Ou seja, trata-se, por assim dizer, de constructos internamente coerentes que, assim como postulados sofistas, podem levar a conclusões indevidas e presunçosas, ou a verdadeiras alucinações.
A produção de conteúdo científico é compatível com as regras da IA Generativa?
Regras - no sentido amplo - podem assumir natureza formal (Lei) e informal (convenções, normas sociais e outras práticas que influenciam o comportamento humano) (Haldar, 2018). Seu conteúdo cogente, normativo, no entanto, não se dá em razão de sua mera existência, mas, sim, em razão da aptidão de determinados comandos deônticos serem transmitidos e reiteradamente reproduzidos socialmente, pela cultura e/ou linguagem (Hodgson, 2006).
Segundo pesquisadores que buscaram avaliar as condições determinantes para o desenvolvimento de sistemas de IA generativa, há certas condições determinadas pela linguagem computacional associada a tais sistemas que determinamsuas regras de funcionamento e desenvolvimento. Conforme estudo de Kaplan et. al. (2020), sistemas transformativos (ou transformes)baseados em linguagem, por exemplo, possuem sua performance atrelada à escala dos seguintes fatores: (i) tamanho dos parâmetros de modelos de IA; (ii) tamanho da base de dados; e (iii) capacidade computacional.
O estudo aponta ainda que, desde que um desses elementos não opere como um gargalo aos demais, a performance do sistema de IA não sofrerá perdas (ou retornos decrescentes de performance). Por exemplo, para que não haja penalidades à performance, toda vez que o tamanho do modelo de IA aumentar em 8 vezes, é necessário que a base de dados seja incrementada em ao menos 5 vezes.
Dito de outra forma, o estudo de Kaplan et. al. afirma que (i) há uma relação de co-dependência não linear entre as variáveis base de dados, capacidade computacional e tamanho do modelo; (ii) e que essa relação sugere que a performance de modelos de IA generativos baseados em texto (LLMs) é altamente dependente da escalabilidade desses elementos.
Essa, portanto, seria a regra da IA generativa: sem escala, não há performance; e se desejamos mais performance, é necessário mais escala.
A questão que se coloca diante desse cenário é até que ponto desejamos a referida escala?
Com efeito, imaginando um cenário em que performance, capacidade computacional e tamanho de modelos sejam variáveis que tendem ao infinito, qual seria o conteúdo relevante (i.e., base de dados) para a expansão desses sistemas? No limite, poderíamos imaginar uma situação em que modelos de IA generativo passassem a operar não mais sobre conteúdos e formatos de linguagem gerados por humanos, mas, sim, conteúdos gerados artificialmente por máquinas.
Será que esse tipo de ferramenta terá alguma relevância, ou será desejável, do ponto de vista de geração de conteúdo científico?
Haveria, assim, um impasse?
Da mesma forma como o desenvolvimento da tecnologia em questão ainda se encontra em estágios iniciais, os riscos pincelados acima também são exploratórios e, em parte, hipotéticos. A importância dessa reflexão, contudo, não deve ser relevada. É que com ela caminha importantes ensaios de prognoses que motivam mentes e governos a fim de regular e conformar o conhecido e desconhecido da IA generativa.
De modo geral, quando a regulação e governança da IA é discutida, torna-se indissociável conciliar a por vezes falaciosa tensão entre potenciais riscos a direitos e liberdades fundamentais, de um lado, com a manutenção do incentivo à inovação e avanço tecnológico. De fato, a regulação, quando bem-feita e quando existente um propósito social claro, pode ser concebida como um veículo à promoção da inovação (Mazzucato et al., 2023). Ademais, a prosperar algumas das provações - também exploratórias - desse texto, poderá não existir espaço para inovação científica relevante se não houver freios e maturidade no uso da IA Generativa.
Nessa linha, a proposta da UNESCO (2023) para endereçamento dos riscos do uso da IA generativa na educação, e, de modo mais amplo, no meio acadêmico, é multifacetada, abrangendo necessariamente esforços de autoridades governamentais (desenvolvimento legislativo, coordenação institucional, definição de zonas cinzentas e de perigo), da agentes da indústria (adoção de práticas éticas e responsáveis de desenvolvimento, aprimoramento e oferta de aplicações de IA), de usuários institucionais e individuais sobretudo por meio de sua postura crítica acerca da utilização de tais ferramentas. É passada a hora de iniciar os referidos debates.
Referências
Haldar, A. (2018). The “Inner Logic” of Institutional Evolution: Toward a Theory of the Relationship between Formal and “Informal” Law (SSRN Scholarly Paper 3416913).
Hodgson, G. M. (2006). What Are Institutions? Journal of Economic Issues, 40(1), 1–25.
Kuhn, T. S. (1970). The structure of scientific revolutions ([2d ed., enl). University of Chicago Press.
Mazzucato, M., Schaake, M., Krier, S., & Esntsminger, J. (2022). Governing artificial intelligence in the public interest.(2022–12; IPP Working Paper Series). UCL Institute for Innovation and Public Purpose.
Park, M., Leahey, E., & Funk, R. J. (2023). Papers and patents are becoming less disruptive over time. Nature, 613 (7942).
UNESCO. (2023). Guidance for generative AI in education and research (p. 48) [UNESCO Digital Library].