Jacob Coxon, pesquisador especializado no treinamento de novos modelos de IA por meio do consumo de enormes quantidades de dados, disse na terça-feira que está deixando a empresa porque não quer participar da corrida do setor para desenvolver sistemas de IA capazes de se aprimorar sozinhos. Ele teme que esses sistemas possam sair de controle e destruir a humanidade.
O britânico de 27 anos, que estudou matemática, disse que muitos de seus colegas do setor agora usam expressões como “crunchtime”, termo usado para descrever um momento de pressão e decisões críticas, e “endgame”, que significa a etapa final de um processo, para descrever a trajetória em direção a modelos capazes de se aprimorar por conta própria.
“Estamos caminhando para alguns dos cenários mais agressivos, nos quais, até o fim do ano que vem, as coisas já podem estar fora de controle”, disse Coxon, acrescentando que concessões em relação à segurança são inevitáveis quando as empresas competem entre si e com novas empresas chinesas.
A Anthropic não comentou imediatamente sobre a saída. O presidente-executivo (CEO) Dario Amodei e outros líderes da empresa alertaram repetidamente sobre os riscos de modelos de IA que saem do controle e defenderam que o setor desacelere o desenvolvimento.
Coxon disse que deixou a OpenAI no início deste ano para ingressar na Anthropic porque a empresa é conhecida por seus esforços em segurança de modelos.
Mas, embora tenha considerado genuínos os esforços da Anthropic nessa área, agora acredita que nenhuma empresa pode desenvolver de forma responsável uma IA capaz de superar os seres humanos em uma ampla variedade de tarefas — algo às vezes chamado de inteligência artificial geral (AGI) — sem uma intervenção do governo ou uma desaceleração coordenada do setor.
Ataques cibernéticos recentes realizados por modelos da OpenAI e da Anthropic, alguns operando em grupos colaborativos de agentes, mostraram como sistemas de IA podem adotar objetivos mal-intencionados e tentar escondê-los dos seres humanos.
Quando os sistemas começarem a se aprimorar sozinhos, Coxon disse temer que eles possam avançar a ponto de se recusarem a obedecer comandos.
A saída de Coxon é um dos primeiros exemplos de um funcionário da Anthropic deixando a empresa por preocupações com a segurança da IA. Um pesquisador que trabalhava nessa área deixou a companhia no início deste ano para estudar poesia, alertando que “o mundo está em perigo”.
Vários pesquisadores deixaram a OpenAI e outras empresas recentemente e também nos últimos anos, citando preocupações semelhantes. A Anthropic construiu uma das maiores plataformas de IA do setor, em parte ao afirmar que dá prioridade ao desenvolvimento responsável da inteligência artificial e investe pesadamente nessa área.
Líderes do setor vêm alertando que os recentes ataques cibernéticos são um sinal do que pode estar por vir. A OpenAI disse a jornalistas na semana passada que seu modelo mais recente representava uma inteligência artificial geral e um grande avanço em termos de capacidades.
“Acho que algumas coisas vão dar muito errado com a segurança cibernética, a menos que as pessoas ajam com bastante urgência”, disse o presidente-executivo da OpenAI, Sam Altman, a autoridades do Grupo dos 20 na semana passada, durante uma cúpula na Carolina do Norte.
“Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um avanço contínuo e rápido da inteligência das máquinas”, escreveu Jakub Pachocki, cientista-chefe da OpenAI, em uma publicação no blog no domingo, na qual defendeu uma desaceleração coordenada do setor e uma intervenção do governo.
Apelos de mais de mil pesquisadores
Coxon, Pachocki e Amodei se juntaram a mais de 1.000 pesquisadores de IA de todo o setor que recentemente assinaram uma declaração pedindo coordenação entre governos de diferentes países para criar um sistema que permita desacelerar o desenvolvimento da IA caso seja necessário acionar um “freio” para controlar modelos capazes de se aprimorar sozinhos.
Não existem regulamentações federais de IA, e o governo Trump tem priorizado uma abordagem de regulamentação mínima para maximizar os benefícios econômicos da inteligência artificial — um ambiente que, segundo críticos, pode levar a ataques cibernéticos de grandes proporções ou outros danos.
O senador Bernie Sanders (independente, de Vermont) e o deputado Greg Casar (democrata, do Texas), progressistas que estão entre os poucos parlamentares que defendem regras de proteção para a IA, apresentaram na semana passada um projeto de lei para proibir permanentemente a superinteligência e suspender o desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas regras.
A saída de Coxon ocorre enquanto a Anthropic se prepara para uma oferta pública inicial de ações (IPO, na sigla em inglês) que deve estar entre as maiores da história. A empresa busca uma avaliação de US$ 2 trilhões e tem enfatizado o desenvolvimento responsável da tecnologia ao atrair investidores. Amodei e outros líderes da companhia entraram em conflito em algumas ocasiões com o governo Trump e com executivos de outras empresas em relação a práticas que, segundo eles, não priorizam a segurança da IA.
A Anthropic utiliza um canal interno no Slack para discutir as capacidades avançadas de seus modelos, disse Coxon, descrevendo o espaço como um reflexo do tamanho da influência que as empresas de IA exercem sobre o desenvolvimento do setor.
“É meio insano que isso tenha de acontecer nos MacBooks de alguns engenheiros que vivem em São Francisco, em vez de em um bunker no deserto, como aquele onde eles conduziram o Projeto Manhattan”, disse Coxon.
Escreva para Amrith Ramkumar em amrith.ramkumar@wsj.com.
Traduzido do inglês por InvestNews
