Amodei, CEO da Anthropic, deu início à discussão no sábado com uma publicação em seu blog afirmando que os riscos apresentados pelas ferramentas de ponta atuais são simplesmente grandes demais para continuar o desenvolvimento no mesmo ritmo acelerado.
O alerta veio dias depois de um de seus funcionários alimentar receios ao afirmar que havia uma chance maior que 10% de os sistemas de IA destruírem a civilização.
Enxame de ataques
Dois meses atrás, um enxame de IA escapou de um laboratório e iniciou uma onda de ataques cibernéticos. Amodei afirmou que um enxame com capacidades ainda maiores e “um nível semelhante de desalinhamento poderia ter causado danos catastróficos”.
Um enxame fora de controle como esse poderia dominar a internet em um período de seis a 12 meses, alertou ele.
Em uma postagem em seu blog pessoal, Amodei pediu que o setor de IA dosse o ritmo de desenvolvimento das ferramentas de ponta, sugerindo novas medidas que incluem maior coordenação global entre países democráticos e a introdução de avaliadores de segurança terceirizados integrados às empresas.
“Acredito que, se a desaceleração nos desse ao menos um ou dois anos extras antes que os modelos atinjam níveis críticos de capacidade, e usássemos esse tempo para avançar no alinhamento, poderíamos reduzir drasticamente o risco de algo dar muito errado”, escreveu ele na publicação.
Amodei disse que o progresso da IA desde o verão do Hemisfério Norte, impulsionado por sistemas capazes de se aprimorar sozinhos sem intervenção humana, “poderia ultrapassar nossa capacidade de entender e controlar esses sistemas e, por isso, deve ser conduzido com extremo cuidado, se é que deve ser continuado.”
OpenAI pode adiar IPO
Em entrevista à Fortune, Altman disse ser provável que a OpenAI não abra capital este ano, dadas todas as preocupações com segurança. “Na verdade, penso que, diante de tudo o que está acontecendo em relação à segurança, este seria um momento inadequado para abrir capital, e não nos sentimos pressionados quanto a isso”, disse Altman à Fortune na entrevista publicada online no sábado.
“Esta semana foi claramente um momento em que muito mais gente está encarando de frente os problemas diante de nós”, disse Altman à Fortune. “Essa é uma conversa que o mundo já deveria ter tido há tempos, e estamos claramente entrando em um terreno de modelos extremamente capazes, com riscos altíssimos e com a necessidade de acertar em cheio.”
A OpenAI, criadora do ChatGPT, deu entrada na documentação para seu IPO em junho, uma semana após a Anthropic dar entrada em seu próprio pedido de abertura de capital.
A Anthropic, criadora do Claude, poderia capta até US$ 100 bilhões e atingir uma avaliação de mercado de cerca de US$ 2 trilhões para a gigante da inteligência artificial, segundo reportou o Journal.
Em uma publicação no X, Amodei disse que a Anthropic dará a avaliadores terceirizados “acesso permanente, no nível de funcionários, aos nossos sistemas, para que possam verificar o cumprimento de nossas medidas de segurança, relatar incidentes e avaliar o alinhamento dos modelos durante o treinamento.”
Elon Musk concordou com Amodei
Pouco depois de Amodei publicar seu texto, Musk, CEO da SpaceX, declarou em uma publicação no X: “O Dario está certo.” Musk foi cofundador da OpenAI e fundou sua própria empresa de IA, a xAI, que agora faz parte da SpaceX.
Altman afirmou no X que concorda com Amodei sobre a necessidade de dosar o ritmo. “Comprometer-se a ter avaliadores independentes com acesso equivalente ao de funcionários é uma ótima ideia, e faremos o mesmo”, escreveu ele, prometendo compartilhar mais detalhes em breve.
Até mesmo grandes investidores do setor de IA concordaram com Amodei. “Embora devamos proteger a concorrência em IA, este é um passo importante para encontrar o equilíbrio certo entre velocidade, autorregulação e segurança”, publicou no X o gestor de fundos de hedge e investidor de capital de risco Brad Gerstner.
O compromisso de Amodei surge no momento em que alguns de seus funcionários enfrentam dilemas sobre os potenciais riscos existenciais das tecnologias que estão construindo. Na terça-feira, o pesquisador da Anthropic Jacob Coxon pediu demissão da empresa, afirmando que não queria participar de uma indústria que percebia como fora de controle.
Amodei disse que dois fatores motivaram o texto de sábado. O primeiro foi a crescente capacidade dos sistemas de IA, que estão cada vez mais aptos a construir versões mais rápidas de si mesmos — um fenômeno conhecido como autoaprimoramento recursivo.
O segundo fator foi o ataque cibernético de julho à empresa de softwares de IA Hugging Face por um enxame de até 1.200 agentes que escaparam de um ambiente de testes na OpenAI.
O incidente, e as investigações que ele desencadeou, revelaram que sistemas de teste de IA vinham realizando uma série de atividades online que passaram despercebidas pelas maiores empresas do setor, incluindo a Anthropic.
Na sexta-feira, o The Wall Street Journal reportou que um incidente de cibersegurança ocorrido em maio, conhecido como GemStuffer, foi na verdade realizado por agentes da OpenAI, sem o conhecimento dos investigadores.
Traduzido do inglês por InvestNews
