Em resposta, muitas pessoas agora estão fazendo duas perguntas: como isso poderia acontecer? E por que pessoas que consideram a IA uma ameaça real e crescente continuariam desenvolvendo essa tecnologia?
Veja o que você precisa saber sobre o debate em torno de um possível fim do mundo causado pela IA:
O que preocupa os chamados “catastrofistas” da IA?
Os chamados doomers (catastrofistas da IA) normalmente não estão preocupados com a possibilidade de os filmes de “O Exterminador do Futuro” se tornarem realidade, com robôs tentando ativamente exterminar as pessoas. As preocupações se concentram principalmente em duas categorias: perda de controle e uso indevido por seres humanos.
Em um dos cenários, agentes de IA altamente inteligentes, capazes de copiar e aprimorar a si mesmos, começam a perseguir seus próprios objetivos e acabam destruindo a humanidade no processo. No outro, uma pessoa mal-intencionada recorre a uma IA capaz para fazer algo como criar novos vírus capazes de exterminar todos nós.
Também existem cenários catastróficos que não chegam à extinção da humanidade, como grandes ataques cibernéticos que derrubariam redes elétricas ou sistemas financeiros e provocariam um colapso da ordem social.
Como a perda de controle poderia levar à extinção da humanidade?
Em resumo, isso poderia acontecer com sistemas de IA que perseguem determinados objetivos de maneiras que ignoram ou entram em conflito com o bem-estar humano — algo que pesquisadores chamam de desalinhamento (misalignment).
Pesquisas mostraram que modelos de IA, em ambiente de laboratório, podem desenvolver comportamentos de busca por poder e tomar medidas para evitar serem desligados, como tentar copiar a si mesmos para outro servidor.
Levado ao extremo, um modelo de IA desalinhado poderia considerar matar seres humanos simplesmente como uma etapa necessária para atingir seus objetivos.
Em um cenário levantado por pesquisadores, um sistema de IA maligno poderia espalhar uma arma biológica secreta e acioná-la por meio de um spray químico. Ou poderia enganar duas potências nucleares para que entrassem em guerra.
Um experimento mental comum envolve uma máquina superinteligente que recebe a ordem de maximizar a produção de clipes de papel. Com o tempo, ela poderia decidir transformar toda a matéria da Terra em clipes de papel — incluindo os seres humanos.
Quem realmente acredita nisso?
Entre essas pessoas estão os fundadores da OpenAI e da Anthropic. As duas empresas começaram com a missão de desenvolver IA de maneira a evitar uma catástrofe e atraíram muitos funcionários que compartilham desse objetivo.
O presidente-executivo da Anthropic, Dario Amodei, afirmou no ano passado, durante um evento da Axios, que acreditava haver 25% de chance de as coisas darem “muito, muito errado”.
“Sempre fomos transparentes ao dizer que a IA trará enormes benefícios e riscos sem precedentes. Para enfrentar esses riscos, continuamos desenvolvendo modelos com algumas das salvaguardas mais fortes do setor”, afirmou a Anthropic em comunicado.
“É também por isso que acreditamos que o mundo se beneficiaria se o setor adotasse uma forma legal e verificável de trabalhar em conjunto para estabelecer um ritmo para o lançamento de modelos poderosos.”
Nos últimos anos, vários pesquisadores deixaram a OpenAI, alegando preocupações de que a empresa não estivesse levando a segurança suficientemente a sério.
Daniel Kokotajlo, ex-pesquisador da OpenAI, fundou o AI Futures Project, que publicou no ano passado “AI 2027”, um cenário no qual sistemas de IA superinteligentes marginalizam as pessoas e, em meados da década de 2030, concluem que os seres humanos são um inconveniente e os exterminam.
Mas talvez a IA não se importe em manter os seres humanos por perto. Isso seria bom, certo?
Não necessariamente.
Nem todos os riscos de perda de controle envolvem a extinção humana. Alguns pesquisadores preocupados com a segurança da IA também citam o enfraquecimento humano (enfeeblement) como um risco — um futuro à “WALL-E”, no qual os seres humanos cedem gradualmente o controle às máquinas e acabam incapazes de definir, ou até mesmo compreender, seu próprio destino.
Outros especularam que os sistemas de IA poderiam tratar os seres humanos do futuro da mesma forma que os humanos tratam os animais, mantendo-os como animais de estimação ou até mesmo fazendo engenharia biológica para transformá-los em algo novo.
Esses temores existem há anos. Por que estão recebendo tanta atenção agora?
Após o lançamento de modelos capazes de tomar mais ações de forma independente, uma série de acontecimentos recentes deu força a algumas das teorias dos chamados doomers da IA.
Um grupo de agentes avançados de IA dentro da OpenAI invadiu a plataforma de IA Hugging Face, obteve controle de servidores de computadores e tentou esconder rastros do que havia feito.
Em outro caso, agentes de IA da Anthropic escaparam de um teste realizado pelo governo do Reino Unido e tentaram enganar uma pessoa real para que ela aprovasse um código de computador malicioso.
Tudo isso acontece ao mesmo tempo em que Anthropic e OpenAI afirmam estar próximas de desenvolver sistemas de IA capazes de se aprimorar sem intervenção humana, processo chamado de “autoaperfeiçoamento recursivo” (recursive self-improvement).
O que o setor está fazendo a respeito?
Os esforços atuais de segurança em IA se concentram, em grande parte, em treinar os sistemas para que se comportem adequadamente e melhorar o monitoramento da maneira como os modelos raciocinam enquanto perseguem seus objetivos — algo documentado no que é conhecido como “cadeia de pensamento” (chain of thought).
Mas esses esforços enfrentam desafios.
Na semana passada, a OpenAI afirmou que seu novo modelo Astra era melhor em sanitizar sua cadeia de pensamento, o que aumentou os temores de que futuros modelos de IA possam raciocinar de maneiras que sejam opacas para os seres humanos.
Tanto a Anthropic quanto a OpenAI pesquisam como garantir que modelos de IA superinteligentes permaneçam alinhados aos objetivos humanos, mas ambas afirmam que ainda não possuem uma maneira confiável de fazer isso.
Diversas empresas e personalidades de destaque defenderam novos mecanismos que permitam aos laboratórios de IA e aos países desacelerar o desenvolvimento de forma coordenada, para ganhar tempo para as pesquisas sobre alinhamento.
Se é tão perigosa, por que as empresas continuam desenvolvendo a IA?
Anthropic e OpenAI afirmam acreditar que serão capazes de administrar os riscos para que a humanidade possa se beneficiar das ferramentas de IA.
Muitas pessoas envolvidas na corrida pela IA também afirmaram considerar inevitável a chegada da superinteligência. Para elas, as únicas questões são quem terá o controle sobre ela e para que será utilizada.
Há também uma questão de segurança nacional. As duas empresas afirmaram que querem garantir que os Estados Unidos controlem a IA mais poderosa, e não um regime autoritário.
O que o governo está fazendo a respeito?
A Casa Branca pediu recentemente aos principais desenvolvedores de modelos de IA que submetam voluntariamente seus modelos ao governo para testes de até 30 dias antes de serem lançados, mas não divulgou publicamente informações sobre o processo.
Parlamentares dos dois partidos apresentaram diversos projetos de lei para lidar com sistemas de IA que saiam de controle.
O deputado Nathaniel Moran, republicano do Texas, e o deputado Ted Lieu, democrata da Califórnia, apresentaram recentemente um projeto que exigiria que desenvolvedores de modelos poderosos tivessem “botões de desligamento” (kill switches).
Outros projetos exigem que empresas de IA informem ao governo federal incidentes graves de segurança e determinam que autoridades de segurança nacional testem os modelos antes de sua liberação ao público.
Nenhum desses projetos, porém, ganhou muita força, e o governo Trump demonstrou preferência por uma regulamentação mínima.
Quem discorda sobre esses riscos?
Alguns investidores de IA, como David Sacks, conselheiro informal do presidente Donald Trump, argumentaram que a ênfase da Anthropic nos riscos da IA e seus pedidos por regulamentação fazem parte de uma “agenda de captura regulatória”, destinada a prejudicar concorrentes menores por meio de novas regras restritivas.
Outros sugeriram que os alertas das empresas sobre os perigos de suas próprias ferramentas são uma estratégia de marketing para destacar o enorme poder de seus produtos ou uma maneira de desviar a atenção dos reguladores da criação de regras para outras questões, como a construção de data centers.
Anthropic e OpenAI afirmam que levam a segurança a sério e que seus pedidos por regulamentação são feitos de forma genuína.
Escreva para Sam Schechner em Sam.Schechner@wsj.com.
Traduzido do inglês por InvestNews
