IA tem mais de 10% de probabilidade de matar todos os humanos na próxima década, alerta arrepiante vem de fontes internas da Anthropic

O ex-pesquisador da Anthropic, Jacob Coxon, fez uma previsão alarmante sobre onde a corrida da IA pode eventualmente chegar. Em uma publicação em thread no X, ele falou sobre acreditar que existe uma possibilidade séria de que sistemas de IA cada vez mais poderosos possam representar uma ameaça existencial à humanidade. Apoiando sua avaliação, o Líder de Ciência de Alinhamento da Anthropic, Evan Hubinger, acrescentou um número, o que torna o nível de risco difícil de ignorar.

Ex-pesquisador da Anthropic, Jacob Coxon, levanta preocupações sobre o futuro da IA

Coxon pediu demissão da Anthropic após levantar preocupações sobre a direção da empresa e a corrida mais ampla em direção a sistemas de IA cada vez mais poderosos. Suas preocupações surgem em um momento em que grandes empresas de IA estão avançando agressivamente em direção a sistemas capazes de lidar com tarefas cada vez mais complexas com menos envolvimento humano.

A maior preocupação é o que acontece se os futuros sistemas de IA se tornarem capazes de se aprimorar ou operar com autonomia significativamente maior. Controlar esses sistemas pode se tornar muito mais difícil se as capacidades deles ultrapassarem a compreensão humana.

O alerta de Coxon também evidencia uma divisão crescente dentro da indústria de IA. As empresas estão competindo para criar modelos mais capazes, enquanto os pesquisadores continuam trabalhando em maneiras de manter esses sistemas seguros.

A estimativa de 10% torna o alerta ainda mais sério

O Líder de Ciência de Alinhamento da Anthropic, Evan Hubinger, apoiou a avaliação de Coxon e estimou que a IA tem mais de 10% de chance de matar todos os humanos na próxima década. Essa estimativa é uma avaliação pessoal de Hubinger, e não uma previsão oficial da Anthropic. Em uma publicação de acompanhamento no X, citando o relatório oficial de avaliação de riscos da Anthropic, Hubinger acrescentou que “o risco dos modelos atuais é baixo. O que me preocupa é a superinteligência decorrente do autoaperfeiçoamento recursivo, que, como dissemos, está acontecendo mais rápido do que pensávamos.” Você pode conferir a publicação abaixo:

No entanto, as preocupações de Coxon e a estimativa de Hubinger apontam para a mesma questão incômoda em torno da IA avançada.

Pesquisadores de segurança de IA passaram anos trabalhando em alinhamento, o que, em termos gerais, significa garantir que sistemas de IA poderosos se comportem de acordo com as intenções humanas. Dito isso, ainda não há uma solução garantida para controlar sistemas superinteligentes hipotéticos. A tecnologia pode avançar consideravelmente antes que os pesquisadores entendam completamente como gerenciar esses riscos.

A corrida da IA mostra poucos sinais de desaceleração

No início do boom da IA generativa, as preocupações se concentravam principalmente em desinformação, empregos e uso indevido. Hoje, os pesquisadores discutem cada vez mais consequências muito mais graves. Não está claro se esses alertas acabarão parecendo razoáveis ou extremamente pessimistas. Mas, à medida que o desenvolvimento da IA continua acelerando, quanto risco estamos dispostos a aceitar antes que a tecnologia se torne ainda mais poderosa?