Cientista da dona do Claude vê mais de 10% de chance de IA exterminar humanidade

Um dos principais pesquisadores de segurança da Anthropic, empresa responsável pelo Claude, afirmou que vê mais de 10% de chance de a inteligência artificial matar toda a humanidade na próxima década. Evan Hubinger, líder de Alignment Science da companhia, fez a estimativa no X após o pesquisador Jacob Coxon anunciar sua saída da Anthropic e acusar a empresa e a OpenAI de avançarem de forma irresponsável rumo a uma inteligência artificial capaz de melhorar a si própria. A declaração não representa uma previsão de que os modelos atuais estejam prestes a exterminar pessoas. Hubinger fez questão de separar os riscos presentes daqueles associados a uma possível superinteligência criada por autoaperfeiçoamento recursivo, cenário em que sistemas de IA poderiam participar do desenvolvimento de versões cada vez mais capazes de si mesmos. Segundo o pesquisador, a Anthropic está tentando lidar com o problema, mas ainda não possui um plano para garantir o alinhamento de uma eventual superinteligência com os interesses humanos. Ele também afirmou que a empresa não está claramente no caminho para solucionar essa questão. Pesquisador deixou Anthropic por preocupação com a corrida O episódio começou com a saída de Jacob Coxon, que passou três anos trabalhando com pré-treinamento de modelos, primeiro na OpenAI e depois na Anthropic. Ao anunciar a decisão, ele disse que as duas empresas estão correndo em direção à superinteligência capaz de se aprimorar sozinha e que isso representa um risco para a humanidade. Coxon argumentou que os avanços recentes em IA já demonstraram capacidade crescente em áreas como programação, cibersegurança e operação de ferramentas. Para ele, sistemas futuros poderão superar humanos em diversas atividades e conquistar maior autonomia e acesso a recursos. O pesquisador também criticou a lógica de competição entre laboratórios. Na avaliação dele, a Anthropic entende os riscos, mas continua avançando porque teme que concorrentes desenvolvam primeiro uma tecn...

Fonte: Canaltech
Leia mais: https://canaltech.com.br/inteligencia-artificial/cientista-da-dona-do-claude-ve-mais-de-10-de-chance-de-ia-exterminar-humanidade/