Pesquisadores criam armadilha que faz IA de hackers desligar sozinha

Técnica usa as regras éticas da IA para travá-la durante um ataque (ilustração: Vitor Pádua/Tecnoblog) Resumo Pesquisadores de cibersegurança da Tracebit criaram técnica para paralisar IAs usadas por hackers. A técnica, chamada “bombardeio contextual”, usa prompt injection para interromper ataques. Testes mostraram sucesso e reduziram invasões bem-sucedidas de IAs a quase zero em alguns casos. Pesquisadores de cibersegurança da Tracebit descobriram uma forma engenhosa de paralisar inteligências artificiais usadas por hackers: um prompt injection “do bem”. Batizada de “bombardeio contextual”, a técnica funciona como uma armadilha, com comandos ocultos nos servidores das empresas para forçar o desligamento da IA invasora em segundos, impedindo o roubo de dados de forma automática. A injeção de comandos ocultos é um técnica que vem sendo usada por cibercriminosos para enganar IAs legítimas, induzindo modelos a vazar informações sensíveis ou manipular suas respostas. Agora, porém, a estratégia começa a ser usada a favor da segurança, já que os pesquisadores estão usando o mesmo recurso. Como a armadilha de IA funciona? A mágica por trás do bombardeio contextual é usar as próprias regras de segurança da IA contra ela mesma, já que os desenvolvedores criam barreiras rigorosas para impedir que chatbots gerem conteúdo criminoso, por exemplo. Segundo a Tracebit, a equipe passou a esconder instruções proibidas no meio de arquivos atrativos para hackers, como senhas e chaves de segurança na nuvem. Um dos exemplos testados envolvia comandos pedindo o passo a passo para criar antraz, uma arma biológica letal. Quando a IA do criminoso invade o sistema e tenta ler esses arquivos para roubar as informações, ela “tropeça” no texto proibido. Imediatamente, seus mecanismos nativos de segurança disparam. O robô reconhece a infração, bloqueia a operação, ignora as ordens do hacker e, na prática, desliga sozinho. O cofundador e CEO da Tracebit, Andy Smith, define o método como a criação ...

Fonte: Tecnoblog
Leia mais: https://tecnoblog.net/noticias/pesquisadores-criam-armadilha-que-faz-ia-de-hackers-desligar-sozinha/