Pedir para IA agir como especialista prejudica respostas, mostra estudo

IAs têm resultados piores em programação quando devem agir como programadores (ilustração: Vitor Pádua/Tecnoblog) Resumo Estudo da Universidade do Sul da Califórnia mostra que pedir para IA assumir papéis reduz a precisão em tarefas exatas como programação e matemática. Modelos de linguagem que seguem instruções, como o Llama e o Qwen, perdem precisão quando instruídos a atuar como “especialistas”. Abordagem ainda funciona para segurança e estilo de escrita, mas o estudo sugere uso mais estratégico de personas conforme o tipo de tarefa. Um dos truques mais populares na hora de interagir com ferramentas de inteligência artificial é o de pedir para que o modelo assuma o papel de um especialista. A técnica, no entanto, pode ter o efeito oposto ao desejado na hora de escrever códigos em alguns modelos de IA. Um novo estudo de pesquisadores da Universidade do Sul da Califórnia (USC), nos EUA, revela que adotar esse tipo de persona no prompt piora o desempenho de grandes modelos de linguagem (LLMs) em tarefas exatas, como aquelas que envolvem programação e matemática. A pesquisa, publicada no arXiv, repositório de estudos ainda não revisados por pares, concluiu que o impacto das instruções de interpretação de papéis depende do tipo de tarefa. Enquanto a técnica funciona bem para alinhar o modelo a regras de segurança ou estilos de escrita, comandos genéricos como “você é um desenvolvedor full-stack sênior” prejudicam a capacidade de a IA de resgatar fatos do banco de dados de treinamento. Dificuldade em memorizar os fatos Os pesquisadores utilizaram um teste padronizado usado pela indústria para avaliar a precisão dos modelos de linguagem, o MMLU. O estudo colocou à prova seis modelos, divididos entre arquiteturas focadas em seguir instruções — como o Llama 3.1 da Meta, o Mistral e o Qwen da Alibaba — e modelos destilados para raciocínio, como variantes do DeepSeek R1. Vale pontuar que os modelos utilizados na pesquisa foram lançados entre 2024 e o início de 2025. Ao resp...

Fonte: Tecnoblog
Leia mais: https://tecnoblog.net/noticias/pedir-para-ia-agir-como-especialista-prejudica-respostas-mostra-estudo/