Google erra uma em cada 10 respostas nos Resumos de IA, aponta estudo

Análise aponta falhas nos Resumos de IA do Google (imagem: Vitor Pádua/Tecnoblog) Resumo Estudo indica que os Resumos de IA do Google erram cerca de 10% das respostas, mesmo após ganhos de precisão com o Gemini 3. A pesquisa, feita pela Oumi a pedido do The New York Times, mostra que os resultados passaram a citar com mais frequência fontes inconsistentes. Análise também aponta o uso recorrente de conteúdos frágeis e risco de manipulação. Como parte de sua estratégia de IA, o Google lançou os Resumos de IA, passando a fornecer respostas diretas com base em conteúdos da web. A proposta é agilizar a busca, mas pode comprometer a precisão. Uma análise da Oumi, startup focada no desenvolvimento e treinamento de modelos de IA, encomendada pelo The New York Times, indica falha em cerca de uma a cada dez pesquisas. Em escala, isso pode representar dezenas de milhões de erros por hora, já que estamos falando de mais de cinco trilhões de buscas por ano. O estudo usou o benchmark SimpleQA, comum no setor, e avaliou 4.326 buscas em dois momentos: outubro de 2024, com o Gemini 2, e fevereiro de 2025, após a atualização para o Gemini 3. Mais preciso, porém menos verificável Exemplo de “Visão Geral de IA” do Google (imagem: Gabriel Sérvio/Tecnoblog) Os resultados comprovaram uma melhora de um modelo para o outro: com Gemini 2, os Resumos de IA acertavam 85% das vezes; com Gemini 3, esse índice subiu para 91%. Entretanto, a evolução apresentou uma nova fragilidade. Em outubro, 37% das respostas corretas continham links de apoio que não sustentavam completamente a informação apresentada. Com o Gemini 3, essa proporção disparou para 56%. Além disso, das 5.380 fontes analisadas, Facebook e Reddit figuram como a segunda e quarta fontes mais citadas. Quando os resumos estavam corretos, a rede social da Meta era citada em 5% dos casos; quando estavam errados, esse percentual subia para 7%. O próprio Google publicou resultados internos semelhantes. Segundo o NYT, na análise da empresa, o...

Fonte: Tecnoblog
Leia mais: https://tecnoblog.net/noticias/google-erra-uma-em-cada-10-respostas-nos-resumos-de-ia-aponta-estudo/