Ferramentas de IA erram informações em resumos de notícias recentes, mostra BBC
Pesquisa reportou problemas como declarações incorretas, números errados e datas imprecisas nas notícias resumidas por IA
Teste realizado com quatro dos maiores chatbots de inteligência artificial (IA) da atualidade revelou “imprecisões significativas” na forma como eles resumem notícias sobre assuntos recentes.
De acordo com pesquisa revelada no último dia 11 pelo jornalista da BBC Imran Rahman-Jones, o ChatGPT da OpenAI, o Copilot da Microsoft e o Perplexity AI geraram resumos que continham informações distorcidas.
O estudo da BBC consistiu em pedir para os chatbots ChatGPT, Copilot, Gemini e Perplexity resumirem 100 notícias, para depois jornalistas especialistas nos temas abordados avaliassem cada uma das respostas. O resultado obtido foi que:
• 51% de todas as respostas da IA para perguntas sobre as notícias apresentavam problemas significativos de alguma forma.
• 19% das respostas da IA que citavam conteúdo da BBC continham erros factuais, como declarações incorretas, números errados e datas imprecisas.
Erros ao interpretar notícias
A BBC deu exemplos para lustrar algumas das imprecisões encontradas em seu estudo.
- O Gemini afirmou incorretamente que o NHS (Serviço Nacional de Saúde do Reino Unido) não recomenda o vaping como auxílio para parar de fumar.
- O ChatGPT e o Copilot disseram que Rishi Sunak e Nicola Sturgeon ainda estavam no cargo, mesmo depois de terem saído.
- O Perplexity citou erroneamente a BBC News em uma reportagem sobre o Oriente Médio, dizendo que o Irã inicialmente demonstrou “contenção” e descreveu as ações de Israel como “agressivas”.
Segundo o estudo feito pela BBC, o ChatGPT e o Perplexity foram os chatbots de inteligência artificial que menos apresentaram problemas significativos gerar o resumo das notícias. Já o Copilot e o Gemini foram as IAs que apresentaram maior inconsistência na precisão das respostas.
O diretor de programas para IA generativa da BBC, Pete Archer, diz que os veículos de comunicação “devem ter controle sobre se e como seu conteúdo é usado, e as empresas de IA devem demonstrar como os assistentes processam notícias, assim como a escala e o escopo dos erros e imprecisões que produzem”.
Em nota à BBC News, uma porta-voz da OpenAI declarou que a empresa segue aprimorando os resultados de pesquisa.
“Colaboramos com parceiros para melhorar a precisão das citações em linha e respeitar as preferências dos editores, incluindo a forma como aparecem nas buscas, gerenciando o OAI-SearchBot no arquivo robots.txt”, disse.
