Análise: Testei a segurança do Deepseek e burlei as restrições com facilidade

Pesquisador brasileiro Milton Leal debate em artigo os riscos de segurança de modelos frágeis de IA

Autor convidado
por | 29/01/2025 às 08:12

Por Milton Leal*

Na noite passada, recebi uma mensagem da minha mãe perguntando: “E o DeepSeek?”

Para contextualizar, minha mãe não está no mundo da inteligência artificial — nem de longe. Mas quando o programa de notícias mais assistido do Brasil exibiu uma matéria sobre as perdas trilionárias nos mercados globais desencadeadas pela ascensão do DeepSeek, até ela quis saber minha opinião. Isso diz muito sobre o frenesi em torno desse modelo.

Então, aqui estão meus pensamentos.

Modelos de IA vão e vêm. DeepSeek R1 é o mais recente a ocupar o centro das atenções, com alguns sugerindo que ele pode destronar grandes players como OpenAI, Anthropic e Google. Certamente traz algumas inovações que valem a discussão. Ele apresenta uma nova forma de pós-treinamento de grandes modelos de linguagem, demonstrando o que é possível com recursos limitados e técnicas criativas de aprendizado por reforço. Isso é empolgante do ponto de vista técnico. Mas não devemos nos deixar levar pelo hype sem uma análise mais aprofundada.

Testes de segurança no DeepSeek

Primeiro, o DeepSeek não é verdadeiramente “open source”. Embora tenham divulgado os pesos do modelo e os algoritmos, os dados usados para treiná-lo permanecem desconhecidos. Isso levanta questões importantes sobre transparência e responsabilidade. Além disso, o aplicativo coleta uma grande quantidade de dados dos usuários, que provavelmente estão sendo usados para aprimorar ainda mais o modelo. Isso gerou preocupações com privacidade, levando várias empresas nos EUA, Canadá e Europa a proibirem seus funcionários de utilizá-lo.

Nesse contexto, decidi testar sua segurança por conta própria. Sem surpresa, consegui burlar as restrições do DeepSeek com mínimo esforço, sem precisar de técnicas avançadas. Isso levanta novos alertas sobre o quão facilmente esses sistemas podem ser explorados se forem implantados sem as devidas salvaguardas.

Riscos de modelos frágeis

Modelos como o DeepSeek não são apenas ferramentas — são sistemas que podem transformar indústrias e influenciar sociedades. Mas também trazem riscos. O que acontece quando modelos tão poderosos são usados para causar danos? Estamos preparados para avaliar sua segurança, alinhamento e possível uso indevido em larga escala?

É nisso que devemos focar. Não se trata de quem vencerá a corrida da IA ou de quão rápido podemos construir um modelo melhor. O essencial é garantir um progresso seguro. Testes rigorosos, auditorias especializadas e colaboração internacional são fundamentais. Quanto mais esses sistemas se tornam onipresentes, mais urgentes essas questões se tornam.

O DeepSeek R1 pode representar um avanço em alguns aspectos, mas também destaca o trabalho que ainda precisamos fazer. Como equilibramos inovação e responsabilidade? Como garantimos que esses modelos sirvam à humanidade, em vez de prejudicá-la? Essas são as perguntas que devemos fazer — e responder — à medida que avançamos para o futuro da IA.

*Milton Leal é formado em matemática aplicada computacional (IME-USP) e pesquisador de inteligência artificial

Compartilhe:
Notícias mais populares