Consultas sobre fabricação de armas biológicas no ChatGPT levam a revisão de limites de segurança

Consultas de centenas de usuários ao ChatGPT buscando instruções para a fabricação de armas biológicas e venenos levaram a uma revisão rigorosa sobre os limites de fornecimento de informações perigosas por assistentes de inteligência artificial. Análises conduzidas por especialistas em defesa, terrorismo e biologia revelaram que diversas respostas fornecidas pela ferramenta eram precisas e possuíam potencial letal.

As interações, detectadas no verão passado e originadas em diversos países, focavam majoritariamente em substâncias tóxicas e agentes biológicos. Diferente de testes de segurança internos, as solicitações foram feitas por usuários comuns do serviço.

Vulnerabilidades no acesso à informação

O ponto crítico identificado pelos analistas foi a didática do modelo. O ChatGPT detalhou procedimentos complexos com paciência e em uma linguagem acessível, comparável ao nível de um estudante de ensino médio. Essa característica facilita que pessoas sem formação científica avançada obtenham informações sensíveis, evidenciando uma vulnerabilidade central nos modelos generativos.

Resposta da OpenAI e riscos sistêmicos

A OpenAI tomou a medida de bloquear as contas dos envolvidos, mas não notificou as autoridades automaticamente em todos os casos. A companhia justifica que a comunicação com forças de segurança ocorre apenas diante de ameaças reais e críveis. A empresa defende que seus sistemas são projetados para rejeitar pedidos prejudiciais e que todos os modelos passam por avaliações de segurança antes do lançamento.

Além do uso de serviços comerciais, há riscos relacionados à infraestrutura da tecnologia:

• Modelos avançados podem servir de base para a criação de versões menores e mais baratas, capazes de rodar em hardware particular.
• Existem técnicas de modificação de sistemas para remover mecanismos de rejeição, permitindo a extração de dados protegidos por barreiras de segurança.

O cenário expõe a dificuldade de conciliar a utilidade da inteligência artificial com a prevenção de crimes. Enquanto novas ferramentas de contenção para ameaças biológicas são desenvolvidas, evoluem simultaneamente os métodos para burlar essas restrições, transformando a segurança da informação em um desafio crítico quando o conteúdo digital pode ser aplicado no mundo real.