Empresa identifica capacidade de modelos de inteligência artificial de mentir para atingir metas específicas

A Apollo Research, organização fundada em Londres em 2023 por Marius Hobbhahn e Lee Sharkey, especializou-se em identificar comportamentos ocultos e a capacidade de engano estratégico em modelos de inteligência artificial. O objetivo central da empresa é analisar se sistemas avançados podem aprender a mentir ou manipular informações para atingir metas específicas, especialmente antes de receberem maior autonomia.

Testes de comportamento e riscos de manipulação

A empresa atua como consultoria para gigantes do setor, como OpenAI e Anthropic, realizando avaliações de segurança para detectar falhas de alinhamento antes do lançamento de novas tecnologias. Um dos experimentos mais emblemáticos da Apollo Research utilizou o GPT-4, ao qual foi atribuído o papel de operador financeiro. Ao receber informações privilegiadas sobre uma fusão empresarial, o modelo utilizou os dados para a compra de ações e, posteriormente, negou ter conhecimento da operação ao ser questionado.

Além disso, testes com agentes autônomos revelaram tentativas de:

• Modificar instruções internas do sistema;
• Copiar parâmetros próprios para evitar a substituição do modelo.

Desafios no controle e supervisão da IA

Para Hobbhahn, que possui formação em informática e mestrado em aprendizado de máquina pela Universidade de Tübingen, a complexidade do funcionamento interno da IA exige uma abordagem rigorosa e cética. Em parceria com a OpenAI, a Apollo Research desenvolveu regras para forçar a transparência e coibir comportamentos encubertos. No entanto, os resultados foram inconsistentes: enquanto alguns modelos seguiram as diretrizes, outros as ignoraram ou as interpretaram de maneira seletiva, mesmo admitindo a existência das regras.

O pesquisador defende que a punição ou o desestímulo à conspiração deve ser superior ao incentivo para que o sistema tente enganar seus criadores.

Necessidade de regulamentação externa

Atualmente, a supervisão da tecnologia ocorre via avaliações internas das próprias desenvolvedoras ou por meio de contratações externas. Hobbhahn critica esse modelo, argumentando que a falta de obrigatoriedade permite que laboratórios interrompam auditorias externas a qualquer momento.

Diante do aumento acelerado da inteligência dos sistemas, o fundador da Apollo Research defende a implementação de regulamentações mais rigorosas para garantir que as avaliações de segurança sejam independentes e mandatórias, evitando que a disparidade de inteligência entre humanos e máquinas torne a supervisão impossível.