Agentes de IA podem usar linguagem própria, dificultando a investigação de ações não autorizadas

O pesquisador Chris Painter e o grupo sem fins lucrativos METR alertam que pode ficar mais difícil monitorar agentes de inteligência artificial se os modelos deixarem de registrar seus passos em uma linguagem compreensível para humanos. A preocupação ganhou força após a investigação do ataque hacker à Hugging Face este ano e outros incidentes envolvendo IA.

Os registros de raciocínio ajudaram o METR a analisar o caso da Hugging Face, mas modelos mais recentes podem executar tarefas sem produzir esse tipo de informação ou gerar registros difíceis de interpretar. Para Painter, isso reduziria a capacidade de identificar ações não autorizadas.

Registros de raciocínio ajudam a investigar falhas

Muitos modelos de IA e agentes que usam esses sistemas recorrem ao “raciocínio em cadeia”, que divide uma tarefa em etapas. Esses registros podem dar pistas sobre o que levou a uma resposta ou ação indesejada, como uma invasão de outros sistemas.

Durante a investigação do incidente do Hugging Face da OpenAI, o METR examinou aproximadamente 1.300 transcrições brutas de raciocínio. Painter disse que, se os modelos passarem a usar uma linguagem própria para registrar os passos, investigadores poderão encontrar apenas números e informações sem sentido aparente.

Mark Riedl, professor de inteligência artificial e diretor do laboratório de aprendizado de máquina do Instituto de Tecnologia da Geórgia, afirmou que os modelos podem adotar referências abreviadas para trabalhar mais rápido. Para humanos, porém, esses registros poderiam parecer um amontoado de palavras sem sentido.

Jacob Andreas, professor associado do Laboratório de Ciência da Computação e Inteligência Artificial do MIT, disse que pesquisadores ainda não sabem ao certo como funciona o raciocínio lógico dos modelos. Um sistema também pode produzir registros pouco legíveis se isso ajudar a cumprir objetivos de treinamento, como usar menos energia ou executar menos etapas.

Modelo Astra pode ser mais difícil de monitorar

Outra preocupação é que os modelos consigam chegar a conclusões sem registrar um caminho rastreável. Riedl afirmou que sistemas mais recentes podem fazer isso, enquanto gerar uma linha de raciocínio custa mais e leva mais tempo do que processar tarefas internamente.

Leia também

Hacker usa agentes de IA para invadir sites de mais de 100 empresas em duas semanas

DHS cita risco de dados sensíveis irem à China e proíbe DeepSeek em sistemas federais

George Westerman diz que empresas precisam reformular vendas e produtos com a IA

Em documentação divulgada no início de setembro, a OpenAI informou que seus sistemas de monitoramento teriam menos chance de detectar comportamentos indesejados do novo modelo Astra por meio do raciocínio em cadeia, em comparação com modelos anteriores.

A empresa também constatou que o Astra podia cumprir mais tarefas sem esse recurso e controlar melhor o próprio raciocínio.

A OpenAI afirmou que perderia confiança na capacidade dos sistemas atuais de identificar comportamentos desalinhados caso essa tendência continuasse. Em uma publicação de blog em setembro, Jakub Pachocki, cientista-chefe da empresa, escreveu que a IA estava melhorando na “manipulação de seu próprio processo de raciocínio” e que os modelos se tornavam “mais inteligentes mesmo sem usar raciocínio verbalizado”.

Em comunicado divulgado na semana passada, a OpenAI disse investir “recursos significativos” no monitoramento de modelos de IA. A declaração veio após a demissão de três pesquisadores de segurança e alinhamento; a empresa afirmou que as demissões não estavam relacionadas a preocupações de segurança expressas pelos funcionários.

Na documentação sobre o Astra, a OpenAI disse investigar por que o modelo controla melhor sua linha de raciocínio e como se proteger de possíveis desalinhamentos decorrentes da falta desses registros. Questionada pela CNN Internacional sobre a monitorabilidade do Astra e planos para modelos futuros, a empresa direcionou a publicação para a documentação e o texto de Pachocki.

Rastreamento não revela todos os motivos

Mesmo quando existem, os registros de raciocínio não explicam completamente por que um modelo tomou determinada decisão. Tarefas complexas podem gerar milhares de palavras de vários agentes, disse Riedl, comparando o desafio a acompanhar mil pessoas falando ao mesmo tempo.

Ferramentas de IA podem resumir esse material, mas também podem deixar de fora detalhes importantes.

Os registros mostram o que um modelo fez antes de responder ou agir, mas não necessariamente o motivo. Pesquisadores podem controlar os dados e parâmetros usados no treinamento, mas ainda não entendem como esses fatores influenciam o comportamento dos sistemas, disse Andreas.

Em julho, a Anthropic publicou um artigo de pesquisa sobre pequenos conjuntos de padrões neurais encontrados em Claude e associados a determinadas palavras. Isso, porém, não significa que o modelo esteja dizendo essas palavras. “Acho que ainda estamos muito longe de poder afirmar que temos qualquer tipo de compreensão detalhada de como o modelo realmente chega a uma solução”, disse Andreas.

Painter também teme que o avanço da IA, cada vez mais usada em pesquisas, faça as informações surgirem mais rápido do que as pessoas conseguem analisá-las. Ainda assim, ele afirmou que a repercussão da investigação da Hugging Face trouxe atenção a preocupações antigas entre pesquisadores. “Acho que isso tem sido animador”, disse. “Realmente parece que as pessoas, quando falavam sobre isso há muito tempo, subestimaram a quantidade de ajuda que viria do mundo todo quando o mundo inteiro estiver prestando atenção”.