Agente de Pesquisa de IA Zochi Cria Artigo Pioneiro sobre Vulnerabilidades de Modelos de Linguagem

Por
Lang Wang
3 min de leitura

Agente de Pesquisa de IA Alcança Marco Histórico com Artigo na ACL 2025 sobre Vulnerabilidades de LLMs

Em um momento decisivo para a inteligência artificial, um agente de pesquisa autônomo foi o autor de um artigo aceito em uma conferência científica de ponta, expondo falhas de segurança críticas nas salvaguardas de IA

Zochi, um agente de pesquisa de inteligência artificial desenvolvido pela IntologyAI, se tornou o primeiro sistema de IA autônomo a ser o autor independente de um artigo científico aceito na conferência da Association for Computational Linguistics 2025 — amplamente considerada um evento revisado por pares de nível A* na área.

O artigo inovador, intitulado "Tempest: Jailbreaking Automático de Múltiplas Rodadas de Grandes Modelos de Linguagem com Busca em Árvore", não representa apenas um marco na capacidade da IA. Ele enviou ondas de choque por toda a comunidade de segurança de IA ao demonstrar sistematicamente como modelos de linguagem aparentemente seguros podem ser metodicamente comprometidos através de conversas de múltiplas rodadas.

"O que torna isso verdadeiramente sem precedentes é que estamos testemunhando sistemas de IA não apenas participando da descoberta científica, mas impulsionando-a de forma independente", disse um importante pesquisador de ética em IA. "O pipeline de pesquisa — da identificação do problema à implementação e documentação — foi concluído sem intervenção humana."

O Calcanhar de Aquiles da Segurança de IA

As descobertas do Tempest pintam um quadro preocupante das atuais medidas de segurança de IA. A estrutura desenvolvida por Zochi alcançou uma taxa de sucesso de ataque perfeita de 100% contra o GPT-3.5-turbo da OpenAI e uma taxa de sucesso de 97% contra o modelo mais avançado GPT-4. Mais preocupante, ele realizou isso com notável eficiência, exigindo apenas 44 a 52 consultas em comparação com as mais de 60 necessárias por métodos anteriores.

No cerne da abordagem do Tempest está uma metodologia sofisticada de busca em árvore que permite a exploração sistemática de vulnerabilidades baseadas em diálogo. Ao contrário de pesquisas anteriores que focavam principalmente em interações de uma única rodada, o Tempest revela como as barreiras de segurança de IA se corroem gradualmente ao longo de múltiplas rodadas de conversação.

"O artigo expõe uma vulnerabilidade fundamental em como avaliamos a segurança de IA", explicou um especialista em segurança familiarizado com a pesquisa. "Modelos que passam nos testes de segurança de uma única rodada com louvor podem ser sistematicamente comprometidos quando submetidos a diálogos de múltiplas rodadas que, incrementalmente, ultrapassam os limites."

A metodologia rastreia o que Zochi chama de "conformidade parcial" — instâncias em que sistemas de IA revelam fragmentos de informações restritas enquanto mantêm a aparência de adesão aos protocolos de segurança. Essa erosão incremental se mostra devastadora ao longo do tempo, com a degradação da segurança acumulando-se ao longo das rodadas de conversação.

Da Descoberta Acadêmica às Implicações na Indústria

O processo de revisão por pares validou a importância do trabalho de Zochi, com revisores atribuindo pontuações de 8, 8 e 7 — substancialmente acima do limiar de aceitação de 6 para as principais conferências de aprendizado de máquina. Os revisores o elogiaram como um "método eficaz e intuitivo" que necessita de "uma reavaliação das estratégias de defesa de IA existentes".

Para as empresas de tecnologia que desenvolvem e implantam grandes modelos de linguagem, o Tempest representa tanto um desafio técnico quanto um ponto de inflexão de mercado. A pesquisa sugere que as atuais medidas de segurança são inadequadas contra ataques sofisticados de múltiplas rodadas, potencialmente desencadeando uma mudança para estruturas de segurança mais dinâmicas.

"Provavelmente estamos testemunhando o nascimento de um novo paradigma de segurança", observou um analista da indústria que acompanha os desenvolvimentos de segurança de IA. "Filtros estáticos e barreiras predefinidas simplesmente não serão mais suficientes. O futuro pertence a sistemas adaptativos que podem identificar e responder a essas estratégias incrementais de teste de limites em tempo real."

As implicações financeiras podem ser substanciais, com especialistas prevendo o surgimento de serviços especializados de "auditoria de segurança de IA" e níveis de preços premium

Você Também Pode Gostar

Este artigo foi enviado por nosso usuário sob as Regras e Diretrizes para Submissão de Notícias. A foto de capa é uma arte gerada por computador apenas para fins ilustrativos; não indicativa de conteúdo factual. Se você acredita que este artigo viola direitos autorais, não hesite em denunciá-lo enviando um e-mail para nós. Sua vigilância e cooperação são inestimáveis para nos ajudar a manter uma comunidade respeitosa e em conformidade legal.

Inscreva-se na Nossa Newsletter

Receba as últimas novidades em negócios e tecnologia com uma prévia exclusiva das nossas novas ofertas

Utilizamos cookies em nosso site para habilitar certas funções, fornecer informações mais relevantes para você e otimizar sua experiência em nosso site. Mais informações podem ser encontradas em nossa Política de Privacidade e em nossos Termos de Serviço . Informações obrigatórias podem ser encontradas no aviso legal