Aprendizado por System Prompt: A Visão de Andrej Karpathy para o Próximo Paradigma no Treinamento de IA
Andrej Karpathy, uma voz importante no desenvolvimento de IA e ex-diretor de IA na Tesla, recentemente iniciou um debate com uma ideia enganosamente simples: talvez estejamos perdendo um paradigma inteiro em como os grandes modelos de linguagem (LLMs) aprendem. Sua proposta, "Aprendizado por System Prompt", não envolve mais dados ou redes mais profundas — mas sim, uma maneira mais inteligente de guiar os modelos usando instruções editáveis que se parecem com a memória e o raciocínio humanos.
Em um mundo onde o investimento em IA depende de avanços que vão além do pré-treinamento por força bruta e do ajuste fino caro, essa ideia — tirada da mecânica por trás do system prompt de 17.000 palavras do Claude — levanta questões críticas sobre como escalar a IA de forma mais eficiente e responsável.
Pré-treinamento, Ajuste Fino… e Depois?
A estrutura atual de treinamento de IA é dominada por duas estratégias pesadas:
- Pré-treinamento: Os LLMs absorvem grandes quantidades de texto para desenvolver um entendimento geral da linguagem e do mundo.
- Ajuste fino: Comportamentos específicos são reforçados através de exemplos supervisionados ou aprendizado por reforço, muitas vezes alinhados com feedback humano (RLHF).
O Aprendizado por Reforço a partir de Feedback Humano (RLHF) é um processo com várias etapas usado para treinar modelos de IA, especialmente grandes modelos de linguagem, para se alinhar melhor com as preferências humanas. Ele envolve o uso de feedback humano, muitas vezes classificando diferentes saídas do modelo, para criar um modelo de recompensa que subsequentemente guia o aprendizado da IA através do aprendizado por reforço.
Ambas as abordagens alteram os parâmetros internos do modelo. Mas Karpathy aponta uma característica do aprendizado humano que esses métodos ignoram: muitas vezes não "religamos" nossos cérebros ao aprender. Fazemos anotações. Deixamos lembretes explícitos para nós mesmos. Nos adaptamos mudando nossas instruções internas, não nossa fiação principal.
O Aprendizado por System Prompt pega emprestado esse princípio. Em vez de editar pesos com gradientes, sugere editar o system prompt do modelo — um conjunto persistente de instruções que moldam seu comportamento em várias tarefas. Nesse esquema, os LLMs poderiam, em teoria, escrever, refinar e atualizar suas próprias estratégias de resolução de problemas — como manter um caderno pessoal.
O Manual de 17.000 Palavras do Claude: A Faísca por Trás da Mudança
A proposta de Karpathy não foi teórica. Foi desencadeada por um exemplo do mundo real: o modelo Claude da Anthropic, cujo system prompt se estende por quase 17.000 palavras. Esse mega-prompt codifica tudo, desde limites morais (por exemplo, evitar letras de músicas protegidas por direitos autorais) até estratégias detalhadas para responder perguntas (por exemplo, como contar letras em uma palavra como morango). Você pode ver o system prompt completo do Claude aqui.
Tabela 1: Características e Componentes do System Prompt do Claude
| Característica | Detalhes |
|---|---|
| Tamanho | ~16.739 palavras (110kb) |
| Comprimento em Tokens | Alegadamente cerca de 24.000 tokens |
| Comparação | Muito maior que o o4-mini da OpenAI (2.218 palavras, 15.1kb) |
| Componentes Chave | |
| Informações Atuais | Fornece data e informações contextuais no início da conversa |
| Diretrizes Comportamentais | Instruções para formato de resposta e estilo de interação |
| Definição de Papel | Estabelece a identidade e os parâmetros operacionais do Claude |
| Definições de Ferramentas | Componente maior; instruções para uso de ferramentas de servidores MCP |
| Parâmetros de Segurança | Orientação para lidar com pedidos potencialmente prejudiciais |
| Instruções Técnicas | Diretrizes para contar palavras/caracteres e formatação |
| Propósito | Serve como "configurações" para como o LLM interage com usuários |
| Desenvolvimento | Atualizado periodicamente com base em feedback do usuário e melhorias |
Em vez de codificar o conhecimento rigidamente nos pesos — o que pode ser ineficiente, inflexível e caro — a Anthropic parece estar usando o system prompt como um conjunto de instruções dinâmicas. Segundo Karpathy, isso se assemelha a como os humanos se ajustam: afirmando explicitamente "quando X acontece, tente a abordagem Y".
Essa mudança reconfigura os system prompts de guias de comportamento estáticos para documentos vivos — um lugar onde os LLMs poderiam armazenar estratégias generalizadas e revisá-las ao longo do tempo. Na prática, é uma proposta para tornar a IA não apenas mais inteligente, mas mais ensinável.
Por Que Isso Importa para Investidores e Desenvolvedores
O apelo do Aprendizado por System Prompt não é apenas acadêmico. Ele fala diretamente sobre pontos de dor chave na implementação atual de IA:
1. Custos Operacionais Mais Baixos
Ajustar um modelo — especialmente com RLHF — é caro e lento. Atualizar um system prompt, no entanto, é quase gratuito e instantâneo. Se comportamentos essenciais podem ser mudados atualizando instruções em vez de retreinar pesos, a implementação se torna mais rápida e barata.
Métodos de Atualização de Modelos de IA: Ajuste Fino/RLHF vs. Edição de System Prompt
| Método | Custo & Esforço | Tempo para Implementar | Características Principais |
|---|---|---|---|
| Ajuste Fino / RLHF | Alto: Requer computação, dados e expertise em ML | Longo (dias–semanas) | Atualiza pesos do modelo para precisão em tarefas/domínios; menos flexível pós-treinamento |
| Edição de Prompt | Baixo: Principalmente design/teste de prompt | Curto (horas–dias) | Ajusta comportamento via instruções; rápido, flexível, não requer retreinamento |
| Notas Gerais | Custo depende do tamanho do modelo, tokens e infra | Manutenção contínua | A escolha depende dos objetivos, recursos e performance requerida; podem ser combinados |
2. Produtos de IA Mais Ágeis
Startups que constroem agentes específicos de domínio (bots jurídicos, assistentes médicos, ferramentas de atendimento ao cliente) precisam de iteração rápida. System prompts permitem mudanças rápidas sem retreinar o modelo, aumentando a adaptabilidade em ambientes de produção.
3. Eficiência de Dados e Ciclos de Feedback
O ajuste fino tradicional requer grandes conjuntos de dados. O aprendizado por system prompt oferece um canal de feedback de maior dimensão. Em vez de otimizar para uma recompensa escalar, ele convida um feedback mais rico e textual — mais próximo de como os humanos dão instruções.
O Que os Especialistas Estão Dizendo
A ideia gerou reações mistas em círculos de IA:
- Proponentes comparam os system prompts a uma Torá Escrita — definindo instruções base — enquanto novos casos se adaptam e expandem através do aprendizado interativo, similar a uma Torá Oral.
- Críticos se preocupam com escalabilidade e complexidade. À medida que os prompts crescem, eles correm o risco de se tornar frágeis, inconsistentes ou contraditórios. Isso poderia minar a confiabilidade em aplicações de alto risco.
- Alguns defendem uma abordagem híbrida: destilação periódica do conhecimento do system prompt em pesos, permitindo que a IA passe do conhecimento explícito para o habitual ao longo do tempo — assim como os humanos fazem.
- Outros experimentam com hierarquias de memória, onde os modelos indexam exemplos de resolução de problemas e os puxam para o contexto do prompt apenas quando necessário — combinando isso com Geração Aumentada por Recuperação (RAG) e ferramentas de planejamento.
A Geração Aumentada por Recuperação (RAG) é uma arquitetura de IA projetada para melhorar as respostas geradas por Grandes Modelos de Linguagem (LLMs). Funciona primeiro recuperando informações relevantes de fontes de conhecimento externas e, em seguida, alimentando esse contexto para o LLM produzir respostas mais precisas, relevantes e atualizadas.
Apesar de sua promessa, alguns veem o aprendizado por system prompt não como uma mudança de paradigma, mas como uma evolução incremental. Ainda assim, quando empresas como Anthropic, OpenAI e Google diferem drasticamente nos tamanhos de seus system prompts (Claude com 16.739 palavras vs. OpenAI com ~2.218), fica claro que o prompt está se tornando uma nova fronteira.
Onde Isso Pode Chegar
Se os LLMs pudessem escrever e atualizar autonomamente seus próprios system prompts — documentando lições aprendidas, estratégias testadas e tarefas refinadas — poderíamos testemunhar o nascimento de uma nova arquitetura de treinamento de IA:
- Agentes de auto-refinamento que evoluem em produção revisando seus próprios manuais
- Modelos especializados em tarefas que não requerem retreinamento extenso para novos domínios
- Destilação semi-automatizada, onde o conhecimento baseado em prompt é movido seletivamente para pesos de longo prazo, melhorando o desempenho sem perda de flexibilidade
Isso poderia se alinhar bem com as necessidades empresariais: modelos que são interpretáveis, rastreáveis e treináveis incrementalmente — com tempo de inatividade mínimo.
Um Caderno para Máquinas
A ideia de Karpathy pode parecer abstrata, mas toca em uma intuição profunda: inteligência não é apenas o que sabemos — é como estruturamos esse conhecimento para uso. O Aprendizado por System Prompt sugere que os LLMs não precisam apenas de cérebros maiores — eles precisam de cadernos melhores.
À medida que mais empresas de IA exploram esse meio-termo entre pré-treinamento e ajuste fino, espere que a engenharia de prompt evolua para arquitetura de prompt — uma disciplina própria. Se isso se tornará o próximo paradigma ou um auxiliar poderoso, ainda está para ser visto.
Mas uma coisa é clara: na corrida para construir IA mais inteligente, barata e controlável, ensinar modelos como aprender pode em breve importar mais do que o que eles sabem.