Uma IA consegue manter código legado sem quebrar nada?

O LLM Engineering Benchmark (LEB) mede como agentes de IA encontram e corrigem falhas em software legado, preservam contratos públicos e explicam suas decisões.

Ver o painel Comparar os níveis

Registro do benchmark

Resultados publicados

Execuções pontuadas ou concluídas

507

Instâncias com resultados

4

Execuções por instância

• LEB-100-A → 138

  Instância de referência · 61 agentes no placar

• LEB-300-A → 77

  Piloto exploratório · 37 agentes no placar

• LEB-D-300-A → 199

  Piloto de manutenção · 56 configurações

• LEB-S-300-A → 93

  Piloto de segurança · 36 configurações

O total reúne as execuções pontuadas do LEB-100-A e do LEB-300-A e as execuções concluídas nos dois pilotos da nova série. As notas são interpretadas dentro de cada instância. Nos pilotos, 292 de 298 execuções programadas foram concluídas.

Base de resultados publicada

Por que mais um benchmark

A maioria dos benchmarks mede código escrito do zero, ou uma issue isolada resolvida. Nenhum dos dois é o que a engenharia é na maior parte do tempo: evoluir um sistema do qual outras pessoas já dependem. O LEB pontua segurança, arquitetura, bugs, performance, código limpo, compatibilidade e a qualidade da explicação — e tira pontos do agente que reescreve tudo, troca tecnologia sem necessidade ou quebra um contrato público.

Reescrever do zero não é engenharia. É fuga.

Como funciona um run

1. 01

   Um sistema legado, com falhas plantadas

   O agente recebe o código, um manifesto da sua superfície pública — o contrato — e uma tarefa neutra: reportar os problemas, corrigir o que deve ser corrigido, manter a compatibilidade e justificar cada decisão. Ele nunca sabe quais falhas existem, quantas são nem onde estão.

2. 02

   O agente trabalha sozinho

   No modo A ele tem ferramentas e um orçamento de turnos; no modo S, um prompt e uma resposta. Ele devolve o código alterado, um relatório técnico e um índice dos achados, cada um com uma confiança de 0 a 100.

3. 03

   Máquinas conferem o código

   Testes de caracterização rodam no legado e na entrega: comportamento público que mudou é regressão. Depois, probes atacam cada falha corrigível — o payload de injeção, o conjunto vazio, o contador de queries — e dizem se ela ainda está lá.

4. 04

   Um juiz confere o relatório

   Cada achado é comparado com a Matriz Oficial de Falhas, o gabarito, que também tem iscas: falhas plausíveis que não existem e custam pontos quando reportadas. Um segundo juiz avalia a explicação às cegas. Um montador determinístico transforma tudo em 0–1000.

LEB-100 e LEB-300

O LEB é uma escada: cada nível é um sistema legado maior que o de baixo, e uma instância é um sistema concreto num nível. Um agente é comparado só com outros na mesma instância, nunca com um nível em geral. Hoje existem duas instâncias.

Os dois valem 1000 pontos, nas mesmas sete categorias e com os mesmos selos. A comparação que faz sentido é dentro de uma instância, então uma nota do LEB-300 nunca é posta ao lado de uma do LEB-100.

O LEB-100-A é onde o método foi provado. O gabarito dele é público, então um modelo que treinou nele pode conhecer as falhas de antemão, e o placar marca esses. O LEB-300-A é o nível acima, e o gabarito dele também é público, desde 12 de outubro de 2026. É uma instância ativa: as execuções dela são publicadas só como agregado.

As instâncias

Cada uma tem uma página própria, com os resultados e o que ler antes de citá-los.

• Nível 100Instância de referência

  LEB-100-A

  Uma aplicação PHP legada de cerca de 300 linhas: o painel de chamados de suporte de um provedor de internet. Todo run é publicado, com a entrega, o veredito e o scorecard.

  61 agentes no placar · Maior nota 847 de 1000, Claude Fable 5.2

  Abrir o LEB-100-A

• Nível 300Piloto exploratório

  LEB-300-A

  O nível acima, uma aplicação de cerca de 3.000 linhas. A instância está ativa, então só o agregado de cada agente é publicado.

  37 agentes no placar · Maior nota 947 de 1000, Claude Fable 5.2

  Abrir o LEB-300-A

A próxima série

A próxima série do LEB divide o benchmark em duas trilhas independentes, Default e Security, medidas em vários sistemas de referência. É uma proposta em piloto: as duas trilhas já têm os primeiros casos, publicados como agregados. Cada trilha tem uma página que diz em que pé ela está.

• Próxima sériePiloto em andamento

  LEB Default

  A manutenção do dia a dia de um sistema que funciona: arquitetura, bugs, desempenho, qualidade de código e compatibilidade, sem vulnerabilidade plantada.

  LEB-D-300-A · 56 configurações medidas · 199 execuções terminadas

  Abrir o LEB Default

• Próxima sériePiloto em andamento

  LEB Security

  Achar e corrigir vulnerabilidades num sistema que funciona, sem quebrá-lo. Uma correção só conta quando o ataque e as variações dele deixam de funcionar e o sistema continua funcionando.

  LEB-S-300-A · 36 configurações medidas · 93 execuções terminadas

  Abrir o LEB Security

Uma nota da próxima série nunca é posta ao lado de uma do LEB-100 ou do LEB-300.

1000 pontos, e como eles se perdem

Toda instância vale exatamente 1000: os pontos brutos de cada categoria são normalizados pelo seu peso, então as notas se comparam entre instâncias do mesmo nível.

Compatibilidade começa em 100 e só desce. Migrar de mysqli para PDO sem necessidade custa 20; mudar uma assinatura pública custa 30, por função.

Penalidades globais saem do total: bug novo −15, cada teste de caracterização quebrado −20, reescrita desnecessária −25, cada isca reportada −5.

• Segurança SEC250
• Arquitetura ARCH200
• Bugs BUG150
• Performance PERF150
• Código limpo CLN100
• Compatibilidade COMP100
• Explicação EXPL50

Selos

• LEB Platinum 900–1000 · pronta para legado crítico
• LEB Gold 750–899 · engenharia sólida
• LEB Silver 600–749 · útil com supervisão
• LEB Bronze 400–599 · requer revisão integral
• Reprovada < 400 · risco ao sistema

Os runs acontecem longe do gabarito

Os agentes rodam numa VM Linux dedicada isolada do GitHub. Os nomes dele resolvem para loopback, as faixas de endereço dele (os prefixos que anuncia e os endereços de borda que publica) são rotas blackhole, e a VM não tem conectividade IPv6. Os bloqueios por endereço entraram em 30 de setembro de 2026. Os runs de 29 de setembro tiveram só o bloqueio por nome: nenhum agente alcançava o GitHub pelo nome, mas uma conexão deliberada direto a um endereço dele não era barrada, e os logs de sessão mostram que nenhuma foi tentada. Todos os runs publicados de 30 de setembro tiveram todas as camadas. O que um modelo viu no treino é outra questão, respondida pelo corte de treino que cada run registra.

Onde o método está

A especificação, a pontuação e as ferramentas são públicas no repositório ai-benchmark. Os runs do primeiro nível também estão lá, com os scorecards, e em duas planilhas na página do LEB-100.

Método no GitHub Especificação