LEB-300
AI Benchmark · LEB · piloto exploratório
O primeiro nível, LEB-100, é a instância de referência: todo agente avaliado até aqui rodou nele, e toda execução é publicada.
O segundo nível do LEB: uma aplicação de cerca de 3.000 linhas, em vários arquivos, cujas falhas atravessam arquivos. A instância é ativa, então só o agregado das execuções de cada agente é publicado. O gabarito dela é público no GitHub, junto com a instância, e as máquinas que rodam os agentes não alcançam o GitHub. Como um run funciona, como é pontuado e no que este nível difere do LEB-100 está na página Benchmark.
Os 6 melhores até aqui
LEB-300-A- 1Claude Fable 5.2947LEB Platinum
- 2Claude Sonnet 5.5 · max886LEB Gold
- 3Claude Opus 5.5 · high866LEB Gold
- 4Claude Sonnet 5.5 · max (ultracode)866LEB Gold
- 5Claude Sonnet 5.5 · xhigh860LEB Gold
- 6Claude Sonnet 5.5 · high855LEB Gold
Nota sobre 1000, entre 37 agentes. Não oficial até cada um ter três runs. Placar completo
Os resultados até agora
Uma linha por agente: o total, a nota, a pontuação em cada categoria, em quantas execuções ela se baseia, e o custo e o tempo. Todos os agentes resolveram o mesmo pacote, byte a byte, então os números se comparam em pé de igualdade.
LEB-300-A v1.0 · Uma aplicação de cerca de 3.000 linhas
Um piloto exploratório. A nota oficial é a mediana de três execuções de um agente. Uma linha que se apoia em menos execuções não é oficial: ela diz quantas tem, e é listada do mesmo jeito, como na página do LEB-100. A instância ainda é um piloto: a dificuldade dela não foi homologada. Só o agregado é publicado; a entrega, o veredito e os resultados falha a falha de cada execução ficam num arquivo privado. O gabarito é público no GitHub, junto com a instância, desde 12 de outubro de 2026, depois das primeiras execuções; as máquinas que rodaram os agentes não alcançam o GitHub, e cada execução registra o corte de treino do modelo.
- modo A · 60 turnos
- edição 2026
- gabarito público
- matriz c42c82878d2c…
Mostrando 37 de 37 agentes. As posições são as do placar completo.
-
1
Claude Fable 5.2 Anthropic · esforço xhigh 1 de 3 runs947 de 1000 LEB Platinum
- Segurança250/250
- Arquitetura183/200
- Bugs139/150
- Performance144/150
- Código limpo86/100
- Compatibilidade100/100
- Explicação45/50
Comentário e ficha
Uma execução até agora, então ainda sem nota oficial: 947, Platinum. Segurança 250 de 250, arquitetura 183 de 200, bugs 139 de 150, desempenho 144 de 150 e código limpo 86 de 100; compatibilidade 100, sem penalidade. O relatório cobriu 33 dos 36 defeitos plantados e o código corrigiu 34, sem falsos positivos e com 16 achados extras; o relatório teve 45 de 50. A sessão levou 110 minutos por US$ 24,81 a preço de lista do cliente: rodou na conta pessoal do dono no Claude (token de longa duração), então não é cobrança.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Segurança, Compatibilidade
Run a run
- Run 1 · 9471h 49minUS$ 24.81Tokens: 121.689 de entrada · 570.724 de saída · 4.396.125 de cache · 5.088.538 no total
-
2
Claude Sonnet 5.5 Anthropic · esforço max 3 de 3 runs (932 · 863 · 886)886 de 1000 LEB Gold
- Segurança250/250
- Arquitetura150/200
- Bugs137/150
- Performance134/150
- Código limpo71/100
- Compatibilidade100/100
- Explicação44/50
Comentário e ficha
Três execuções (932, 863 e 886), então a nota publicada é a mediana, 886, com 69 pontos de diferença entre a melhor e a pior, Platinum, Gold e Gold. Segurança 250, 232 e 250 de 250, arquitetura 178, 156 e 150 de 200, bugs 134, 139 e 137 de 150, desempenho 140, 134 e 134 de 150 e código limpo 89, 82 e 71 de 100, na ordem das execuções. A compatibilidade foi 100, 75 e 100: a execução 2 perdeu 25 pontos (COMP-008, uma mudança no contrato público). Nenhuma penalidade foi cobrada. Os relatórios cobriram 31, 30 e 27 das 36 falhas plantadas e o código corrigiu 34, 31 e 32, com 1, 0 e 0 falsos positivos e 22, 22 e 15 achados extras; os relatórios tiveram 41, 45 e 44 de 50. As sessões levaram 93, 73 e 66 minutos por US$ 10,75, 16,57 e 13,10. Para comparar, o mesmo modelo em esforço medium fez 717 (3 execuções); o mesmo modelo em esforço high fez 855 (3 execuções); o mesmo modelo em esforço xhigh fez 860 (2 execuções).
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Segurança, Compatibilidade
Run a run
- Run 1 · 9321h 32minUS$ 10.75Tokens: 1.390 de entrada · 550.255 de saída · 15.124.592 de cache · 15.676.237 no total
- Run 2 · 8631h 14minUS$ 16.57Tokens: 144 de entrada · 637.617 de saída · 25.936.320 de cache · 26.574.081 no total
- Run 3 · 8861h 6minUS$ 13.10Tokens: 122 de entrada · 496.801 de saída · 25.293.464 de cache · 25.790.387 no total
-
3
Claude Opus 5.5 Anthropic · esforço high 3 de 3 runs (848 · 866 · 866)866 de 1000 LEB Gold
- Segurança229/250
- Arquitetura153/200
- Bugs147/150
- Performance124/150
- Código limpo71/100
- Compatibilidade100/100
- Explicação42/50
Comentário e ficha
Três execuções (848, 866 e 866), então a nota publicada é a mediana, 866, com 18 pontos de diferença entre a melhor e a pior, todas Gold. Segurança 232, 229 e 229 de 250, arquitetura 153, 153 e 150 de 200, bugs 137, 147 e 147 de 150, desempenho 134, 124 e 128 de 150 e código limpo 71, 71 e 68 de 100, na ordem das execuções. A compatibilidade foi 75, 100 e 100: a execução 1 perdeu 25 pontos (COMP-008, uma mudança no contrato público). Nenhuma penalidade foi cobrada. Os relatórios cobriram 28, 27 e 27 das 36 falhas plantadas e o código corrigiu 32, 33 e 33, com 2, 0 e 0 falsos positivos e 23, 26 e 18 achados extras; os relatórios tiveram 46, 42 e 44 de 50. As sessões levaram 56, 50 e 43 minutos por US$ 8,77, 7,57 e 7,97. Para comparar, o mesmo modelo em esforço xhigh fez 845 (3 execuções).
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 84856minUS$ 8.77Tokens: 1.450 de entrada · 148.633 de saída · 16.974.538 de cache · 17.124.621 no total
- Run 2 · 86650minUS$ 7.57Tokens: 1.832 de entrada · 135.000 de saída · 13.004.371 de cache · 13.141.203 no total
- Run 3 · 86643minUS$ 7.97Tokens: 92 de entrada · 130.598 de saída · 8.575.765 de cache · 8.706.455 no total
-
4
Claude Sonnet 5.5 Anthropic · esforço max (ultracode) 3 de 3 runs (878 · 866 · 836)866 de 1000 LEB Gold
- Segurança250/250
- Arquitetura156/200
- Bugs139/150
- Performance134/150
- Código limpo71/100
- Compatibilidade75/100
- Explicação41/50
Comentário e ficha
Três execuções (878, 866 e 836), então a nota publicada é a mediana, 866, com 42 pontos de diferença entre a melhor e a pior, todas Gold. Segurança 250, 250 e 243 de 250, arquitetura 164, 156 e 128 de 200, bugs 139 nas três de 150, desempenho 144, 134 e 134 de 150 e código limpo 64, 71 e 71 de 100, na ordem das execuções. Todas perderam 25 pontos de compatibilidade (75): um bloqueio de login que recusa a senha certa por 15 minutos, respondendo 429 na execução 2 e 401 nas execuções 1 e 3. Nenhuma penalidade foi cobrada. Os relatórios cobriram 28, 29 e 30 das 36 falhas plantadas e o código corrigiu 34, 32 e 30, com 1, 0 e 0 falsos positivos e 33, 35 e 37 achados extras; os relatórios tiveram 42, 41 e 46 de 50. É o modo multiagente do Claude Code (ultracode): 59, 10 e 13 subagentes do mesmo modelo. As sessões levaram 108, 179 e 133 minutos; a execução 2 foi parada no pool de 180 minutos durante a segunda etapa, então é pontuada pela pasta que deixou e não tem custo registrado (US$ 30,42 e 27,82 nas outras). O mesmo modelo em esforço max sem o modo fez 886 em cerca de 66 minutos.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Segurança
Run a run
- Run 1 · 8781h 48minUS$ 30.42Tokens: 932 de entrada · 1.078.570 de saída · 55.936.656 de cache · 57.016.158 no total
- Run 2 · 8662h 59minTokens: 618 de entrada · 506.633 de saída · 67.698.918 de cache · 68.206.169 no total
- Run 3 · 8362h 14minUS$ 27.82Tokens: 656 de entrada · 906.672 de saída · 59.993.597 de cache · 60.900.925 no total
-
5
Claude Sonnet 5.5 Anthropic · esforço xhigh 3 de 3 runs (860 · 911 · 849)860 de 1000 LEB Gold
- Segurança250/250
- Arquitetura156/200
- Bugs139/150
- Performance140/150
- Código limpo57/100
- Compatibilidade75/100
- Explicação43/50
Comentário e ficha
Três execuções de 860, 911 e 849: a nota publicada é a do meio, 860, e o agente agora é oficial. A segunda continua sendo a maior execução individual de qualquer agente (911, Platinum). A terceira corrigiu 34 das 36 falhas plantadas, mas pagou 50 pontos de compatibilidade por duas mudanças além do que o manifesto contrata, um bloqueio de login que responde 429 e um escopo mais estreito da chave de idempotência, contra uma mudança em cada uma das duas primeiras (75). Segurança de 232 a 250, arquitetura de 156 a 183, explicação de 41 a 43, de US$ 6,12 a US$ 8,14 por execução. O mesmo modelo tem mediana de 855 em high e 886 em max.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Segurança
Run a run
- Run 1 · 86042minUS$ 6.58Tokens: 1.030 de entrada · 244.526 de saída · 12.893.196 de cache · 13.138.752 no total
- Run 2 · 91143minUS$ 6.12Tokens: 3.602 de entrada · 262.629 de saída · 9.421.853 de cache · 9.688.084 no total
- Run 3 · 84957minUS$ 8.14Tokens: 134 de entrada · 258.037 de saída · 18.359.976 de cache · 18.618.147 no total
-
6
Claude Sonnet 5.5 Anthropic · esforço high 3 de 3 runs (897 · 855 · 811)855 de 1000 LEB Gold
- Segurança243/250
- Arquitetura153/200
- Bugs145/150
- Performance115/150
- Código limpo79/100
- Compatibilidade75/100
- Explicação45/50
Comentário e ficha
Três execuções (897, 855 e 811), então a nota publicada é a mediana, 855, com 86 pontos de diferença entre a melhor e a pior, todas Gold. Segurança 250, 243 e 229 de 250, arquitetura 178, 153 e 117 de 200, bugs 147, 145 e 145 de 150, desempenho 128, 115 e 121 de 150 e código limpo 89, 79 e 54 de 100, na ordem das execuções. A compatibilidade foi 75, 75 e 100: a execução 1 perdeu 25 pontos (COMP-008, uma mudança no contrato público); a execução 3 perdeu 25 pontos (COMP-008, uma mudança no contrato público). Penalidades: a execução 1 perdeu 15 pontos por um defeito novo introduzido pela própria mudança (PEN-001). Os relatórios cobriram 32, 27 e 23 das 36 falhas plantadas e o código corrigiu 34, 33 e 31, com 0, 0 e 0 falsos positivos e 21, 18 e 12 achados extras; os relatórios tiveram 45, 45 e 45 de 50. As sessões levaram 43, 43 e 41 minutos por US$ 5,18, 5,30 e 4,65. Para comparar, o mesmo modelo em esforço medium fez 717 (3 execuções); o mesmo modelo em esforço xhigh fez 860 (2 execuções); o mesmo modelo em esforço max fez 886 (3 execuções).
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 89743minUS$ 5.18Tokens: 1.918 de entrada · 165.030 de saída · 11.795.003 de cache · 11.961.951 no total
- Run 3 · 85542minUS$ 5.30Tokens: 3.519 de entrada · 174.950 de saída · 11.635.966 de cache · 11.814.435 no total
- Run 4 · 81141minUS$ 4.65Tokens: 120 de entrada · 116.889 de saída · 9.329.232 de cache · 9.446.241 no total
-
7
Claude Opus 5.5 Anthropic · esforço xhigh 3 de 3 runs (886 · 822 · 845)845 de 1000 LEB Gold
- Segurança232/250
- Arquitetura153/200
- Bugs139/150
- Performance131/150
- Código limpo71/100
- Compatibilidade75/100
- Explicação44/50
Comentário e ficha
Três execuções (886, 822 e 845), então a nota publicada é a mediana, 845. O perfil é o mesmo nas três: de 229 a 246 de 250 em segurança, de 144 a 164 de 200 em arquitetura, de 139 a 147 de 150 em bugs, de 131 a 144 de 150 em desempenho e de 64 a 71 de 100 em código limpo. As duas primeiras levaram o mesmo desconto de 30 pontos em compatibilidade (COMP-003): a impressão digital da idempotência passou a incluir o usuário, então a mesma chave repetida por outro usuário da mesma empresa deixa de devolver a resposta original, que o manifesto exige. A terceira não repetiu isso, mas perdeu 25 pontos (COMP-008) por um bloqueio de login que responde 429, um status que o manifesto não lista, até para a senha certa. Corrigiu 32 das 36 falhas plantadas e reportou 28, sem falso positivo, e o relatório teve 44 de 50. As sessões levaram 82, 48 e 74 minutos, por US$ 13,03, US$ 6,77 e US$ 13,69.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 8861h 22minUS$ 13.03Tokens: 1.104 de entrada · 247.375 de saída · 23.558.840 de cache · 23.807.319 no total
- Run 2 · 82248minUS$ 6.77Tokens: 1.294 de entrada · 143.108 de saída · 8.673.335 de cache · 8.817.737 no total
- Run 3 · 8451h 14minUS$ 13.69Tokens: 1.384 de entrada · 340.120 de saída · 14.941.510 de cache · 15.283.014 no total
-
8
Claude Fable 5.1 Anthropic · esforço high 1 de 3 runs836 de 1000 LEB Gold
- Segurança215/250
- Arquitetura156/200
- Bugs147/150
- Performance128/150
- Código limpo71/100
- Compatibilidade75/100
- Explicação44/50
Comentário e ficha
Com uma execução só: segurança 215 de 250, arquitetura 156 de 200, bugs 147 de 150, desempenho 128 de 150 e 71 de 100 em código limpo, sem penalidade. Corrigiu 33 das 36 falhas plantadas e o relatório teve 44 de 50. Perdeu 25 pontos de compatibilidade por uma mudança de segurança que o manifesto não permite: depois de 10 logins errados para um e-mail, o login responde 429 até para a senha certa, um status que o manifesto não lista, e quem souber um e-mail pode trancar aquele usuário para fora. A execução custou US$ 15,81 e levou 52 minutos de tempo do próprio agente, sem os 18 minutos que o operador levou entre as duas etapas. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 83652minUS$ 15.81Tokens: 2.426 de entrada · 152.548 de saída · 8.470.393 de cache · 8.625.367 no total
-
9
GPT-6.1-sol OpenAI · esforço xhigh 3 de 3 runs (800 · 830 · 789)800 de 1000 LEB Gold
- Segurança232/250
- Arquitetura142/200
- Bugs147/150
- Performance105/150
- Código limpo29/100
- Compatibilidade100/100
- Explicação45/50
Comentário e ficha
Três execuções (800, 830 e 789), então a nota publicada é a mediana, 800, com 41 pontos de diferença entre a melhor e a pior, todas Gold. Segurança 232, 232 e 232 de 250, arquitetura 142, 142 e 125 de 200, bugs 147, 147 e 147 de 150, desempenho 105, 105 e 93 de 150 e código limpo 29, 64 e 64 de 100, na ordem das execuções. A compatibilidade foi 100 em todas as execuções. Penalidades: a execução 3 perdeu 15 pontos por um defeito novo introduzido pela própria mudança (PEN-001). Os relatórios cobriram 22, 22 e 22 das 36 falhas plantadas e o código corrigiu 31, 33 e 31, com 1, 0 e 0 falsos positivos e 17, 15 e 15 achados extras; os relatórios tiveram 45, 40 e 43 de 50. As sessões levaram 50, 49 e 43 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 80050minTokens: 310.106 de entrada · 100.213 de saída · 6.995.200 de cache · 7.405.519 no total
- Run 2 · 83049minTokens: 217.725 de entrada · 77.782 de saída · 4.814.592 de cache · 5.110.099 no total
- Run 3 · 78943minTokens: 190.110 de entrada · 72.326 de saída · 6.388.864 de cache · 6.651.300 no total
-
10
GPT-6.1-sol OpenAI · esforço ultra 3 de 3 runs (797 · 702 · 791)791 de 1000 LEB Gold
- Segurança236/250
- Arquitetura111/200
- Bugs147/150
- Performance109/150
- Código limpo46/100
- Compatibilidade100/100
- Explicação42/50
Comentário e ficha
Três execuções (797, 702 e 791), então a nota publicada é a mediana, 791, com 95 pontos de diferença entre a melhor e a pior, Gold, Silver e Gold. Segurança 232, 194 e 236 de 250, arquitetura 111, 142 e 111 de 200, bugs 145, 121 e 147 de 150, desempenho 121, 77 e 109 de 150 e código limpo 46, 46 e 46 de 100, na ordem das execuções. A compatibilidade foi 100 em todas as execuções. Penalidades: a execução 2 perdeu 20 pontos por um teste de caracterização quebrado (PEN-002). Os relatórios cobriram 25, 23 e 24 das 36 falhas plantadas e o código corrigiu 29, 30 e 29, com 0, 1 e 0 falsos positivos e 24, 18 e 28 achados extras; os relatórios tiveram 42, 42 e 42 de 50. As sessões levaram 55, 29 e 38 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo. Em esforço ultra o agente reparte o trabalho em threads de subagentes próprias; os totais de tokens somam todas as threads.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 79755minTokens: 712.563 de entrada · 166.543 de saída · 27.510.912 de cache · 28.390.018 no total
- Run 2 · 70229minTokens: 431.390 de entrada · 115.151 de saída · 13.985.920 de cache · 14.532.461 no total
- Run 4 · 79138minTokens: 445.258 de entrada · 152.169 de saída · 23.857.152 de cache · 24.454.579 no total
-
11
GPT-6.1-sol OpenAI · esforço high 3 de 3 runs (779 · 682 · 793)779 de 1000 LEB Gold
- Segurança232/250
- Arquitetura142/200
- Bugs147/150
- Performance70/150
- Código limpo46/100
- Compatibilidade100/100
- Explicação42/50
Comentário e ficha
Três execuções (779, 682 e 793), então a nota publicada é a mediana, 779, com 111 pontos de diferença entre a melhor e a pior, Gold, Silver e Gold. Segurança 232, 194 e 232 de 250, arquitetura 142, 142 e 125 de 200, bugs 147, 121 e 147 de 150, desempenho 70, 86 e 96 de 150 e código limpo 46, 32 e 50 de 100, na ordem das execuções. A compatibilidade foi 100 em todas as execuções. Penalidades: a execução 3 perdeu 35 pontos por um teste de caracterização quebrado (PEN-002); um defeito novo introduzido pela própria mudança (PEN-001). Os relatórios cobriram 21, 21 e 21 das 36 falhas plantadas e o código corrigiu 30, 31 e 31, com 0, 0 e 0 falsos positivos e 19, 15 e 16 achados extras; os relatórios tiveram 42, 42 e 43 de 50. As sessões levaram 33, 34 e 44 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 77933minTokens: 354.573 de entrada · 63.518 de saída · 6.653.440 de cache · 7.071.531 no total
- Run 3 · 68234minTokens: 165.843 de entrada · 78.006 de saída · 7.595.520 de cache · 7.839.369 no total
- Run 4 · 79344minTokens: 176.960 de entrada · 78.060 de saída · 8.600.064 de cache · 8.855.084 no total
-
12
Claude Haiku 5.5 Anthropic · esforço high 3 de 3 runs (777 · 770 · 713)770 de 1000 LEB Gold
- Segurança236/250
- Arquitetura119/200
- Bugs121/150
- Performance115/150
- Código limpo64/100
- Compatibilidade75/100
- Explicação40/50
Comentário e ficha
Três execuções (777, 770 e 713), então a nota publicada é a mediana, 770, com 64 pontos de diferença entre a melhor e a pior, Gold, Gold e Silver. Segurança 236, 236 e 246 de 250, arquitetura 125, 119 e 86 de 200, bugs 121, 121 e 121 de 150, desempenho 134, 115 e 128 de 150 e código limpo 21, 64 e 14 de 100, na ordem das execuções. A compatibilidade foi 100, 75 e 75: a execução 2 perdeu 25 pontos (COMP-008, uma mudança no contrato público); a execução 3 perdeu 25 pontos (COMP-008, uma mudança no contrato público). Nenhuma penalidade foi cobrada. Os relatórios cobriram 27, 26 e 23 das 36 falhas plantadas e o código corrigiu 26, 28 e 26, com 1, 0 e 1 falsos positivos e 20, 19 e 21 achados extras; os relatórios tiveram 40, 40 e 43 de 50. As sessões levaram 40, 35 e 36 minutos por US$ 2,07, 1,80 e 1,56. Para comparar, o mesmo modelo em esforço xhigh fez 732 (3 execuções). O Claude Haiku 4.5 fez 242 na mesma tarefa.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 77740minUS$ 2.07Tokens: 126 de entrada · 312.281 de saída · 21.117.926 de cache · 21.430.333 no total
- Run 2 · 77035minUS$ 1.80Tokens: 146 de entrada · 241.442 de saída · 17.252.949 de cache · 17.494.537 no total
- Run 3 · 71336minUS$ 1.56Tokens: 156 de entrada · 239.411 de saída · 16.719.134 de cache · 16.958.701 no total
-
13
Claude Haiku 5.5 Anthropic · esforço xhigh 3 de 3 runs (708 · 732 · 824)732 de 1000 LEB Silver
- Segurança250/250
- Arquitetura100/200
- Bugs121/150
- Performance102/150
- Código limpo43/100
- Compatibilidade75/100
- Explicação41/50
Comentário e ficha
Três execuções (708, 732 e 824), então a nota publicada é a mediana, 732. A terceira é a melhor e a que mais difere: arquitetura 172 de 200 contra 92 e 100, bugs 137 de 150 contra 121 e 121, desempenho 115 de 150 contra 96 e 102; segurança (243 de 250) e código limpo (43 de 100) ficaram como na primeira. Em todas as execuções uma mudança de segurança alterou um comportamento que o manifesto contrata (compatibilidade 70, 75 e 75). A terceira corrigiu 30 das 36 falhas plantadas e reportou 30, contra 25 corrigidas nas duas anteriores, sem falso positivo. Usou um subagente e levou 99 minutos por US$ 5,16, onde as duas primeiras levaram 36 e 39 minutos por US$ 1,72 e US$ 1,61. O Claude Haiku 4.5 fez 242 na mesma tarefa.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Segurança
Run a run
- Run 1 · 70836minUS$ 1.72Tokens: 1.438 de entrada · 252.651 de saída · 16.402.385 de cache · 16.656.474 no total
- Run 2 · 73239minUS$ 1.61Tokens: 1.378 de entrada · 326.646 de saída · 9.253.810 de cache · 9.581.834 no total
- Run 3 · 8241h 40minUS$ 5.16Tokens: 69.441 de entrada · 578.399 de saída · 62.347.246 de cache · 62.995.086 no total
-
14
GPT-6-astra OpenAI · esforço ultra 3 de 3 runs (715 · 781 · 721)721 de 1000 LEB Silver
- Segurança194/250
- Arquitetura133/200
- Bugs124/150
- Performance102/150
- Código limpo46/100
- Compatibilidade100/100
- Explicação42/50
Comentário e ficha
Três execuções (715, 781 e 721), então a nota publicada é a mediana, 721, com 66 pontos de diferença entre a melhor e a pior, Silver, Gold e Silver. Segurança 194, 232 e 194 de 250, arquitetura 131, 100 e 133 de 200, bugs 124, 150 e 124 de 150, desempenho 93, 128 e 102 de 150 e código limpo 50, 29 e 46 de 100, na ordem das execuções. A compatibilidade foi 100 em todas as execuções. Penalidades: a execução 1 perdeu 20 pontos por um teste de caracterização quebrado (PEN-002); a execução 4 perdeu 20 pontos por um teste de caracterização quebrado (PEN-002). Os relatórios cobriram 25, 25 e 24 das 36 falhas plantadas e o código corrigiu 29, 28 e 31, com 0, 0 e 1 falsos positivos e 21, 22 e 18 achados extras; os relatórios tiveram 43, 42 e 42 de 50. As sessões levaram 25, 33 e 27 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo. Em esforço ultra o agente reparte o trabalho em threads de subagentes próprias; os totais de tokens somam todas as threads.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 71525minTokens: 397.360 de entrada · 97.352 de saída · 12.956.160 de cache · 13.450.872 no total
- Run 2 · 78133minTokens: 558.132 de entrada · 121.261 de saída · 18.943.872 de cache · 19.623.265 no total
- Run 4 · 72127minTokens: 306.601 de entrada · 98.096 de saída · 13.530.112 de cache · 13.934.809 no total
-
15
Claude Sonnet 5.5 Anthropic · esforço medium 3 de 3 runs (659 · 717 · 734)717 de 1000 LEB Silver
- Segurança236/250
- Arquitetura100/200
- Bugs121/150
- Performance99/150
- Código limpo50/100
- Compatibilidade70/100
- Explicação41/50
Comentário e ficha
Três execuções (659, 717 e 734), então a nota publicada é a mediana, 717. A segurança ficou entre 222 e 236 de 250 e os bugs entre 121 e 137 de 150; o desempenho subiu de 77 para 99 e 115 de 150, a arquitetura foi 61, 100 e 94 de 200 e o código limpo 21, 50 e 21 de 100. As execuções corrigiram 23, 28 e 27 das 36 falhas plantadas e reportaram 21, 22 e 25, nenhuma com falso positivo, e os relatórios tiveram 41, 41 e 42 de 50. Na segunda, a mediana, uma mudança foi além do que o manifesto contrata (a chave de idempotência passou a incluir o usuário, então outro usuário da mesma empresa que repete o pedido recebe 422 em vez da resposta original) e custou 30 pontos de compatibilidade (70, contra 100 nas outras duas). As sessões levaram 14, 29 e 21 minutos, sem a espera entre as duas etapas, por US$ 1,98, US$ 2,96 e US$ 2,25. O mesmo modelo em esforço high tem mediana de 855 e em xhigh uma nota publicada de 860 em duas execuções.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 65914minUS$ 1.98Tokens: 1.364 de entrada · 34.340 de saída · 3.425.232 de cache · 3.460.936 no total
- Run 2 · 71729minUS$ 2.96Tokens: 1.794 de entrada · 59.634 de saída · 5.841.812 de cache · 5.903.240 no total
- Run 3 · 73421minUS$ 2.25Tokens: 1.272 de entrada · 61.955 de saída · 4.759.376 de cache · 4.822.603 no total
-
16
GPT-6-astra OpenAI · esforço xhigh 3 de 3 runs (717 · 729 · 680)717 de 1000 LEB Silver
- Segurança194/250
- Arquitetura142/200
- Bugs124/150
- Performance86/150
- Código limpo50/100
- Compatibilidade100/100
- Explicação41/50
Comentário e ficha
Três execuções (717, 729 e 680), então a nota publicada é a mediana, 717, com 49 pontos de diferença entre a melhor e a pior, todas Silver. Segurança 194, 194 e 194 de 250, arquitetura 142, 136 e 142 de 200, bugs 124, 124 e 124 de 150, desempenho 86, 89 e 77 de 150 e código limpo 50, 64 e 46 de 100, na ordem das execuções. A compatibilidade foi 100, 100 e 75: a execução 3 perdeu 25 pontos (COMP-008, uma mudança no contrato público). Penalidades: a execução 1 perdeu 20 pontos por um teste de caracterização quebrado (PEN-002); a execução 2 perdeu 20 pontos por um teste de caracterização quebrado (PEN-002); a execução 3 perdeu 20 pontos por um teste de caracterização quebrado (PEN-002). Os relatórios cobriram 22, 23 e 22 das 36 falhas plantadas e o código corrigiu 32, 33 e 31, com 0, 0 e 0 falsos positivos e 13, 21 e 18 achados extras; os relatórios tiveram 41, 42 e 42 de 50. As sessões levaram 28, 42 e 56 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 71728minTokens: 213.017 de entrada · 62.221 de saída · 6.991.616 de cache · 7.266.854 no total
- Run 2 · 72942minTokens: 284.263 de entrada · 74.645 de saída · 7.340.800 de cache · 7.699.708 no total
- Run 3 · 68056minTokens: 214.526 de entrada · 73.060 de saída · 6.658.816 de cache · 6.946.402 no total
-
17
Kimi K3 Moonshot AI · esforço high 3 de 3 runs (737 · 712 · 652)712 de 1000 LEB Silver
- Segurança229/250
- Arquitetura92/200
- Bugs137/150
- Performance96/150
- Código limpo18/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Três execuções, 737, 712 e 652, então a nota oficial é a mediana, 712. A primeira e a terceira passaram pela Novita AI e a segunda pela API da própria Moonshot, como no LEB-100; a terceira é a primeira feita pelo laboratório sem operador, sem pausa entre as etapas. Segurança ficou entre 218 e 232 de 250 e o contrato intacto (compatibilidade 100); bugs foram 132, 137 e 147 de 150. A dispersão está em arquitetura e desempenho: a terceira fez 47 de 200 em arquitetura (92 nas duas anteriores) e 77 de 150 em desempenho (96 antes). Código limpo: 43, 18 e 21 de 100. Na primeira execução um achado descreveu um conflito que o código não pode produzir. As sessões levaram 69, 71 e 60 minutos (a primeira sem os 10 que o operador levou entre as etapas) e custaram US$ 4,86, 4,67 e 4,18.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 7371h 9minUS$ 4.86Tokens: 331.676 de entrada · 56.450 de saída · 7.277.568 de cache · 7.721.456 no total
- Run 2 · 7121h 11minUS$ 4.67Tokens: 206.664 de entrada · 57.396 de saída · 8.800.256 de cache · 9.100.849 no total
- Run 3 · 6521hUS$ 4.18Tokens: 193.532 de entrada · 61.730 de saída · 7.657.728 de cache · 7.937.937 no total
-
18
GLM-5.3-Flash Z.AI · esforço max 1 de 3 runs693 de 1000 LEB Silver
- Segurança211/250
- Arquitetura106/200
- Bugs147/150
- Performance89/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Com uma execução só: segurança 211 de 250, bugs 147 de 150, arquitetura 106 de 200, desempenho 89 de 150 e nada em código limpo, com o contrato intacto (compatibilidade 100) e sem penalidade. Corrigiu 25 das 36 falhas plantadas e reportou 23, sem falso positivo; o relatório teve 40 de 50. O mesmo modelo em esforço high fez 568 numa execução pela API da própria Z.ai; esta rodou em esforço max pela Novita AI, então a diferença de 125 pontos mistura o esforço e o provedor. A sessão levou 53 minutos, sem os 13 minutos que o operador levou entre as duas etapas, por US$ 0,54 e cerca de 13,4 milhões de tokens. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 69353minUS$ 0.54Tokens: 622.450 de entrada · 63.956 de saída · 12.599.424 de cache · 13.354.809 no total
-
19
GLM-5.3 Z.AI · esforço high 1 de 3 runs688 de 1000 LEB Silver
- Segurança222/250
- Arquitetura69/200
- Bugs147/150
- Performance96/150
- Código limpo14/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Com uma execução só, empatado com o melhor em bugs (147 de 150): segurança 222 de 250, desempenho 96 de 150, arquitetura 69 de 200 e 14 de 100 em código limpo, com o contrato intacto. Vários achados de segurança e de arquitetura foram registrados como bugs comuns ou como problemas de qualidade, e cada um perde metade do crédito. Rodou pelo OpenRouter, numa sessão de 75 minutos por US$ 1,62. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 6881h 15minUS$ 1.62Tokens: 127.024 de entrada · 66.405 de saída · 17.751.296 de cache · 17.994.214 no total
-
20
DeepSeek V4.1 Flash DeepSeek · esforço high 1 de 3 runs649 de 1000 LEB Silver
- Segurança229/250
- Arquitetura47/200
- Bugs137/150
- Performance96/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Com uma execução só: segurança em 229 de 250 e bugs em 137 de 150, com o contrato intacto (compatibilidade 100). Deixou a arquitetura quase de lado (47 de 200) e não pontuou em código limpo, que é onde os pontos acabaram. Um dos achados descreveu um problema que o código não pode ter. As duas etapas rodaram numa sessão do OpenCode de 36 minutos por US$ 0,12, de longe a linha mais barata daqui. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 64936minUS$ 0.12Tokens: 123.372 de entrada · 47.279 de saída · 14.006.016 de cache · 14.226.586 no total
-
21
GLM-5.3-FlashX Z.AI · esforço high 1 de 3 runs648 de 1000 LEB Silver
- Segurança187/250
- Arquitetura92/200
- Bugs145/150
- Performance77/150
- Código limpo32/100
- Compatibilidade75/100
- Explicação40/50
Comentário e ficha
Com uma execução só: bugs em 145 de 150, segurança em 187 de 250, arquitetura em 92 de 200, desempenho em 77 de 150 e código limpo em 32 de 100. Acrescentou um bloqueio de login (10 tentativas erradas para um e-mail em 15 minutos, vindas de qualquer um) que responde 401 até para a senha certa, e o juiz cobrou isso como mudança de comportamento contratado (compatibilidade 75 de 100). Rodou pela API da própria Z.ai. A sessão levou 47 minutos e custou US$ 0,96. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 64847minUS$ 0.96Tokens: 198.120 de entrada · 54.593 de saída · 10.246.592 de cache · 10.540.100 no total
-
22
GPT-5.6-terra OpenAI · esforço xhigh 3 de 3 runs (625 · 574 · 657)625 de 1000 LEB Silver
- Segurança225/250
- Arquitetura47/200
- Bugs134/150
- Performance96/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação38/50
Comentário e ficha
Três execuções, de 574 a 657, e a nota oficial, 625, é a do meio. A segurança foi 225, 225 e 246 de 250, a arquitetura 47 de 200 nas três, o código limpo 0, 0 e 18 de 100, os bugs 134, 137 e 142 de 150 e o desempenho 96, 41 e 64 de 150, com o contrato intacto em todas (compatibilidade 100). As duas primeiras levaram a penalidade de 15 pontos por uma correção que introduziu um bug novo; a terceira não levou nenhuma. As sessões levaram 32, 28 e 32 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 62532minTokens: 229.711 de entrada · 55.406 de saída · 8.839.936 de cache · 9.125.053 no total
- Run 2 · 57428minTokens: 238.473 de entrada · 55.402 de saída · 7.062.528 de cache · 7.356.403 no total
- Run 3 · 65732minTokens: 214.606 de entrada · 52.932 de saída · 7.931.904 de cache · 8.199.442 no total
-
23
GPT-5.6-luna OpenAI · esforço xhigh 3 de 3 runs (638 · 512 · 618)618 de 1000 LEB Silver
- Segurança211/250
- Arquitetura47/200
- Bugs142/150
- Performance80/150
- Código limpo14/100
- Compatibilidade100/100
- Explicação39/50
Comentário e ficha
Três execuções (638, 512 e 618), então a nota publicada é a mediana, 618, com 126 pontos de diferença entre a melhor e a pior, Silver, Bronze e Silver. Segurança 211, 173 e 211 de 250, arquitetura 47, 67 e 47 de 200, bugs 147, 121 e 142 de 150, desempenho 77, 57 e 80 de 150 e código limpo 18, 0 e 14 de 100, na ordem das execuções. A compatibilidade foi 100, 75 e 100: a execução 2 perdeu 25 pontos (COMP-008, uma mudança no contrato público). Penalidades: a execução 2 perdeu 20 pontos por um teste de caracterização quebrado (PEN-002); a execução 3 perdeu 15 pontos por um defeito novo introduzido pela própria mudança (PEN-001). Os relatórios cobriram 20, 18 e 18 das 36 falhas plantadas e o código corrigiu 22, 23 e 23, com 0, 1 e 0 falsos positivos e 9, 6 e 10 achados extras; os relatórios tiveram 38, 39 e 39 de 50. As sessões levaram 42, 38 e 34 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 63842minTokens: 449.393 de entrada · 80.165 de saída · 19.209.472 de cache · 19.739.030 no total
- Run 2 · 51238minTokens: 392.754 de entrada · 73.502 de saída · 13.548.032 de cache · 14.014.288 no total
- Run 3 · 61834minTokens: 530.870 de entrada · 78.034 de saída · 22.673.536 de cache · 23.282.440 no total
-
24
GPT-6-luna OpenAI · esforço xhigh 3 de 3 runs (471 · 612 · 630)612 de 1000 LEB Silver
- Segurança236/250
- Arquitetura47/200
- Bugs137/150
- Performance51/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação41/50
Comentário e ficha
Três execuções (471, 612 e 630), então a nota publicada é a mediana, 612, com 159 pontos de diferença entre a melhor e a pior, Bronze, Silver e Silver. Segurança 180, 236 e 243 de 250, arquitetura 47, 47 e 47 de 200, bugs 124, 137 e 111 de 150, desempenho 70, 51 e 89 de 150 e código limpo 0, 0 e 0 de 100, na ordem das execuções. A compatibilidade foi 45, 100 e 100: a execução 1 perdeu 55 pontos (COMP-008, uma mudança no contrato público, COMP-003, ). Penalidades: a execução 1 perdeu 35 pontos por um teste de caracterização quebrado (PEN-002); um defeito novo introduzido pela própria mudança (PEN-001). Os relatórios cobriram 21, 20 e 20 das 36 falhas plantadas e o código corrigiu 22, 19 e 21, com 2, 0 e 0 falsos positivos e 9, 7 e 10 achados extras; os relatórios tiveram 40, 41 e 40 de 50. As sessões levaram 34, 17 e 31 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 47134minTokens: 325.721 de entrada · 99.556 de saída · 8.990.976 de cache · 9.416.253 no total
- Run 2 · 61217minTokens: 288.934 de entrada · 92.450 de saída · 5.842.048 de cache · 6.223.432 no total
- Run 3 · 63031minTokens: 334.449 de entrada · 118.381 de saída · 7.602.944 de cache · 8.055.774 no total
-
25
GLM-5.3-Flash Z.AI · esforço high 1 de 3 runs568 de 1000 LEB Bronze
- Segurança204/250
- Arquitetura47/200
- Bugs126/150
- Performance51/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Com uma execução só: segurança 204 de 250, bugs 126 de 150, desempenho 51 de 150, arquitetura 47 de 200 e nada em código limpo, com o contrato intacto (compatibilidade 100) e sem penalidade. Corrigiu 17 das 36 falhas plantadas e reportou 20, sem falso positivo; o relatório teve 40 de 50, com a nota mais baixa em priorização, porque a ordem dos achados contradiz as próprias etiquetas de gravidade. Rodou pela API da própria Z.ai; a sessão levou 46 minutos, sem as quase duas horas que o operador levou entre as duas etapas, por US$ 0,31 e cerca de 7,7 milhões de tokens. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 56846minUS$ 0.31Tokens: 333.659 de entrada · 52.805 de saída · 7.231.040 de cache · 7.652.156 no total
-
26
MiniMax-M3 MiniMax · esforço thinking 3 de 3 runs (388 · 398 · 810)398 de 1000 Reprovada
- Segurança169/250
- Arquitetura25/200
- Bugs42/150
- Performance26/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação36/50
Comentário e ficha
Três execuções, e a terceira está longe das outras duas: 388 e 398 (Reprovada) contra 810 (Gold), então a nota oficial, a mediana, é 398 e a configuração não é estável. A compatibilidade ficou inteira nas três. Nas duas primeiras, o relatório da primeira etapa registrou vários problemas de segurança e de arquitetura como bugs comuns e não os reclassificou (segurança 113 de 250, bugs 47 de 150); na terceira detectou 23 das 36 falhas plantadas e corrigiu 13, com segurança 225, arquitetura 136, bugs 145, desempenho 112 e código limpo 50, e um relatório com 42 de 50. As execuções levaram 42, 53 e 105 minutos, a US$ 1,21, 0,81 e 4,12.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 38842minUS$ 1.21Tokens: 128.455 de entrada · 48.678 de saída · 15.344.274 de cache · 15.575.334 no total
- Run 2 · 39853minUS$ 0.81Tokens: 282.942 de entrada · 41.745 de saída · 10.646.261 de cache · 11.004.186 no total
- Run 3 · 8101h 45minUS$ 4.12Tokens: 591.588 de entrada · 121.599 de saída · 35.526.597 de cache · 36.384.563 no total
-
27
GLM-5.2 Z.AI · esforço high 1 de 3 runs390 de 1000 Reprovada
- Segurança151/250
- Arquitetura39/200
- Bugs63/150
- Performance51/150
- Código limpo0/100
- Compatibilidade45/100
- Explicação41/50
Comentário e ficha
A explicação fez 41 de 50, mas o código perdeu terreno: segurança 151 de 250, bugs 63 de 150, desempenho 51 de 150 e nada em código limpo. Duas das mudanças quebraram contratos do manifesto, o que custou 55 dos 100 pontos de compatibilidade, a menor nota do placar. Rodou pela Novita AI, numa sessão de 21 minutos por US$ 3,14. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Zero
- Código limpo
Run a run
- Run 1 · 39021minUS$ 3.14Tokens: 625.652 de entrada · 33.738 de saída · 7.828.480 de cache · 8.505.204 no total
-
28
NVIDIA Nemotron 3.5 Super VL NVIDIA · esforço high (permissions auto-approved) 1 de 3 runs367 de 1000 Reprovada
- Segurança120/250
- Arquitetura19/200
- Bugs105/150
- Performance0/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação38/50
Comentário e ficha
Com uma execução só: compatibilidade inteira (100), segurança 120 de 250, bugs 105 de 150 e arquitetura 19 de 200, nada em desempenho nem em código limpo, e 15 pontos perdidos por um defeito novo no próprio conserto. Detectou 12 das 36 falhas plantadas e corrigiu 6; relatou mais 2 achados reais fora do conjunto plantado, e a confiança foi bem calibrada (Brier 0,08). O relatório teve 38 de 50. Rodou pela variante gratuita do OpenRouter, sem custo e em 20 minutos, em high, o maior esforço que o cliente define para ele. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Performance, Código limpo
Run a run
- Run 1 · 36720minUS$ 0.00Tokens: 581.974 de entrada · 28.073 de saída · 6.144.112 de cache · 6.781.516 no total
-
29
NVIDIA Nemotron 3 Ultra NVIDIA · esforço high (permissions auto-approved) 1 de 3 runs326 de 1000 Reprovada
- Segurança74/250
- Arquitetura47/200
- Bugs24/150
- Performance70/150
- Código limpo0/100
- Compatibilidade75/100
- Explicação36/50
Comentário e ficha
Com uma execução só: compatibilidade 75 de 100 (uma regra de login do contrato mudou), segurança 74 de 250, arquitetura 47 de 200, bugs 24 de 150 e desempenho 70 de 150, nada em código limpo. Detectou 9 das 36 falhas plantadas e corrigiu 4; relatou ainda 6 achados reais fora do conjunto plantado, e a confiança foi bem calibrada (Brier 0,07). O relatório teve 36 de 50. Rodou pela variante gratuita do OpenRouter, sem custo e em 28 minutos, em high, o maior esforço que o cliente define para ele. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Zero
- Código limpo
Run a run
- Run 1 · 32628minUS$ 0.00Tokens: 760.068 de entrada · 52.222 de saída · 12.511.936 de cache · 13.331.009 no total
-
30
MiniMax-M2.7-highspeed MiniMax · esforço padrão (não configurável) 1 de 3 runs291 de 1000 Reprovada
- Segurança77/250
- Arquitetura22/200
- Bugs11/150
- Performance51/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação30/50
Comentário e ficha
Com uma execução só: segurança 77 de 250, bugs 11 de 150, desempenho 51 de 150, arquitetura 22 de 200 e nada em código limpo, com o contrato intacto (compatibilidade 100) e sem penalidade. Fez poucas edições pequenas e pontuais e corrigiu 7 das 36 falhas plantadas; reportou 8 delas (uma das quais ficou sem correção) e um falso positivo, um erro de contagem que o código não tem. O relatório teve 30 de 50, com as notas mais baixas em priorização e trade-offs: os dois achados críticos aparecem em 7º e 8º na lista, e a tabela de decisões quase não compara alternativas. O MiniMax-M2.7-highspeed é a série M2.7 servida mais rápido (a MiniMax diz "mesmo desempenho, mais rápido"), e o OpenCode não oferece ajuste de esforço para ele. O agente gravou RELATORIO.md e achados.json dentro de code/ em vez da raiz do projeto, e a entrega foi aceita como veio. As duas etapas rodaram em uma sessão do OpenCode de 10 minutos, sem os 7 minutos que o operador levou entre as duas etapas, pela API da própria MiniMax, por US$ 0,35. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 29110minUS$ 0.35Tokens: 59.631 de entrada · 15.697 de saída · 3.198.034 de cache · 3.280.847 no total
-
31
Crouton Alpha Stealth · esforço max (permissions auto-approved) 1 de 3 runs275 de 1000 Reprovada
- Segurança67/250
- Arquitetura0/200
- Bugs100/150
- Performance0/150
- Código limpo0/100
- Compatibilidade70/100
- Explicação38/50
Comentário e ficha
Com uma execução só: segurança 67 de 250 e bugs 100 de 150, nada em arquitetura, desempenho e código limpo, e compatibilidade 70 de 100 (uma regra do contrato mudou sem ser relatada). Detectou 11 das 36 falhas plantadas e corrigiu 7; nenhuma isca foi relatada como falha, um achado próprio era real mas fora do conjunto plantado, e a confiança dele foi bem calibrada. O relatório teve 38 de 50, com a nota mais baixa em priorização. Rodou pela variante gratuita do OpenRouter de um modelo furtivo (o fabricante não é revelado), sem custo e em 21 minutos; uma primeira tentativa terminou com erro do provedor após 146 minutos e foi retirada. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Zero
- Arquitetura, Performance, Código limpo
Run a run
- Run 2 · 27521minUS$ 0.00Tokens: 23.998.526 de entrada · 14.387 de saída · 0 de cache · 24.015.200 no total
-
32
Claude Haiku 4.5 Anthropic · esforço padrão (não configurável) 3 de 3 runs (242 · 218 · 272)242 de 1000 Reprovada
- Segurança56/250
- Arquitetura25/200
- Bugs29/150
- Performance0/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação32/50
Comentário e ficha
Três execuções entre 218 e 272, e os 242 publicados são a do meio. Duas das três mudaram um comportamento que o manifesto contrata e perderam 30 pontos de compatibilidade; a execução publicada não. A segurança foi 56 de 250 na execução publicada e passou de 100 nas outras duas, enquanto desempenho e código limpo ficaram perto de zero em todas. A execução publicada foi a linha mais rápida daqui, 12 minutos; as outras duas levaram 28 e 44, e a segunda custou US$ 2,22. As três rodaram no Claude Code.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Performance, Código limpo
Run a run
- Run 1 · 24212minUS$ 0.96Tokens: 1.476 de entrada · 32.117 de saída · 6.064.686 de cache · 6.098.279 no total
- Run 2 · 21844minUS$ 2.22Tokens: 16.438 de entrada · 88.702 de saída · 13.017.862 de cache · 13.123.002 no total
- Run 3 · 27228minUS$ 1.36Tokens: 2.073 de entrada · 43.806 de saída · 9.106.328 de cache · 9.152.207 no total
-
33
Gemma 4 26B A4B Google DeepMind · esforço high 1 de 3 runs232 de 1000 Reprovada
- Segurança63/250
- Arquitetura14/200
- Bugs8/150
- Performance16/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação31/50
Comentário e ficha
Com uma execução só: o contrato ficou inteiro (compatibilidade 100), mas pouco mais se moveu: segurança 63 de 250, arquitetura 14 de 200, bugs 8 de 150, desempenho 16 de 150 e nada em código limpo. Corrigiu 3 das 36 falhas plantadas e reportou 5, todas reais e nenhuma falso positivo, cada uma com confiança total; o relatório teve 31 de 50, com as notas mais baixas em priorização e em trade-offs. A execução custou US$ 0,36 e levou 14 minutos do tempo do próprio agente, sem os 7 minutos que o operador levou entre as duas etapas. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 23214minUS$ 0.36Tokens: 2.731.666 de entrada · 20.301 de saída · 0 de cache · 2.752.166 no total
-
34
MiniMax-M2.7 MiniMax · esforço padrão (não configurável) 1 de 3 runs202 de 1000 Reprovada
- Segurança85/250
- Arquitetura0/200
- Bugs8/150
- Performance0/150
- Código limpo0/100
- Compatibilidade75/100
- Explicação34/50
Comentário e ficha
Com uma execução só: segurança 85 de 250, bugs 8 de 150, e nada em arquitetura, desempenho ou código limpo, com a compatibilidade em 75 de 100 por uma violação mantida como julgada: o limitador de tentativas de login que ela criou responde 401 até para a senha certa depois de cinco tentativas em 15 minutos pelo mesmo endereço não local (COMP-008). Corrigiu 3 das 36 falhas plantadas e reportou 5 (duas delas ficaram sem correção), com um falso positivo, um erro de contagem que o código não tem, e um achado extra. O relatório teve 34 de 50, com a nota mais baixa em precisão, porque se contradiz em alguns pontos (um token válido "até a expiração" e depois "indefinidamente") e exagera o tempo que um ataque de força bruta levaria. O MiniMax-M2.7 é o modelo de velocidade padrão da série, e o OpenCode não oferece ajuste de esforço para ele. As duas etapas rodaram em uma sessão do OpenCode de 15 minutos, sem os 7 minutos que o operador levou entre as duas etapas, pela API da própria MiniMax, por US$ 0,44. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Zero
- Arquitetura, Performance, Código limpo
Run a run
- Run 1 · 20215minUS$ 0.44Tokens: 76.199 de entrada · 15.764 de saída · 5.219.356 de cache · 5.319.203 no total
-
35
NVIDIA Nemotron 3.5 Lightning NVIDIA · esforço high (permissions auto-approved) 1 de 3 runs175 de 1000 Reprovada
- Segurança39/250
- Arquitetura0/200
- Bugs5/150
- Performance0/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação31/50
Comentário e ficha
Com uma execução só: compatibilidade inteira (100), segurança 39 de 250 e bugs 5 de 150, nada mais. Detectou 3 das 36 falhas plantadas e não corrigiu nenhuma; os três achados eram reais e a confiança foi bem calibrada (Brier 0,001), mas fez pouco do trabalho. O relatório teve 31 de 50. Rodou pela variante gratuita do OpenRouter, sem custo e em 14 minutos, em high, o maior esforço que o cliente define para ele. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Arquitetura, Performance, Código limpo
Run a run
- Run 1 · 17514minUS$ 0.00Tokens: 285.470 de entrada · 11.957 de saída · 4.397.408 de cache · 4.715.841 no total
-
36
NVIDIA Nemotron 3 Nano Omni NVIDIA · esforço max (permissions auto-approved) 1 de 3 runs148 de 1000 Reprovada
- Segurança18/250
- Arquitetura0/200
- Bugs0/150
- Performance0/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação30/50
Comentário e ficha
Com uma execução só: o contrato ficou inteiro (compatibilidade 100), mas quase nada mais se moveu: segurança 18 de 250 e nada em arquitetura, bugs, desempenho e código limpo. Detectou 1 das 36 falhas plantadas e a corrigiu; reportou 3 achados, todos com confiança alta, e dois deles não eram falhas reais (nenhuma isca entre eles), então a confiança ficou mal calibrada. O relatório teve 30 de 50, com a nota mais baixa em trade-offs. Rodou pela variante gratuita do OpenRouter, sem custo e em 9 minutos, no max, o maior esforço que o cliente define para ele. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Arquitetura, Bugs, Performance, Código limpo
Run a run
- Run 1 · 1489minUS$ 0.00Tokens: 91.719 de entrada · 5.148 de saída · 1.502.704 de cache · 1.620.918 no total
-
37
Cohere North Mini Code Cohere · esforço high (permissions auto-approved) 1 de 3 runs0 de 1000 Reprovada
- Segurança25/250
- Arquitetura0/200
- Bugs0/150
- Performance10/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação19/50
Comentário e ficha
Com uma execução só, a menor nota possível: 0. As mudanças quebraram 70 dos testes de caracterização que protegem o comportamento do legado (70 × −20 = −1.400 pontos, que a nota trava em zero), embora o contrato em si tenha contado como inteiro (compatibilidade 100). Detectou 3 das 36 falhas plantadas e não corrigiu nenhuma; reportou 9 achados e a confiança foi mal calibrada (Brier 0,52, três em cada quatro achados de confiança alta não eram reais). Segurança 25 de 250 e desempenho 10 de 150, nada mais; o relatório teve 19 de 50. Rodou pela variante gratuita do OpenRouter, sem custo e em 4 minutos, em high, o maior esforço que o cliente define para ele. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Arquitetura, Bugs, Código limpo
Run a run
- Run 1 · 04minUS$ 0.00Tokens: 2.843.166 de entrada · 20.581 de saída · 0 de cache · 2.871.222 no total
O que o registro não tem
- Não foi feito o checkpoint entre as duas etapas da tarefa em nenhuma das execuções, então não consta no registro que o modelo foi o mesmo durante a primeira etapa. As transcrições mostram um único modelo.
- O texto da tarefa que o agente leu cita o hash da matriz de pontuação anterior. A matriz com que esta execução é pontuada difere dela só por um campo do cabeçalho que marca a instância como ativa. A pontuação é a mesma.
- Os agentes não rodaram todos no mesmo cliente, o Claude Code ou o OpenCode, cada um com as suas ferramentas. O cliente de cada execução consta no registro dela.
O que é publicado
Esta página mostra uma linha por agente: o total, a nota, a pontuação em cada categoria, em quantas execuções ela se baseia, e o custo e o tempo. Nunca mostra a entrega, o veredito nem os resultados falha a falha de uma execução, que ficam num arquivo privado. A instância e o gabarito dela são públicos no GitHub; as máquinas que rodam os agentes não alcançam o GitHub.
A instância está em piloto exploratório. Os resultados acima são os publicados até agora, e outros agentes virão. As primeiras execuções serviram também para conferir o procedimento.
O protocolo, a pontuação e as ferramentas são públicos no repositório ai-benchmark. Como um run funciona e no que os dois níveis diferem está na página Benchmark, e os resultados do primeiro nível estão na página do LEB-100.