LEB Default

Uma execução de um caso de cinco fez 880 (Gold). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 27,33 e 70 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (209 de 213), depois desempenho (208 de 213), código limpo (116 de 141) e arquitetura (202 de 283). O relatório teve 45 de 50. Rodou na conta pessoal do dono no Claude (token de longa duração), então o custo é o preço de lista do cliente, não uma cobrança. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 880.0 (880.0 a 880.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 813 e 858, média 835 com intervalo de 95% de 822 a 849, todas Gold. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 7,58 e 32 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (206 de 213 em média), depois desempenho (192 de 213), arquitetura (200 de 283) e código limpo (95 de 141). Os relatórios tiveram de 43 a 45 de 50. Penalidades: as execuções 2 e 3 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. As execuções 3, 4, 5 rodouram com uma chave de API da Anthropic, paga com crédito de API, e as outras com um token de assinatura; o modelo e o cliente são os mesmos.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 835.2 (822.2 a 849.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 785 e 874, média 826 com intervalo de 95% de 797 a 855, todas Gold. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 23,32 e 71 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (209 de 213 em média), depois desempenho (193 de 213), arquitetura (190 de 283) e código limpo (89 de 141). Os relatórios tiveram de 44 a 45 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. As execuções 2, 3, 4, 5 rodaram com uma chave de API da Anthropic, paga com crédito de API, e a outra com um token de assinatura; o modelo e o cliente são os mesmos.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 825.6 (796.6 a 854.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções de um caso de cinco, entre 544 e 815. O destaque, 815 (Gold), é a única execução que terminou dentro do orçamento de 90 minutos (61 minutos, US$ 31,01). As outras quatro foram paradas no orçamento e são pontuadas pela pasta que cada uma deixou: 573, 544, 812 e 555, e só a terceira entregou relatório, três minutos antes do corte. Então uma tentativa em cinco concluiu, e a nota esperada por tentativa agendada é 660, com intervalo de 554 a 765. É o modo multiagente do Claude Code (ultracode), ligado com /effort ultracode no começo da sessão: as execuções usaram 16, 26, 31, 13 e 126 subagentes do mesmo modelo, na ordem das execuções. Não há custo registrado nas quatro paradas. As execuções 2 e 3 rodaram com uma chave de API da Anthropic, e as outras com um token de assinatura Claude. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 1 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 0 de 1.
• Nota esperada por tentativa agendada: 659.8 (554.2 a 765.4).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 4. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 752 e 836, média 785 com intervalo de 95% de 764 a 812, todas Gold. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 5,78 e 35 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (202 de 213 em média), depois desempenho (176 de 213), código limpo (88 de 141) e arquitetura (176 de 283). Os relatórios tiveram 45 de 50. Penalidades: a execução 3 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 785.2 (764.0 a 812.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 625 e 812, média 732 com intervalo de 95% de 677 a 789, duas Gold e três Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 3,97 e 22 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (173 de 213 em média), depois desempenho (173 de 213), arquitetura (166 de 283) e código limpo (79 de 141). Os relatórios tiveram de 43 a 44 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 731.6 (676.8 a 789.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 672 e 776, média 726 com intervalo de 95% de 698 a 754, uma Gold e quatro Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 4,6 milhões de tokens e 25 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (209 de 213 em média), depois desempenho (183 de 213), arquitetura (150 de 283) e código limpo (46 de 141). Os relatórios tiveram de 42 a 43 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança; as execuções 4 e 5 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 725.6 (698.0 a 753.8).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 682 e 748, média 718 com intervalo de 95% de 695 a 740, todas Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 2,79 (estimativa do próprio cliente) e 40 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (185 de 213 em média), depois desempenho (157 de 213), arquitetura (192 de 283) e código limpo (46 de 141). Os relatórios tiveram de 38 a 41 de 50. Penalidades: a execução 7 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 718.2 (694.8 a 740.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 20.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 694 e 734, média 713 com intervalo de 95% de 700 a 728, todas Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 2,29 e 20 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (199 de 213 em média), depois desempenho (173 de 213), arquitetura (138 de 283) e código limpo (66 de 141). Os relatórios tiveram de 40 a 43 de 50. Penalidades: as execuções 1, 2, 3 e 5 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 713.4 (699.8 a 727.8).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 629 e 749, média 698 com intervalo de 95% de 662 a 734, todas Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 11,1 milhões de tokens e 16 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (209 de 213 em média), depois desempenho (194 de 213), arquitetura (142 de 283) e código limpo (20 de 141). Os relatórios tiveram de 41 a 45 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança; as execuções 1, 2, 3, 4 e 5 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas). O ultra é o esforço multiagente do cliente: um agente principal e subagentes do mesmo modelo, e os tokens contados são os de todos eles.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 698.4 (662.2 a 734.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 650 e 718, média 684 com intervalo de 95% de 664 a 704, todas Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 6,0 milhões de tokens e 24 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (209 de 213 em média), depois desempenho (184 de 213), arquitetura (130 de 283) e código limpo (29 de 141). Os relatórios tiveram de 41 a 43 de 50. Penalidades: as execuções 1 e 4 perderam 15 pontos cada por um defeito novo introduzido pela própria mudança; as execuções 1, 2, 3, 4 e 5 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 683.6 (664.0 a 704.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 607 e 694, média 661 com intervalo de 95% de 631 a 689, todas Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 5,3 milhões de tokens e 17 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (203 de 213 em média), depois desempenho (181 de 213), arquitetura (128 de 283) e código limpo (16 de 141). Os relatórios tiveram de 41 a 44 de 50. Penalidades: as execuções 1 e 2 perderam 15 pontos cada por um defeito novo introduzido pela própria mudança; as execuções 2, 3 e 4 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 661.4 (631.2 a 688.8).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 622 e 648, média 638 com intervalo de 95% de 630 a 646, todas Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 15,3 milhões de tokens e 17 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (209 de 213 em média), depois desempenho (189 de 213), arquitetura (91 de 283) e código limpo (12 de 141). Os relatórios tiveram de 41 a 44 de 50. Penalidades: as execuções 1, 2, 3, 4 e 5 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas). O ultra é o esforço multiagente do cliente: um agente principal e subagentes do mesmo modelo, e os tokens contados são os de todos eles.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 638.2 (629.6 a 646.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 579 e 627, média 605 com intervalo de 95% de 588 a 622, três Silver e duas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 7,41 (estimativa do próprio cliente) e 39 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (206 de 213 em média), depois desempenho (157 de 213), arquitetura (101 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 44 de 50. Penalidades: as execuções 2 e 5 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, cuja única origem para este modelo é a própria xAI.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 605.2 (588.2 a 622.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 526 e 696, média 602 com intervalo de 95% de 553 a 650, duas Silver e três Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 2,55 e 26 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (186 de 213 em média), depois desempenho (142 de 213), arquitetura (131 de 283) e código limpo (2 de 141). Os relatórios tiveram de 43 a 45 de 50. Penalidades: a execução 4 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. As execuções 2, 3, 4, 5 rodouram com uma chave de API da Anthropic, paga com crédito de API, e as outras com um token de assinatura; o modelo e o cliente são os mesmos.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 601.6 (553.2 a 650.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 541 e 654, média 598 (o intervalo, de 541 a 654, é a amplitude das duas), uma Silver e uma Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 3,01 (estimativa do próprio cliente) e 39 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Desempenho foi a área mais forte (170 de 213 em média), depois corrigir bugs (159 de 213), arquitetura (109 de 283) e código limpo (25 de 141). Os relatórios tiveram de 42 a 43 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 597.5 (541.0 a 654.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 556 e 596, média 576 (o intervalo, de 556 a 596, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 8,54 (estimativa do próprio cliente) e 40 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (200 de 213 em média), depois desempenho (145 de 213), arquitetura (105 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 42 de 50. Penalidades: as execuções 1 e 2 perderam 15 pontos cada por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 576.0 (556.0 a 596.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 525 e 614, média 560 com intervalo de 95% de 532 a 593, uma Silver e quatro Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,21 e 17 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (183 de 213 em média), depois desempenho (119 de 213), arquitetura (85 de 283) e código limpo (38 de 141). Os relatórios tiveram de 39 a 42 de 50. Penalidades: as execuções 1, 2, 3 e 4 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Todas as execuções rodaram com uma chave de API da Anthropic, paga com crédito de API, onde as primeiras configurações do Claude rodaram com um token de assinatura; o modelo e o cliente são os mesmos.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 560.4 (531.6 a 593.4).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 523 e 588, média 556 (o intervalo, de 523 a 588, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de 8,2 milhões de tokens e 13 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (200 de 213 em média), depois desempenho (158 de 213), arquitetura (61 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 41 de 50. Penalidades: as execuções 1 e 2 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 555.5 (523.0 a 588.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 487 e 597, média 549 com intervalo de 95% de 511 a 588, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,14 (estimativa do próprio cliente) e 44 minutos cada, e a compatibilidade ficou entre 75 e 100. Corrigir bugs foi a área mais forte (178 de 213 em média), depois desempenho (147 de 213), arquitetura (91 de 283) e código limpo (0 de 141). Os relatórios tiveram de 39 a 44 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 549.4 (510.6 a 588.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 524 e 580, média 547 com intervalo de 95% de 530 a 565, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,13 e 27 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (173 de 213 em média), depois desempenho (125 de 213) e arquitetura (96 de 283); código limpo teve 10 de 141 em média, com duas execuções em 0. Os relatórios tiveram de 41 a 43 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 546.8 (530.0 a 565.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 71dfeb7c3f82c75a96f3134e4e050b4476436116e14402d483e9c5f5510955e4.

Uma execução de um caso de cinco fez 547 (Bronze). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,08 (estimativa do próprio cliente) e 60 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (159 de 213), depois desempenho (104 de 213), código limpo (60 de 141) e arquitetura (81 de 283). O relatório teve 43 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, fixado no endpoint da própria Xiaomi (quantização fp8), porque sem a fixação o roteador espalha o modelo por outras hospedeiras; o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 547.0 (547.0 a 547.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 519 e 606, média 540 com intervalo de 95% de 521 a 574, uma Silver e quatro Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 6,4 milhões de tokens e 16 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (202 de 213 em média), depois desempenho (142 de 213), arquitetura (54 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 540.2 (521.0 a 573.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 519 e 566, média 538 com intervalo de 95% de 526 a 553, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,15 (estimativa do próprio cliente) e 49 minutos cada, e a compatibilidade ficou entre 75 e 100. Corrigir bugs foi a área mais forte (188 de 213 em média), depois desempenho (144 de 213), arquitetura (70 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 43 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). A API só informa o apelido deepseek-flash: a versão 1017 é a que o laboratório foi informado que ele apontava.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 538.0 (525.6 a 553.4).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 511 e 536, média 521 com intervalo de 95% de 513 a 530, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 2,45 (estimativa do próprio cliente) e 37 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (154 de 213 em média), depois desempenho (154 de 213), arquitetura (68 de 283) e código limpo (6 de 141). Os relatórios tiveram de 38 a 39 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 521.0 (512.6 a 530.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 422 e 575, média 519 com intervalo de 95% de 465 a 567, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,09 (estimativa do próprio cliente) e 30 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (176 de 213 em média), depois desempenho (131 de 213), arquitetura (69 de 283) e código limpo (2 de 141). Os relatórios tiveram de 40 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Algumas execuções rodaram com as permissões padrão do cliente e outras com o seu sinalizador de aprovação automática (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 519.0 (464.8 a 566.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 499 e 526, média 512 (o intervalo, de 499 a 526, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 4,09 (estimativa do próprio cliente) e 52 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (166 de 213 em média), depois desempenho (104 de 213), arquitetura (101 de 283) e código limpo (0 de 141). Os relatórios tiveram de 41 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 512.5 (499.0 a 526.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Três execuções de um caso de cinco, entre 442 e 562, média 511 (o intervalo, de 442 a 562, é a amplitude das três), todas Bronze. As três terminaram dentro do orçamento de 90 minutos, por cerca de US$ 2,90 (estimativa do próprio cliente) e 52 minutos cada, e a compatibilidade ficou entre 85 e 100. Corrigir bugs foi a área mais forte (188 de 213 em média), depois desempenho (133 de 213), arquitetura (61 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 43 de 50. Penalidades: a execução 3 perdeu 15 pontos por um defeito novo introduzido pela própria mudança; a execução 3 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam duas execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Rodou pela assinatura Kimi Code, em que o custo do cliente é o preço de lista, não uma cobrança.

• 3 de 3 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 511.3 (442.0 a 562.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 3.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 509 (Bronze). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 1,56 (estimativa do próprio cliente) e 29 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Desempenho foi a área mais forte (159 de 213), depois corrigir bugs (137 de 213), arquitetura (69 de 283) e código limpo (0 de 141). O relatório teve 44 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, fixado no endpoint da própria Xiaomi (quantização fp8), a única origem deste modelo; o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 509.0 (509.0 a 509.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 451 e 578, média 504 com intervalo de 95% de 462 a 547, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 2,60 (estimativa do próprio cliente) e 40 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (161 de 213 em média), depois desempenho (104 de 213), arquitetura (92 de 283) e código limpo (4 de 141). Os relatórios tiveram de 42 a 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). As runs 3 e 4 foram pela API da plataforma da Moonshot e as runs 5, 7 e 8 pela assinatura Kimi Code, outra rota para o mesmo modelo; o dono manteve as duas numa só configuração, com a rota registrada em cada run.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 504.2 (461.8 a 546.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 3.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 462 e 494, média 478 (o intervalo, de 462 a 494, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,55 (estimativa do próprio cliente) e 46 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (134 de 213 em média), depois desempenho (126 de 213), arquitetura (77 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi servido pela Novita AI, a hospedeira que a primeira série usou para este modelo, na versão 0731; o cliente não tem xhigh para ele, e a DeepSeek trata o xhigh como max.

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 478.0 (462.0 a 494.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 427 e 543, média 477 com intervalo de 95% de 441 a 515, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 45 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (133 de 213 em média), depois desempenho (127 de 213), arquitetura (69 de 283) e código limpo (6 de 141). Os relatórios tiveram de 41 a 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante grátis do modelo no OpenRouter, cujo único endpoint é o da própria MiniMax, então as runs não custaram nada; essa variante deixou de existir.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 476.8 (441.0 a 514.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 4.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 423 e 523, média 473 com intervalo de 95% de 441 a 505, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,34 (estimativa do próprio cliente) e 32 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (150 de 213 em média), depois desempenho (109 de 213), arquitetura (73 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 472.8 (440.6 a 505.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 423 e 510, média 466 (o intervalo, de 423 a 510, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 49 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (148 de 213 em média), depois desempenho (124 de 213), arquitetura (54 de 283) e código limpo (0 de 141). Os relatórios tiveram de 39 a 40 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Nas duas runs o cliente compactou a sessão, o que a auditoria marcara como erro de operador; o dono decidiu que é comportamento normal do cliente, e as runs contam. O laboratório define o modelo, que o catálogo do cliente não lista mais.

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 466.5 (423.0 a 510.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Três tentativas agendadas de um caso de cinco: duas concluíram, 467 e 445 (as duas Bronze), e uma acabou no orçamento de 90 minutos com a pasta de trabalho idêntica ao pacote, o que vale 100 (Reprovada), como o desenho pede de toda tentativa agendada. A qualidade das entregas avaliáveis é 456. Nas três, uma run levou uns 57 minutos e US$ 2,25 (a estimativa do próprio cliente: rodou pela assinatura Kimi Code, então é o preço de lista, não uma cobrança), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (130 de 213 em média), depois desempenho (45 de 213), arquitetura (34 de 283) e código limpo (0 de 141). Os relatórios ficaram entre 0 e 43 de 50, pois a tentativa que estourou o orçamento não tem relatório. Outras sete tentativas se perderam para o laboratório, entre as causas a cota da assinatura. Os juízes cegos concordaram em todos os itens. Rodou com a flag de auto-aprovação do cliente, uma exceção à regra da série contra contornar aprovações (veja as notas).

• 2 de 3 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 0 de 1.
• Nota esperada por tentativa agendada: 337.3 (100.0 a 467.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 1. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 7.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 408 e 499, média 455 com intervalo de 95% de 427 a 482, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 2,4 milhões de tokens e 7 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (181 de 213 em média), depois desempenho (81 de 213), arquitetura (57 de 283) e código limpo (0 de 141). Os relatórios tiveram de 37 a 41 de 50. Penalidades: as execuções 2, 3 e 4 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 455.0 (426.8 a 481.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 438 e 465, média 451 com intervalo de 95% de 442 a 461, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,92 (estimativa do próprio cliente) e 34 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (132 de 213 em média), depois desempenho (122 de 213), arquitetura (60 de 283) e código limpo (0 de 141). Os relatórios tiveram de 36 a 39 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, cujas únicas origens para este modelo são do próprio Google.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 451.4 (442.0 a 460.8).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 434 (Bronze). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,37 (estimativa do próprio cliente) e 29 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (144 de 213), depois desempenho (77 de 213), arquitetura (69 de 283) e código limpo (0 de 141). O relatório teve 44 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, cuja única origem para este modelo é a própria Tencent (quantização fp4); o cliente define os esforços none, low e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 434.0 (434.0 a 434.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 291 e 587, média 433 com intervalo de 95% de 332 a 534, três Bronze e duas Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,52 (estimativa do próprio cliente) e 60 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (127 de 213 em média), depois desempenho (99 de 213), arquitetura (59 de 283) e código limpo (15 de 141). Os relatórios tiveram de 35 a 44 de 50. Penalidades: as execuções 3 e 4 perderam 15 pontos cada por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Algumas execuções rodaram com as permissões padrão do cliente e outras com o seu sinalizador de aprovação automática (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 433.0 (332.4 a 533.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 2.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 384 e 457, média 421 com intervalo de 95% de 398 a 442, quatro Bronze e uma Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 3,8 milhões de tokens e 15 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (162 de 213 em média), depois desempenho (67 de 213), arquitetura (53 de 283) e código limpo (0 de 141). Os relatórios tiveram de 39 a 41 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 421.2 (397.6 a 442.4).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 421 (Bronze). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,17 (estimativa do próprio cliente) e 26 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (137 de 213), depois desempenho (77 de 213), arquitetura (69 de 283) e código limpo (0 de 141). O relatório teve 43 de 50. Penalidades: a execução 1 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, fixado no endpoint da própria Xiaomi (quantização fp8), porque sem a fixação o roteador espalha o modelo por outras hospedeiras; o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 421.0 (421.0 a 421.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 394 e 425, média 410 (o intervalo, de 394 a 425, é a amplitude das duas), uma Bronze e uma Reprovada. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,50 (estimativa do próprio cliente) e 33 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (152 de 213 em média), depois desempenho (86 de 213), arquitetura (32 de 283) e código limpo (0 de 141). Os relatórios tiveram de 38 a 41 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 409.5 (394.0 a 425.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 323 e 485, média 404 (o intervalo, de 323 a 485, é a amplitude das duas), uma Bronze e uma Reprovada. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 3,98 (estimativa do próprio cliente) e 42 minutos cada, e a compatibilidade ficou entre 70 e 100. Desempenho foi a área mais forte (127 de 213 em média), depois corrigir bugs (108 de 213), arquitetura (42 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 404.0 (323.0 a 485.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 356 e 440, média 400 com intervalo de 95% de 371 a 427, três Bronze e duas Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 8,7 milhões de tokens e 14 minutos cada (o log não guarda custo), e a compatibilidade ficou entre 70 e 100. Corrigir bugs foi a área mais forte (159 de 213 em média), depois desempenho (68 de 213), arquitetura (46 de 283) e código limpo (0 de 141). Os relatórios tiveram de 38 a 40 de 50. Penalidades: a execução 3 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 400.0 (371.0 a 426.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 357 e 387, média 372 (o intervalo, de 357 a 387, é a amplitude das duas), todas Reprovada. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,31 (estimativa do próprio cliente) e 25 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (119 de 213 em média), depois desempenho (100 de 213), arquitetura (12 de 283) e código limpo (0 de 141). Os relatórios tiveram de 41 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi servido pela Novita AI, a hospedeira que a primeira série usou para este modelo, na versão 0731.

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 372.0 (357.0 a 387.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 321 e 364, média 343 com intervalo de 95% de 328 a 357, todas Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,23 (estimativa do próprio cliente) e 25 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (123 de 213 em média), depois desempenho (46 de 213), arquitetura (32 de 283) e código limpo (0 de 141). Os relatórios tiveram de 41 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 342.6 (328.2 a 357.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 335 (Reprovada). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 31 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (94 de 213), depois desempenho (68 de 213), arquitetura (53 de 283) e código limpo (0 de 141). O relatório teve 35 de 50. Penalidades: a execução 1 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da Recursive); o cliente não define esforço para ele, então rodou no padrão do modelo.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 335.0 (335.0 a 335.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 327 (Reprovada). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 13 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (137 de 213), depois desempenho (45 de 213), arquitetura (4 de 283) e código limpo (0 de 141). O relatório teve 41 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da NVIDIA); o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 327.0 (327.0 a 327.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 284 (Reprovada). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 10 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Desempenho foi a área mais forte (95 de 213), depois corrigir bugs (51 de 213), arquitetura (0 de 283) e código limpo (0 de 141). O relatório teve 38 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da NVIDIA); o cliente define os esforços none, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 284.0 (284.0 a 284.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 192 e 252, média 223 com intervalo de 95% de 202 a 244, todas Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,05 (estimativa do próprio cliente) e 14 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (53 de 213 em média), depois arquitetura (23 de 283), desempenho (13 de 213) e código limpo (0 de 141). Os relatórios tiveram de 33 a 35 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 223.2 (202.4 a 244.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Quatro execuções de um caso de cinco, entre 157 e 298, média 220 com intervalo de 95% de 160 a 280, todas Reprovada. As quatro terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 56 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (43 de 213 em média), depois desempenho (34 de 213), arquitetura (11 de 283) e código limpo (2 de 141). Os relatórios tiveram de 0 a 40 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. A quinta execução foi julgada mas ainda não foi decidida, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela API própria da Novita AI, onde o modelo consta sem preço; o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 4 de 4 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 220.0 (159.5 a 280.5).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 179 e 261, média 209 com intervalo de 95% de 180 a 241, todas Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,82 e 16 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (34 de 213 em média), depois desempenho (34 de 213), arquitetura (10 de 283) e código limpo (0 de 141). Os relatórios tiveram de 29 a 33 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Todas as execuções rodaram com uma chave de API da Anthropic, paga com crédito de API, onde as primeiras configurações do Claude rodaram com um token de assinatura; o modelo e o cliente são os mesmos. Todas as runs usaram o modo de permissão acceptEdits do cliente, com só a ferramenta Bash liberada além das edições, porque o Haiku 4.5 não tem modo auto: é a única configuração da série com outra permissão.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 209.0 (180.4 a 240.8).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 118 e 164, média 152 com intervalo de 95% de 134 a 163, todas Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,12 (estimativa do próprio cliente) e 16 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (27 de 213 em média), depois desempenho (0 de 213), arquitetura (0 de 283) e código limpo (0 de 141). Os relatórios tiveram de 0 a 34 de 50. Penalidades: a execução 4 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 151.6 (134.2 a 162.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 113 (Reprovada). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 7 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Nenhuma área pontuou: corrigir bugs (0 de 213), desempenho (0 de 213), arquitetura (0 de 283) e código limpo (0 de 141). O relatório teve 33 de 50. Penalidades: a execução 2 perdeu 20 pontos por um comportamento quebrado sem um conserto culpado. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da NVIDIA); o cliente define os esforços high e max para ele, então max é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 113.0 (113.0 a 113.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 108 (Reprovada). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 21 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (0 de 213), depois desempenho (0 de 213), arquitetura (0 de 283) e código limpo (0 de 141). O relatório teve 23 de 50. Penalidades: a execução 1 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da NVIDIA); o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 108.0 (108.0 a 108.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 97 (Reprovada). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 5 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (0 de 213), depois desempenho (0 de 213), arquitetura (0 de 283) e código limpo (0 de 141). O relatório teve 17 de 50. Penalidades: a execução 1 perdeu 15 pontos por um defeito novo introduzido pela própria mudança; a execução 1 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da Cohere); o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 97.0 (97.0 a 97.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.