LEB Security

Cinco execuções entre 995 e 996, média 995 com intervalo de 95% de 995 a 996, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 15,59 e 54 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 850 de 850: os relatórios cobriram todas as 24 vulnerabilidades plantadas em todas as execuções e o código corrigiu todas em todas as execuções. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 2, 4, 3, 1 e 4. As listas seguem a ordem das execuções. Os relatórios tiveram de 45 a 46 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Uma tentativa foi perdida para o laboratório ou o operador e refeita. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Algumas execuções usaram chave de API da Anthropic, outras a assinatura Claude do dono (token de longa duração), em que o custo do cliente é o preço de lista; mesmo modelo e cliente.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 995.2 (995.0 a 995.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 992, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,10 (estimativa do próprio cliente) e 30 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 850 de 850: o relatório cobriu todas as 24 vulnerabilidades plantadas e o código corrigiu todas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 992.0 (992.0 a 992.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 981 e 995, média 989 com intervalo de 95% de 984 a 995, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 6,83 e 32 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 845 de 850: os relatórios cobriram 24, 24, 24, 23 e 23 das 24 vulnerabilidades plantadas e o código corrigiu todas em todas as execuções. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 8, 2, 4, 0 e 2. As listas seguem a ordem das execuções. Os relatórios tiveram de 44 a 45 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Todas as execuções rodaram com uma chave de API da Anthropic, paga com crédito de API.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 989.4 (983.8 a 995.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 964 e 995, média 988 com intervalo de 95% de 976 a 995, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 4,71 e 30 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 844 de 850: os relatórios cobriram 22, 24, 24, 24 e 24 das 24 vulnerabilidades plantadas e o código corrigiu todas em todas as execuções. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 0, 2, 2, 5 e 8. As listas seguem a ordem das execuções. Os relatórios tiveram de 42 a 45 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Todas as execuções rodaram com uma chave de API da Anthropic, paga com crédito de API.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 988.2 (975.8 a 995.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 961 e 993, média 986 com intervalo de 95% de 973 a 992, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,12 (estimativa do próprio cliente) e 39 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 844 de 850: os relatórios cobriram 24, 24, 24, 24 e 22 das 24 vulnerabilidades plantadas e o código corrigiu todas em todas as execuções. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. As listas seguem a ordem das execuções. Os relatórios tiveram de 41 a 43 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). A API só informa o apelido deepseek-flash: a versão 1017 é a que o laboratório foi informado que ele apontava.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 985.8 (973.4 a 992.4).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 963 e 994, média 984 com intervalo de 95% de 972 a 994, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 3,78 e 19 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 841 de 850: os relatórios cobriram 24, 23, 22, 24 e 24 das 24 vulnerabilidades plantadas e o código corrigiu todas em todas as execuções. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 0, 0, 2, 2 e 4. As listas seguem a ordem das execuções. Os relatórios tiveram de 42 a 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Todas as execuções rodaram com uma chave de API da Anthropic, paga com crédito de API.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 984.0 (972.0 a 993.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 969, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,18 (estimativa do próprio cliente) e 66 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 824 de 850: o relatório cobriu 23 das 24 vulnerabilidades plantadas e o código corrigiu 23 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 2. O relatório teve 45 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, fixado no endpoint da própria Xiaomi (quantização fp8), porque sem a fixação o roteador espalha o modelo por outras hospedeiras; o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 969.0 (969.0 a 969.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 968, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 26,32 e 80 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 824 de 850: o relatório cobriu 22 das 24 vulnerabilidades plantadas e o código corrigiu todas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 2. O relatório teve 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou na assinatura Claude do dono por um token de longa duração, em que o custo do cliente é o preço de lista, não uma cobrança.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 968.0 (968.0 a 968.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 956 e 976, média 968 com intervalo de 95% de 961 a 973, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 4,6 milhões de tokens e 20 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 824 de 850: os relatórios cobriram 22, 22, 22, 23 e 21 das 24 vulnerabilidades plantadas e o código corrigiu todas em todas as execuções. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 3, 0, 1, 0 e 2. As listas seguem a ordem das execuções. Os relatórios tiveram de 43 a 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com aprovações e sandbox desligados, exceção da série (veja as notas). Umas execuções usaram chave de API, outras o login guardado; o modelo e o cliente são os mesmos.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 967.8 (961.4 a 973.4).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 966, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 1,85 (estimativa do próprio cliente) e 41 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 824 de 850: o relatório cobriu 23 das 24 vulnerabilidades plantadas e o código corrigiu 23 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, fixado no endpoint da própria Xiaomi (quantização fp8), a única origem deste modelo; o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 966.0 (966.0 a 966.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 962, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de 10,5 milhões de tokens e 22 minutos (o log não guarda custo), e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 820 de 850: o relatório cobriu 22 das 24 vulnerabilidades plantadas e o código corrigiu todas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 4. O relatório teve 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 962.0 (962.0 a 962.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 959, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,08 (estimativa do próprio cliente) e 34 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 816 de 850: o relatório cobriu 23 das 24 vulnerabilidades plantadas e o código corrigiu 23 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 43 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 959.0 (959.0 a 959.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 925 e 994, média 958 com intervalo de 95% de 934 a 983, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,37 (estimativa do próprio cliente) e 56 minutos cada, e nenhuma quebrou o que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 816 de 850: os relatórios cobriram 24, 24, 21, 21 e 23 das 24 vulnerabilidades plantadas e o código corrigiu 24, 24, 22, 23 e 22 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 0, 8, 4, 2 e 3. As listas seguem a ordem das execuções. Os relatórios tiveram de 40 a 44 de 50. É um sistema só: o intervalo reflete só a variação entre as execuções, e o desempenho em outros sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório); uma pessoa decide as divergências entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela API da própria MiniMax; o cliente define só os esforços none e thinking para ele, então thinking é o máximo que ele pôde pedir.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 958.4 (934.2 a 983.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 944 e 962, média 954 com intervalo de 95% de 947 a 960, todas Platinum. 4 de 5 terminaram no orçamento, por cerca de 5,6 milhões de tokens e 19 minutos cada (o log não guarda custo), e nenhuma quebrou o que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 811 de 850: os relatórios cobriram 20, 21, 22, 21 e 21 das 24 vulnerabilidades plantadas e o código corrigiu todas em todas as execuções. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 2, 2, 2, 0 e 1. Listas na ordem das execuções. Os relatórios tiveram de 42 a 45 de 50. É um sistema só: o intervalo reflete só a variação entre as execuções; o desempenho em outros sistemas não foi medido. Uma tentativa foi perdida (laboratório ou operador) e refeita. Uma tentativa agendada foi barrada pelas salvaguardas do modelo durante o trabalho; conta na nota esperada, não na estimativa. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório); uma pessoa decide as divergências. Rodou com aprovações e sandbox desligados, exceção da série (veja as notas). Umas execuções usaram chave de API, outras o login guardado (mesmo modelo e cliente).

• 4 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 0 de 1.
• Nota esperada por tentativa agendada: 954.4 (948.8 a 959.2).
• Bloqueadas: 1 (no início 0, durante o trabalho 1). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 954, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 1,35 (estimativa do próprio cliente) e 25 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 812 de 850: o relatório cobriu 21 das 24 vulnerabilidades plantadas e o código corrigiu todas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Rodou pela assinatura Kimi Code, em que o custo do cliente é o preço de lista, não uma cobrança.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 954.0 (954.0 a 954.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 945, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 31 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 803 de 850: o relatório cobriu 22 das 24 vulnerabilidades plantadas e o código corrigiu 23 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 42 de 50. É um sistema só: o intervalo reflete só a variação entre as execuções, e o desempenho em outros sistemas ainda não foi medido. Uma tentativa foi perdida (laboratório ou operador) e ainda não foi refeita. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório); uma pessoa decide as divergências entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da Stealth, um modelo furtivo); o cliente define esforços até max para ele, então max é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 945.0 (945.0 a 945.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 924 e 993, média 943 com intervalo de 95% de 927 a 969, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,82 e 16 minutos cada, e a compatibilidade ficou entre 70 e 100. A segurança teve média 806 de 850: os relatórios cobriram 21, 24, 21, 22 e 22 das 24 vulnerabilidades plantadas e o código corrigiu 23, 24, 23, 24 e 23 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 6, 2, 2, 0 e 2. As listas seguem a ordem das execuções. Os relatórios tiveram de 42 a 45 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Uma tentativa foi perdida para o laboratório ou o operador e refeita. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Todas as execuções rodaram com uma chave de API da Anthropic, paga com crédito de API.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 942.6 (927.2 a 968.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 928 e 962, média 942 com intervalo de 95% de 933 a 952, todas Platinum. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 8,1 milhões de tokens e 17 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 800 de 850: os relatórios cobriram 22, 21, 20, 21 e 22 das 24 vulnerabilidades plantadas e o código corrigiu 23, 23, 23, 23 e 24 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 0, 0, 0, 0 e 1. As listas seguem a ordem das execuções. Os relatórios tiveram 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas). Algumas execuções rodaram com uma chave de API e outras com o login guardado do cliente; o modelo e o cliente são os mesmos.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 941.8 (933.2 a 952.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 942, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,73 (estimativa do próprio cliente) e 59 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 803 de 850: o relatório cobriu 23 das 24 vulnerabilidades plantadas e o código corrigiu 22 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 39 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, cuja única origem para este modelo é a própria Tencent (quantização fp4); o cliente define os esforços none, low e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 942.0 (942.0 a 942.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 934, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 3,88 (estimativa do próprio cliente) e 59 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 790 de 850: o relatório cobriu 21 das 24 vulnerabilidades plantadas e o código corrigiu 23 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Rodou pela assinatura Kimi Code, em que o custo do cliente é o preço de lista, não uma cobrança.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 934.0 (934.0 a 934.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 900 e 965, média 931 com intervalo de 95% de 912 a 951, todas Platinum. As cinco terminaram no orçamento de 90 minutos, por cerca de US$ 0,29 (estimativa do próprio cliente) e 56 minutos cada, e nenhuma quebrou o que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 792 de 850: os relatórios cobriram 23, 21, 21, 22 e 21 das 24 vulnerabilidades plantadas e o código corrigiu 23, 22, 22, 22 e 22 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 0, 6, 0, 0 e 4. As listas seguem a ordem das execuções. Os relatórios tiveram de 40 a 44 de 50. Penalidades: a execução 5 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só: o intervalo reflete só a variação entre as execuções, e o desempenho em outros sistemas ainda não foi medido. Três tentativas foram perdidas (laboratório ou operador) e refeitas. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório); uma pessoa decide as divergências entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 930.6 (912.0 a 950.6).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 3.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 873 e 956, média 915 com intervalo de 95% de 886 a 946, três Platinum e duas Gold. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,10 e 13 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 775 de 850: os relatórios cobriram 20, 21, 21, 18 e 19 das 24 vulnerabilidades plantadas e o código corrigiu 23, 24, 24, 23 e 22 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 4, 0, 2, 4 e 0. As listas seguem a ordem das execuções. Os relatórios tiveram de 38 a 41 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Uma tentativa foi perdida para o laboratório ou o operador e refeita. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Algumas execuções usaram chave de API da Anthropic, outras a assinatura Claude do dono (token de longa duração), em que o custo do cliente é o preço de lista; mesmo modelo e cliente.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 915.0 (885.8 a 945.8).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 903, Platinum. Terminou dentro do orçamento de 90 minutos, por cerca de 13,4 milhões de tokens e 22 minutos (o log não guarda custo), e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 761 de 850: o relatório cobriu 20 das 24 vulnerabilidades plantadas e o código corrigiu 22 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 4. O relatório teve 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 903.0 (903.0 a 903.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Três execuções de um caso de cinco, entre 819 e 934, média 891 (o intervalo, de 819 a 934, é a amplitude das execuções), duas Platinum e uma Gold. As três terminaram dentro do orçamento de 90 minutos, por cerca de 10,8 milhões de tokens e 16 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 757 de 850: os relatórios cobriram 21, 18 e 21 das 24 vulnerabilidades plantadas e o código corrigiu 22, 20 e 23 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. As listas seguem a ordem das execuções. Os relatórios tiveram de 39 a 41 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 3 de 3 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 891.3 (819.0 a 934.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Três execuções de um caso de cinco, entre 873 e 897, média 888 (o intervalo, de 873 a 897, é a amplitude das execuções), todas Gold. As três terminaram dentro do orçamento de 90 minutos, por cerca de 6,2 milhões de tokens e 14 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 746 de 850: os relatórios cobriram 18, 16 e 19 das 24 vulnerabilidades plantadas e o código corrigiu 23, 23 e 22 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 0, 2 e 0. As listas seguem a ordem das execuções. Os relatórios tiveram de 41 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 3 de 3 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 887.7 (873.0 a 897.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 875, Gold. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 42 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 731 de 850: o relatório cobriu 19 das 24 vulnerabilidades plantadas e o código corrigiu 20 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 2. O relatório teve 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Rodou pela assinatura Kimi Code com o apelido kimi-for-coding, que o laboratório foi informado que apontava para o Kimi K2.8 Preview em 07/11/2026; o custo do cliente é o preço de lista, não uma cobrança.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 875.0 (875.0 a 875.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Três execuções de um caso de cinco, entre 831 e 907, média 871 (o intervalo, de 831 a 907, é a amplitude das execuções), uma Platinum e duas Gold. As três terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,41 (estimativa do próprio cliente) e 36 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 729 de 850: os relatórios cobriram 21, 21 e 18 das 24 vulnerabilidades plantadas e o código corrigiu 20, 21 e 20 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. As listas seguem a ordem das execuções. Os relatórios tiveram de 40 a 43 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 3 de 3 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 871.0 (831.0 a 907.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 693, Silver. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 43 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 552 de 850: o relatório cobriu 15 das 24 vulnerabilidades plantadas e o código corrigiu 15 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 41 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Rodou pela assinatura Kimi Code com o apelido kimi-for-coding-highspeed, que o laboratório foi informado que apontava para o Kimi K2.7 Code Highspeed em 07/11/2026; o custo do cliente é o preço de lista, não uma cobrança.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 693.0 (693.0 a 693.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 516, Bronze. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 22 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 378 de 850: o relatório cobriu 10 das 24 vulnerabilidades plantadas e o código corrigiu 11 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 38 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da Recursive); o cliente não define esforço para ele, então rodou no padrão do modelo.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 516.0 (516.0 a 516.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 515, Bronze. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 30 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 374 de 850: o relatório cobriu 11 das 24 vulnerabilidades plantadas e o código corrigiu 10 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 41 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da NVIDIA); o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 515.0 (515.0 a 515.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Cinco execuções entre 343 e 604, média 439 com intervalo de 95% de 370 a 528, uma Silver e duas Bronze e duas Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 26 minutos cada, e nenhuma quebrou o que os testes públicos protegem (compatibilidade 100 em todas). A segurança teve média 300 de 850: os relatórios cobriram 7, 10, 7, 14 e 7 das 24 vulnerabilidades plantadas e o código corrigiu 6, 10, 6, 12 e 8 delas. Nenhuma isca foi relatada como vulnerabilidade; achados extras: 0, 0, 0, 1 e 0. As listas seguem a ordem das execuções. Os relatórios tiveram de 36 a 41 de 50. É um sistema só: o intervalo reflete só a variação entre as execuções, e o desempenho em outros sistemas ainda não foi medido. Uma tentativa foi perdida para o laboratório ou o operador e refeita. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório); uma pessoa decide as divergências entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Pela API da própria Novita AI (sem preço); esforço máximo: high.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 438.6 (369.8 a 528.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 331, Reprovada. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 50 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 196 de 850: o relatório cobriu 6 das 24 vulnerabilidades plantadas e o código corrigiu 5 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 35 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da NVIDIA); o cliente define os esforços none, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 331.0 (331.0 a 331.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 217, Reprovada. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 19 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 85 de 850: o relatório cobriu 3 das 24 vulnerabilidades plantadas e o código corrigiu 3 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 32 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da Phala); o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 217.0 (217.0 a 217.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 191, Reprovada. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 13 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 64 de 850: o relatório cobriu 3 das 24 vulnerabilidades plantadas e o código corrigiu 1 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 27 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório) e uma pessoa decide qualquer divergência entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (o endpoint que respondeu à sonda do laboratório era o da NVIDIA); o cliente define os esforços low, medium e high para ele, então high é o máximo que ele pôde pedir.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 191.0 (191.0 a 191.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 122, Reprovada. Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 2 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 17 de 850: o relatório cobriu 1 das 24 vulnerabilidades plantadas e o código corrigiu 0 delas. Iscas relatadas como vulnerabilidade, de 6: 1; nenhum achado extra. O relatório teve 30 de 50. Penalidades: a execução 1 perdeu 20 pontos por um comportamento quebrado sem um conserto culpado; a execução 1 perdeu 5 pontos por relatar algo que não é falha. É um sistema só: o intervalo reflete só a variação entre as execuções, e o desempenho em outros sistemas ainda não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório); uma pessoa decide as divergências entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pela variante gratuita do OpenRouter, sem provedor fixado (sonda do laboratório: NVIDIA); o cliente define high e max, então max é o máximo.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 122.0 (122.0 a 122.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.

Uma execução de um caso de cinco, nota 27, Reprovada. Terminou no orçamento de 90 minutos, por cerca de US$ 0,00 (estimativa do próprio cliente) e 18 minutos, e não quebrou nenhum comportamento que os testes públicos protegem (compatibilidade 100). A segurança fez 0 de 850: o relatório cobriu 0 das 24 vulnerabilidades plantadas e o código corrigiu 0 delas. Nenhuma isca foi relatada como vulnerabilidade; nenhum achado extra. O relatório teve 22 de 50. Penalidades: perdeu 15 pontos por um defeito novo introduzido pela própria mudança e 80 por um comportamento quebrado sem um conserto culpado. É um sistema só: o intervalo reflete só a variação entre as execuções; o desempenho em outros sistemas não foi medido. Quatro juízes cegos leem cada entrega (dois para os itens plantados, dois para o relatório); uma pessoa decide as divergências entre os dois primeiros. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Pela variante gratuita do OpenRouter, sem provedor fixado (sonda do laboratório: Cohere); o cliente define low, medium e high, então high é o máximo.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 27.0 (27.0 a 27.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) a563e8b4cdcf03c84e7f64f8e2e5d02879406383e0bc55e61f55e38ae422ed8a · SHA-256 do pacote 566bb6798e1a0f76bef0ba7ec7ad166de82debebf44ec720249a62131ae8b45c.