Entendendo os benchmarks de modelos de IA: por que os leaderboards não dizem o que você pensa

A cada poucas semanas, um novo modelo sobe ao topo de um leaderboard, as manchetes o declaram “o melhor modelo de IA”, e depois muita gente que muda para ele no dia a dia de trabalho fica decepcionada. Essa lacuna não é conspiração nem sinal de que os benchmarks não valem nada — é uma consequência previsível de como as pontuações de leaderboard são produzidas e do que elas conseguem (ou não) capturar. Entender esse processo de produção transforma um leaderboard de algo em que você ou confia cegamente ou descarta por completo em uma ferramenta que você realmente consegue usar.

O que uma pontuação de benchmark está realmente medindo

Um benchmark é um conjunto fixo de tarefas ou perguntas, um método de pontuação e um ranking. Só isso. No momento em que você aceita a posição de um leaderboard pelo valor de face, você está implicitamente confiando em três coisas: que as tarefas do conjunto são representativas do que importa para você, que o modelo nunca viu exatamente essas tarefas antes, e que o método de pontuação reflete qualidade, e não outra coisa — como o comprimento da resposta ou a formatação. Essas três suposições ruem de formas específicas e bem documentadas, e o cenário de avaliação de 2026 foi moldado quase inteiramente por laboratórios e pesquisadores correndo para corrigir essas falhas.

Problema um: saturação

Os benchmarks mais antigos e academicamente respeitados — MMLU, HumanEval — deixaram de ser úteis para distinguir modelos de ponta porque as pontuações agora se concentram acima de aproximadamente 90% em praticamente todo concorrente sério. Quando todo modelo em uma comparação pontua entre 91% e 96% no mesmo teste, a diferença remanescente se aproxima mais de ruído do que de sinal; ela diz mais sobre qual modelo teve sorte em um punhado de questões ambíguas do que sobre qual modelo é de fato mais capaz. Pesquisadores descrevem 2024–2026 como a “era da saturação de benchmarks” exatamente por esse motivo. A resposta da indústria tem sido continuar criando testes mais difíceis — GPQA Diamond, Humanity’s Last Exam, FrontierMath, SciCode — justamente porque os antigos pararam de separar modelos bons de modelos excepcionais. Se um leaderboard ainda destaca uma pontuação de MMLU ou HumanEval como seu número principal, isso é sinal de que a fonte ficou para trás, não de que o modelo é excepcionalmente forte.

Problema dois: contaminação

Perguntas de benchmark vazam para os dados de treinamento com mais facilidade do que a maioria imagina — por meio de web scraping que acaba capturando o repositório público de um benchmark, de pipelines de dados sintéticos que recombinam textos encontrados online, e, ocasionalmente, por inclusão mais deliberada. Um modelo que memorizou efetivamente parte de um conjunto de teste vai pontuar bem nesse teste sem ser mais capaz em nenhum sentido geral. Isso não é hipotético: pesquisadores da Scale AI criaram o GSM1k, um benchmark de matemática de nível fundamental recém-escrito deliberadamente no mesmo estilo e dificuldade do amplamente usado GSM8k, sem reaproveitar nenhuma de suas questões originais, e depois testaram dezenas de modelos nos dois conjuntos. Vários modelos populares, incluindo o Mistral e a família Phi da Microsoft, pontuaram cerca de 10 pontos percentuais a menos no conjunto novo e não contaminado — e o tamanho dessa queda se correlacionou com a facilidade com que cada modelo conseguia reproduzir questões do GSM8k palavra por palavra, um forte indício de memorização em vez de raciocínio. Modelos de ponta como GPT-4 e Claude praticamente não se moveram entre os dois testes. “Avaliação livre de contaminação” se tornou uma expressão que os laboratórios agora precisam reivindicar e defender ativamente, em vez de simplesmente presumir. O problema prático para quem lê um leaderboard é que, em geral, você não consegue verificar a contaminação por conta própria — precisa confiar que a metodologia do mantenedor do benchmark é rigorosa o bastante para detectá-la, o que varia muito entre plataformas.

Problema três: manipulando o alvo

A Lei de Goodhart — quando uma medida se torna uma meta, ela deixa de ser uma boa medida — descreve quase exatamente o que aconteceu com os leaderboards de preferência humana construídos em torno de uma única pontuação de destaque. Assim que um determinado rank virou uma alegação de marketing que valia a pena perseguir, pelo menos um grande laboratório passou a otimizar diretamente para a métrica, em vez da capacidade subjacente que ela deveria representar. O exemplo mais claramente documentado: em abril de 2025, a Meta divulgou o Llama 4 Maverick como o segundo melhor modelo do mundo no LMArena, com uma pontuação ELO de 1417 — atrás apenas do Gemini 2.5 Pro. O que a Meta havia efetivamente submetido era o “Llama-4-Maverick-03-26-Experimental”, uma versão ajustada para conversação, nunca lançada publicamente, que produzia respostas mais longas e cheias de emojis, especificamente adequadas para vencer votos de preferência humana. O LMArena confirmou a discrepância, disse que a submissão da Meta não correspondia ao que esperava dos provedores de modelos, e apertou suas políticas para exigir, doravante, a divulgação de variantes personalizadas. Quando os pesos realmente disponíveis para download foram testados, o Maverick caiu para aproximadamente a 32ª posição no mesmo leaderboard. Esse não é um efeito pequeno. Ele significa que um resultado de benchmark obtido sob condições frouxas ou manipuláveis pode superestimar a capacidade real por uma margem enorme, e muitas vezes você não tem como saber quais condições geraram o número que está vendo.

Problema quatro: votação de preferência humana não é o mesmo que qualidade

Os leaderboards no estilo arena — a plataforma antes conhecida como LMArena, renomeada para Arena em janeiro de 2026 — funcionam de forma diferente dos benchmarks estáticos. Em vez de avaliar respostas fixas, eles mostram a usuários reais duas respostas anônimas de modelos lado a lado e registram qual delas é preferida, depois convertem milhões desses votos em um ranking usando um modelo estatístico ao estilo Bradley-Terry/Elo. Essa abordagem tem pontos fortes reais: ela captura qualidade conversacional e utilidade geral de um jeito que um teste de múltipla escolha não consegue. Mas a preferência humana às cegas tem suas próprias falhas bem documentadas. Os votantes favorecem sistematicamente respostas mais longas e mais formatadas — marcadores, negrito, seções estruturadas — mesmo quando uma resposta mais curta teria atendido melhor à solicitação real, e podem recompensar um tom confiante e agradável em detrimento de uma resposta mais precisa, porém menos lisonjeira. A própria equipe do Arena reagiu a isso introduzindo rankings de “controle de estilo” no fim de 2024, que removem estatisticamente o efeito do comprimento e da formatação para chegar mais perto de uma comparação de capacidade pura. A diferença entre o ranking bruto de um modelo e seu ranking com controle de estilo já é reveladora por si só: um modelo que cai várias posições assim que a formatação é controlada estava vencendo em parte pela apresentação, não pela substância.

A lacuna com o mundo real

Mesmo um benchmark bem conduzido mede desempenho em tarefas de benchmark, não nas suas tarefas. Um estudo do fim de 2025 que avaliou sistemas agentivos de IA empresariais em 300 tarefas de negócio reais encontrou uma lacuna de aproximadamente 37% entre as pontuações de benchmark de laboratório e o desempenho real em produção, além de uma variação de custo de até 50 vezes entre agentes que entregavam precisão semelhante — os agentes com pontuação mais alta muitas vezes eram os menos eficientes em custo na prática. O próprio benchmark GDPval da OpenAI existe em parte por causa de lacunas como essa: em vez de questões acadêmicas, ele usa entregáveis reais — petições jurídicas, especificações de engenharia, transcrições de atendimento ao cliente — construídos a partir do trabalho real de profissionais com uma média de 14 anos de experiência, avaliados cabeça a cabeça por especialistas humanos dessas áreas, em vez de por um avaliador automatizado. O fato de um laboratório de ponta ter sentido a necessidade de construir um benchmark inteiramente separado, ancorado em profissões reais, diz muito sobre o quanto os leaderboards padrão podem se afastar da previsão de resultados de uso real.

Um roteiro prático para ler um leaderboard

Nada disso significa que os benchmarks são inúteis — significa que eles são um primeiro filtro, não um veredito final. Alguns hábitos os tornam muito mais confiáveis de usar:

Verifique o que está realmente sendo medido antes de confiar no ranking. Um leaderboard liderado por pontuações de MMLU ou HumanEval está usando um teste saturado e menos discriminante. Prefira, quando disponíveis, resultados em benchmarks mais novos, mais difíceis e mais resistentes à contaminação (GPQA Diamond, Humanity’s Last Exam, SWE-bench Verified/Live, FrontierMath), e trate qualquer benchmark em que todos os modelos do topo pontuem dentro de poucos pontos entre si como algo que deixou de ser útil para ranquear esses modelos específicos.

Procure uma versão com controle de estilo ou com metodologia transparente. Em plataformas no estilo arena, o ranking com controle de estilo está mais próximo de um sinal puro de capacidade do que o ranking bruto. Se um leaderboard não publica nem explica sua metodologia, desconte-o com mais peso do que um que o faz.

Combine o benchmark com sua tarefa real. Um benchmark de programação diz muito pouco sobre a qualidade de escrita criativa, e um leaderboard de preferência de escrita diz muito pouco sobre como um modelo lida com um fluxo de trabalho agentivo de 40 etapas. Escolha benchmarks que se pareçam com o que você realmente vai pedir ao modelo para fazer, não os que têm o maior esforço de marketing por trás.

Trate um rank no topo como um gerador de lista curta, não como uma decisão. Use leaderboards para reduzir um campo de dezenas de modelos a dois ou três candidatos plausíveis — depois rode esses candidatos em 50 a 100 exemplos reais seus, incluindo os casos extremos que de fato importam para o seu fluxo de trabalho. Esse teste pequeno e específico para a tarefa vai revelar modos de falha que nenhum leaderboard geral, por melhor construído que seja, foi feito para captar. É também a única avaliação em que você controla completamente a contaminação: seus próprios exemplos privados e recentes não podem ter vazado para os dados de treinamento de ninguém.

Fique atento à volatilidade de pontuação entre condições de avaliação. Se o desempenho de um modelo oscila fortemente entre um teste “padrão” e uma versão mais rigorosa do mesmo teste — acesso limitado a ferramentas, sem internet, contexto mais longo — essa oscilação já é, em si, uma informação útil sobre o quanto a pontuação de destaque depende de condições de teste favoráveis, em vez de capacidade robusta.

Os leaderboards vão continuar fazendo manchete toda vez que os rankings mudarem, e isso é normal — eles são um sinal genuinamente útil e em constante evolução de onde o campo está, em conjunto. O erro é tratar um único número como veredito, em vez de como um insumo entre outros, coletado sob condições específicas e às vezes manipuláveis, que ainda precisa ser confrontado com aquilo para o que você realmente vai usar o modelo.