看懂AI模型基準測試:排行榜沒告訴你的真相

每隔幾週,就會有一款新模型爬上排行榜榜首,媒體標題隨即宣稱它是「最強AI模型」,結果一大票為了實際工作而轉用它的人卻大失所望。這種落差不是什麼陰謀,也不代表基準測試毫無價值——它只是排行榜分數的產生方式、以及這些分數能捕捉什麼、不能捕捉什麼所導致的可預期結果。搞懂這套生成過程,排行榜就不再是一個你只能盲目相信或乾脆全盤否定的東西,而會變成一件你真正能用得上的工具。

基準分數到底在測什麼

一個基準測試,說穿了就是一組固定的任務或題目、一套評分方法,加上一份排名。僅此而已。當你把排行榜上的名次照單全收時,其實已經默默相信了三件事:題庫裡的任務足以代表你真正在乎的事、模型從沒見過這些確切的題目,以及評分方法反映的是品質本身,而不是答案長度或格式之類的其他東西。這三個前提,全都以具體且有據可查的方式一一崩解,而2026年整個評測生態,幾乎完全是由各實驗室和研究者手忙腳亂地想辦法補上這些漏洞所塑造出來的。

問題一:飽和

MMLU、HumanEval這類歷史最悠久、學術聲望最高的基準測試,如今已經失去了區分頂尖模型的能力,因為幾乎每個像樣的競爭者分數都擠在90%上下。當同一場比較裡每個模型都拿到91%到96%,剩下那點差距與其說是訊號,不如說更接近雜訊——它反映的與其說是哪個模型真的更強,不如說是哪個模型在少數幾道模稜兩可的題目上運氣比較好。研究者之所以把2024到2026年稱為「基準測試飽和時代」,原因正在於此。業界的應對方式,就是不斷開發更難的測試——GPQA Diamond、Humanity’s Last Exam、FrontierMath、SciCode——正是因為舊測試已經無法區分「不錯的模型」和「頂尖的模型」。如果一份排行榜至今仍拿MMLU或HumanEval分數當招牌數字,這代表的不是模型有多強,而是這個資訊來源已經跟不上時代了。

問題二:污染

基準測試題目滲入訓練資料的方式,比大多數人以為的更容易——可能是網路爬蟲剛好抓到某個基準測試的公開資料庫,可能是重新組合網路文字的合成資料流程,偶爾也不排除更蓄意的納入方式。一個實質上把部分題庫背下來的模型,在那份測試上會拿高分,卻不代表它在任何普遍意義上更有能力。這不是空口猜測:Scale AI的研究者開發了GSM1k,一份風格和難度都刻意仿照廣泛使用的GSM8k測試、但完全不重複使用其真實題目的全新小學數學基準,並讓數十個模型同時接受兩份測試。包括Mistral和Microsoft的Phi系列在內的多款熱門模型,在這份全新、未受污染的題庫上得分低了大約10個百分點——而且分數下滑的幅度,和該模型能多輕易「一字不差」複述出GSM8k題目高度相關,這正是死記硬背而非真正推理的有力訊號。GPT-4、Claude這類頂尖模型在兩份測試之間的分數幾乎沒有變動。「無污染評測」如今已經變成各實驗室必須主動聲明並自證的說法,而不能再理所當然地假設成立。對讀排行榜的人來說,現實的難題在於:你通常沒辦法自己驗證有沒有污染——只能仰賴基準測試維護者的方法論夠嚴謹、足以抓出問題,而這一點在不同平台之間差異極大。

問題三:操弄目標

古德哈特定律——當一項指標變成目標,它就不再是個好指標——幾乎完美描述了圍繞單一招牌分數建構的人類偏好排行榜所發生的事。一旦特定名次變成一項值得追逐的行銷賣點,至少有一家大型實驗室選擇直接針對這項指標本身進行優化,而不是針對它原本應該代表的真實能力。最清楚、也最有據可查的例子發生在2025年4月:Meta將Llama 4 Maverick包裝成LMArena上全球第二強的模型,Elo分數1417——僅次於Gemini 2.5 Pro。但Meta實際送測的,其實是一個從未公開發佈、經過對話調校的版本「Llama-4-Maverick-03-26-Experimental」,它會產出更長、充滿表情符號的回答,而這種風格正好特別擅長贏得人類偏好投票。LMArena證實了這個落差,表示Meta的送測版本不符合平台對模型提供者的期待,並收緊了政策,要求日後必須揭露經過客製化調整的版本。等到真正可供下載的模型權重被拿去測試時,Maverick在同一份排行榜上跌到了大約第32名。這不是什麼小效應。它意味著,在寬鬆或可被操弄的條件下取得的基準測試結果,可能大幅誇大真實能力,而你往往根本無從得知眼前這個數字,究竟是在什麼條件下產生的。

問題四:人類偏好投票不等於品質

競技場式(arena-style)排行榜——也就是原本叫LMArena、於2026年1月更名為Arena的那個平台——運作方式和靜態基準測試不一樣。它不是為固定答案打分,而是把兩則匿名的模型回覆並排展示給真實用戶,記錄使用者偏好哪一個,再用類似Bradley-Terry/Elo的統計模型,把數百萬張這樣的「選票」轉換成排名。這種做法確實有真正的優勢:它能捕捉到選擇題測驗捕捉不到的對話品質與整體實用性。但盲測式的人類偏好,也有自己一套有據可查的失效模式。投票者系統性地偏好更長、格式更花俏的回答——條列項目、粗體字、結構化的分段——即便一則較短的回答其實更能滿足使用者真正的需求,而且他們也容易被自信、討喜的語氣打動,勝過內容更準確但語氣較不討好的回答。Arena團隊自己在2024年底推出「風格控制」(style control)排名來因應這個問題,以統計方式剔除長度和格式帶來的影響,讓結果更接近純粹的能力比較。一個模型的原始名次和風格控制後名次之間的落差,本身就很有參考價值:一旦控制掉格式因素就掉了好幾名的模型,某種程度上是靠「呈現方式」取勝,而不是靠實質內容。

與現實脫節的落差

即使是一份運作嚴謹的基準測試,測的也是模型在基準測試任務上的表現,而不是在你的任務上的表現。2025年底一項針對企業級智能體AI系統、涵蓋300項真實商業任務的研究發現,實驗室基準分數與實際部署表現之間存在約37%的落差,而在準確度相近的智能體之間,成本差距最高可達50倍——分數最高的智能體,往往反而是實際運行起來成本效益最差的。OpenAI自家開發GDPval這套基準測試,部分原因正是想彌補這類落差:它不用學術性的題目,而是採用真實的工作成果——法律文件、工程規格書、客服對話紀錄——這些內容取材自平均擁有14年經驗的專業人士的真實工作,並由該領域的人類專家進行一對一比對評分,而不是交給自動化評分系統。一家頂尖實驗室竟然覺得有必要另起爐灶、打造一套完全植根於實際職業的獨立基準測試,這件事本身就說明了標準排行榜和真實部署結果之間,可以偏離到多遠的地步。

讀懂排行榜的實用框架

以上這些都不代表基準測試沒有用——而是說,它們只是第一道篩選機制,不是最終定論。養成以下幾個習慣,能讓它們可靠得多。

**在信任名次之前,先確認到底在測什麼。**如果一份排行榜還是拿MMLU或HumanEval分數當主打,代表它用的是一份已經飽和、鑑別力低落的測試。有其他選擇的話,優先參考較新、較難、抗污染能力較強的基準測試(GPQA Diamond、Humanity’s Last Exam、SWE-bench Verified/Live、FrontierMath),而且只要一份基準測試上所有頂尖模型的分數都擠在幾分之內,就該認定它對這批特定模型已經失去排名意義。

**找找看有沒有風格控制版本,或方法論公開透明的版本。**在競技場式平台上,風格控制後的排名比原始排名更接近純粹的能力訊號。如果一份排行榜完全不公開、也不解釋自己的方法論,對它的可信度就該打更多折扣,和那些有公開方法論的相比。

**讓基準測試對應你真正要做的任務。**一份程式碼基準測試,幾乎說明不了創意寫作的品質好壞;一份寫作偏好排行榜,也幾乎說明不了一個模型能不能撐過40步驟的智能體工作流程。選擇和你實際要交給模型做的事情相似的基準測試,而不是背後行銷聲量最大的那一個。

**把頂尖名次當成「初選清單產生器」,而不是最終決定。**用排行榜把幾十個模型收斂成兩三個可行的候選人——然後拿這些候選人去跑你自己的50到100個真實案例,包括那些對你的工作流程真正重要的邊緣情況。這種規模小、貼合任務的測試,能揪出任何一份通用排行榜都設計不出來的失效模式,無論那份排行榜構建得多嚴謹。這也是唯一一種能讓你完全掌控污染問題的評測方式:你自己最近、私有的案例,不可能已經外洩進任何人的訓練資料裡。

**留意分數在不同測試條件下的波動。**如果一個模型在「標準」測試和同一份測試的更嚴格版本之間——工具存取受限、無法連網、上下文變長——表現大幅震盪,這種波動本身就是有用的訊息,說明那個招牌分數有多少成分是仰賴有利的測試條件,而不是真正穩固的能力。

排行榜每次名次一有變動,就會繼續登上新聞頭條,這沒什麼不好——它們確實是一種有用、且不斷演進的訊號,能反映整個領域的大致走向。真正的錯誤,是把單一一個數字當成定論,而不是當成一項在特定、有時甚至可被操弄的條件下取得的輸入資訊——它終究還是需要對照你實際打算拿這個模型來做什麼,再檢驗一遍。