團隊使用了 60 個模型訓練線性探針，并在 Easy2HardBench 的數(shù)學和編碼子集上評估了它們的難度估計性能。

研究表明，人類得出的難度評級可以從模型激活中強而線性地解碼，而 LLM 得出的難度評級則顯示出明顯較弱的編碼。

同時，將模型推向“更簡單”的表征可以減少輸出長度，并通過防止幻覺來提高準確性。

團隊還發(fā)現(xiàn)，在 GRPO 訓練過程中，人類難度表示隨著模型能力的增強而增強，而 LLM 難度表示則退化——隨著模型的改進，自動難度估計變得越來越不協(xié)調(diào)。

實驗結(jié)果

團隊使用可驗證獎勵強化學習 (RLVR) 來增強模型推理能力。它將強化學習融入到具有基于規(guī)則的結(jié)果獎勵的低階模型中，可以根據(jù)模型對數(shù)學問題最終答案的準確性給予二元獎勵。

他們使用 Easy2HardBench 中的兩個數(shù)學子集構(gòu)建探測數(shù)據(jù)集，每個問題都有一個難度分數(shù)。

同時，團隊從 18 個模型家族的 60 個變體中提取激活值，包含 DeepSeek、Qwen-2.5等大模型，以檢驗增強的推理能力是否能帶來更好的難度表征。

結(jié)果表明：

• 人類難度在 LLM 激活中呈線性編碼。模型激活更好地編碼了人類對難度的評價，而非 LLM 推導出的難度估計。

• 難度表征隨模型大小而變化。更大的模型能更好地表征編碼難度。

• 最佳探測位置因任務而異。雖然最后一個標記位置通常在所有數(shù)據(jù)集上都能產(chǎn)生最優(yōu)探針，但某些位置在特定模型中表現(xiàn)出色，這表明最后一個標記位置并非普遍最優(yōu)。

• 線性探針可以引導模型進行更長的迭代，并誘導工具推理。

結(jié)論

團隊發(fā)現(xiàn)，人類難度表征在訓練過程中保持穩(wěn)定或有所提升，相比之下，LLM 難度表征在早期層和中間層普遍退化，性能下降幅度高達 50%。這種層級范圍內(nèi)的退化表明，LLM 難度表征是一個噪聲信號，GRPO 會系統(tǒng)性地覆蓋它。

但是，這也存在幾個局限性。團隊僅關(guān)注 E2H 中的編碼和數(shù)學任務，而忽略了其他三個子集。計算資源的限制使得模型無法在所有 E2H 子集上進行廣泛的實驗，也無法在更大的模型上進行 GRPO 訓練。

鑒于此因，研究人員將開展更廣泛的跨模型研究，這對于全面刻畫沿難度方向的轉(zhuǎn)向效應至關(guān)重要。

相關(guān)人員表示，未來的研究應該調(diào)查探測結(jié)果是否能推廣到 Codeforces 以外的其他需要編碼和推理的智能體任務，并探索難度表征在推理和多輪對話過程中是如何演變的。

參考資料：

https://arxiv.org/pdf/2510.18147