Meta 公司上周發(fā)布了一款名為 Maverick 的新旗艦 AI 模型，并在 LM Arena 測試中取得了第二名的成績。然而，這一成績的含金量卻引發(fā)了諸多質(zhì)疑。據(jù)多位 AI 研究人員在社交平臺 X 上指出，Meta 在 LM Arena 上部署的 Maverick 版本與廣泛提供給開發(fā)者的版本并不一致。
Meta 在其公告中明確提到，參與 LM Arena 測試的 Maverick 是一個“實(shí)驗(yàn)性聊天版本”。而根據(jù)官方 Llama 網(wǎng)站上公布的信息，Meta 在 LM Arena 的測試中所使用的實(shí)際上是“針對對話性優(yōu)化的 Llama 4 Maverick”。這表明，該版本經(jīng)過了專門的優(yōu)化調(diào)整，以適應(yīng) LM Arena 的測試環(huán)境和評分標(biāo)準(zhǔn)。
然而，LM Arena 作為一項測試工具，其可靠性本身就存在一定的爭議。盡管如此，以往 AI 公司通常不會對模型進(jìn)行專門的定制或微調(diào)，以在 LM Arena 上獲得更高的分?jǐn)?shù)，至少沒有公開承認(rèn)過這種做法。
這種對模型進(jìn)行針對性優(yōu)化，然后只發(fā)布一個“普通版”的行為，給開發(fā)者帶來了諸多困擾。因?yàn)檫@使得開發(fā)者難以準(zhǔn)確預(yù)測該模型在特定場景下的實(shí)際表現(xiàn)。此外，這種行為也具有一定的誤導(dǎo)性。理想情況下，盡管現(xiàn)有的基準(zhǔn)測試存在諸多不足，但它們至少能夠?yàn)槿藗兲峁┮粋�關(guān)于單一模型在多種任務(wù)中優(yōu)缺點(diǎn)的概覽。
事實(shí)上，研究人員在 X 上已經(jīng)觀察到了公開可下載的 Maverick 版本與 LM Arena 上托管的模型之間存在顯著的行為差異。例如，LM Arena 版本似乎更傾向于使用大量的表情符號，并且給出的答案往往冗長且拖沓。
截至IT之家發(fā)稿，Meta 公司以及負(fù)責(zé)維護(hù) LM Arena 的 Chatbot Arena 組織暫未對此做出回應(yīng)。
