目前業(yè)界模型性能通常與訓(xùn)練期間投入的資源綁定，除了頭部廠商大肆投入資源訓(xùn)練模型外，許多小型企業(yè)和個(gè)人開發(fā)者實(shí)際上并不具備足夠的資源，為了解決這一問題，許多團(tuán)隊(duì)試圖尋找降本增效替代方案。
Hugging Face 于本月中旬公布一項(xiàng)報(bào)告，提出一種“擴(kuò)展測(cè)試時(shí)計(jì)算（IT之家注：Test-Time Compute Scaling）”方法，也就是用時(shí)間來彌補(bǔ)模型體量，給予“低成本小模型”充足時(shí)間，讓相關(guān)模型能夠?qū)?fù)雜問題生成大量結(jié)果，再利用驗(yàn)證器對(duì)這些結(jié)果進(jìn)行測(cè)試及修正，反復(fù)輸出能夠比擬“高成本大模型”的結(jié)果。
Hugging Face 團(tuán)隊(duì)表示，他們使用這種方法利用 10 億參數(shù)的 Llama 模型進(jìn)行數(shù)學(xué)基準(zhǔn)測(cè)試，據(jù)稱在某些情境下超越了參數(shù)量高達(dá) 70 億的大型模型，證明了用時(shí)間提升模型輸出內(nèi)容效果做法可行。
此外，谷歌 DeepMind 最近也公布了類似的論文，他們認(rèn)為可以為小模型動(dòng)態(tài)分配運(yùn)算資源，并設(shè)置驗(yàn)證器對(duì)模型的解答結(jié)果進(jìn)行評(píng)分，從而引導(dǎo)模型不斷輸出正確的答案，從而幫助企業(yè)以較少的資源部署足夠精度的語言模型。
