浪潮信息Owen ZHU：大模型百花齊放，算力效率決定速度

(相關(guān)資料圖)

與狹義的人工智能相比，通用人工智能通過跨領(lǐng)域、跨學(xué)科、跨任務(wù)和跨模態(tài)的大模型，能夠滿足更廣泛的場景需求、實(shí)現(xiàn)更高程度的邏輯理解能力與使用工具能力。2023年，隨著 LLM 大規(guī)模語言模型技術(shù)的不斷突破，大模型為探索更高階的通用人工智能帶來了新的曙光。通用人工智能進(jìn)入了快速發(fā)展期，在中國，大模型已經(jīng)呈現(xiàn)出百花齊放的態(tài)勢，各種大模型層出不窮。

要想在"百模爭秀"的時(shí)代占得先機(jī)，AI開發(fā)團(tuán)隊(duì)需要著力化解算力、算法、數(shù)據(jù)層面的巨大挑戰(zhàn)，而開發(fā)效率和訓(xùn)練速度是保障大模型市場競爭力的核心關(guān)鍵因素，也是未來的核心發(fā)力點(diǎn)。近日，浪潮信息人工智能與高性能應(yīng)用軟件部 AI 架構(gòu)師Owen ZHU參與首屆由CSDN、《新程序員》聯(lián)合主辦的NPCon大會(huì)，發(fā)表重要技術(shù)演講，分享面向新一輪AIGC產(chǎn)業(yè)革命，AI大模型的算力系統(tǒng)解決之道，并強(qiáng)調(diào)算力、算法、數(shù)據(jù)和系統(tǒng)架構(gòu)等多個(gè)方面的綜合優(yōu)化對大模型訓(xùn)練到了至關(guān)重要的作用。

以下為Owen ZHU在NPCon大會(huì)的演講實(shí)錄整理：

"百模爭秀"時(shí)代的算力瓶頸

大模型研發(fā)的核心技術(shù)是由預(yù)訓(xùn)練與Alignment組成的，第一部分就是預(yù)訓(xùn)練，需要用大量的數(shù)據(jù)使模型收斂速度更快、性能更好。第二部分則是Alignment，Alignment不完全等于強(qiáng)化學(xué)習(xí)，其通過使用多種方式/策略優(yōu)化模型輸出，讓AI在和人的交流反饋中學(xué)會(huì)如何溝通表達(dá)，這兩部分是提升大模型質(zhì)量的核心要素。

目前來看，模型基礎(chǔ)能力取決于數(shù)據(jù)、模型參數(shù)量和算力。模型參數(shù)量越大、投入的訓(xùn)練數(shù)據(jù)越大，模型泛化能力越強(qiáng)。由于資源限制，在兩者不可兼得的時(shí)候，應(yīng)該如何進(jìn)行取舍呢？OpenAI的研究結(jié)論認(rèn)為，與增加數(shù)據(jù)量相比，先增大模型參數(shù)量受益則會(huì)更好，用一千億的模型訓(xùn)練兩千億的Token和兩千億模型訓(xùn)練一千億的Token，后者的模型性能會(huì)更高。

由此可見，參數(shù)量是衡量模型能力的一個(gè)重要指標(biāo)，當(dāng)模型參數(shù)量增長超過一定閾值時(shí)，模型能力表現(xiàn)出躍遷式的提升，表現(xiàn)出來語言理解能力、生成能力、邏輯推理能力等能力的顯著提升，這也就是我們所說的模型的涌現(xiàn)能力。

模型規(guī)模多大能產(chǎn)生涌現(xiàn)能力呢？現(xiàn)在來看，百億參數(shù)是模型具備涌現(xiàn)能力的門檻，千億參數(shù)的模型具備較好的涌現(xiàn)能力。但這并不意味著模型規(guī)模就要上升到萬億規(guī)模級別的競爭，因?yàn)楝F(xiàn)有大模型并沒有得到充分訓(xùn)練，如GPT-3的每個(gè)參數(shù)基本上只訓(xùn)練了1-2個(gè)Token，DeepMind的研究表明，如果把一個(gè)大模型訓(xùn)練充分，需要把每個(gè)參數(shù)量訓(xùn)練20個(gè)Token。所以，當(dāng)前的很多千億規(guī)模的大模型還需要用多10倍的數(shù)據(jù)進(jìn)行訓(xùn)練，模型性能才能達(dá)到比較好的水平。

無論是提高模型參數(shù)量還是提升數(shù)據(jù)規(guī)模，算力依舊是大模型能力提升的核心驅(qū)動(dòng)力：需要用"足夠大"的算力，去支撐起"足夠精準(zhǔn)"模型泛化能力。當(dāng)前大模型訓(xùn)練的算力當(dāng)量還在進(jìn)一步增大，從GPT-3到GPT-4算力當(dāng)量增長了68倍。算力當(dāng)量越大，交叉熵越小，模型能力越強(qiáng)。隨著訓(xùn)練的token數(shù)、模型參數(shù)、計(jì)算量的增加，語言模型的loss在平滑下降，這就意味著大語言模型的精度可以隨著計(jì)算量、參數(shù)規(guī)模、token數(shù)擴(kuò)展進(jìn)一步提升。

關(guān)鍵詞：