騰訊云率先打響「大模型應(yīng)用」信號(hào)槍|焦點(diǎn)熱議

撰文| 吳坤諺 王潘

編輯| 吳先之

(相關(guān)資料圖)

在大模型賽道話不太多的騰訊，派出騰訊云向行業(yè)交出了自己的一份答卷。

2023年6月19日，騰訊云舉辦行業(yè)大模型及智能應(yīng)用技術(shù)峰會(huì)，公布騰訊云在B端方向的MaaS（modle-as-a-service，模型及服務(wù)）技術(shù)方案，以及多款SaaS智能應(yīng)用升級(jí)、產(chǎn)業(yè)客戶應(yīng)用落地進(jìn)展。

其中最值一提的是騰訊云并未選擇認(rèn)知更為廣泛的通用大模型，而是選擇了基于騰訊云AI技術(shù)底座而預(yù)訓(xùn)練的行業(yè)大模型，也就是垂直領(lǐng)域大模型。據(jù)了解，目前騰訊云業(yè)已發(fā)布的垂類(lèi)領(lǐng)域包含金融、政府、文旅、傳媒、教育等，企業(yè)客戶只需要以上述預(yù)訓(xùn)練模型為基礎(chǔ)，使用行業(yè)數(shù)據(jù)訓(xùn)練，即可獲得具備業(yè)務(wù)能力的專(zhuān)屬大模型。

換句話說(shuō)，騰訊云在發(fā)布會(huì)上展示的能力不在于模型本身，而在于大模型的部署與應(yīng)用。

實(shí)際上，早在今年大模型全面爆發(fā)前，推進(jìn)模型的垂直領(lǐng)域應(yīng)用便已成為玩家們的共識(shí)，高校與業(yè)界都積累了不少垂直領(lǐng)域中小模型。只是在缺乏相應(yīng)技術(shù)基底的情況下，即使這些模型的執(zhí)行效率、安全性、可解釋性都差強(qiáng)人意，但其訓(xùn)練與部署應(yīng)用的邊際成本遲遲難以降低，預(yù)留的創(chuàng)新空間難以支撐其商業(yè)化。

而今得益于由OpenAI發(fā)現(xiàn)的模型涌現(xiàn)能力以及以此為基礎(chǔ)而衍生的訓(xùn)練策略，通用模型能力加速拓展，也為垂直模型快速訓(xùn)練與部署打下基礎(chǔ)?；谶@些成功經(jīng)驗(yàn)，騰訊云正在邁出大模型落地探索和市場(chǎng)教育的第一步。

行業(yè)大模型正當(dāng)時(shí)

現(xiàn)代教育中普遍采取的人才培養(yǎng)模型是T字型模式。我們往往會(huì)進(jìn)行長(zhǎng)時(shí)間的通識(shí)學(xué)習(xí)，在打牢基礎(chǔ)并發(fā)展出一定個(gè)人思維能力后參加高等教育，深入專(zhuān)研某個(gè)領(lǐng)域。人工智能集大成者的大模型似乎也是如此，在T字形發(fā)展的往復(fù)周期中，進(jìn)入了豎向周期，而信號(hào)槍則由騰訊云率先打響。

騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生于技術(shù)峰會(huì)上表示，比起通用大模型，企業(yè)更需要針對(duì)具體行業(yè)的大模型，并結(jié)合企業(yè)自身的數(shù)據(jù)進(jìn)行訓(xùn)練和精調(diào)，以打造出更實(shí)用的智能服務(wù)。企業(yè)對(duì)提供的專(zhuān)業(yè)服務(wù)要求高且容錯(cuò)性低，因此使用的大模型必須具備可控、可追溯和可修正的特點(diǎn)，并經(jīng)過(guò)反復(fù)充分的測(cè)試。

眾所周知，通用大模型話題度滿滿，但在能力上過(guò)于泛化，僅憑借通識(shí)能力難以解決業(yè)務(wù)方面的現(xiàn)實(shí)問(wèn)題，以至于通用大模型的訓(xùn)練與調(diào)優(yōu)更多地是在探索大模型的產(chǎn)出邊界，而非落地，從而解鎖其下一個(gè)價(jià)值級(jí)別。

與之相比，行業(yè)大模型最為明顯的優(yōu)勢(shì)在于其聚焦專(zhuān)業(yè)領(lǐng)域的對(duì)齊能力，即模型的輸出與使用者的目標(biāo)和興趣相對(duì)應(yīng)的程度。

一個(gè)典型的例子是AGI，谷歌旗下人工智能前沿部門(mén)DeepMind研究員Rohin Shah認(rèn)為，不正確的微調(diào)或錯(cuò)誤泛化可能會(huì)導(dǎo)致AGI追求一個(gè)不正確的目標(biāo)，未對(duì)齊的AGI將會(huì)產(chǎn)生災(zāi)難性的后果。換句話說(shuō)，即使是通用大模型，其外部輸出與內(nèi)部微調(diào)都需要與人類(lèi)的普世價(jià)值觀對(duì)齊，遑論有強(qiáng)烈落地需求的垂直專(zhuān)業(yè)領(lǐng)域。

即使是寫(xiě)代碼這樣通用大模型普遍發(fā)力的高需求高價(jià)值垂直領(lǐng)域，目前在通用模型中所展現(xiàn)的能力也難言靠譜。無(wú)數(shù)利用已開(kāi)放測(cè)試的大模型進(jìn)行代碼測(cè)試的程序員們對(duì)此應(yīng)該有更深刻的認(rèn)知。

何況行業(yè)大模型針對(duì)的是特定領(lǐng)域任務(wù)，不涉及更多泛化通識(shí)，因此不需要龐大的通用模型為基底來(lái)進(jìn)一步訓(xùn)練，也不需要在推理和內(nèi)存上進(jìn)行過(guò)多的堆砌，追求“大力出奇跡”。

騰訊云副總裁、騰訊云智能負(fù)責(zé)人、優(yōu)圖實(shí)驗(yàn)室負(fù)責(zé)人吳運(yùn)聲在與我們對(duì)話時(shí)提到，雖然業(yè)內(nèi)的大模型在參數(shù)規(guī)模上不斷上漲，但騰訊云更關(guān)注的是如何以最有效、最低成本的手段去解決客戶的問(wèn)題。相比之下，參數(shù)量其實(shí)沒(méi)那么重要。因?yàn)閰?shù)規(guī)模越大，其價(jià)值體現(xiàn)與解決問(wèn)題的能力需要更多算力與數(shù)據(jù)集的支撐，其訓(xùn)練與推理的成本無(wú)論是對(duì)騰訊云還是對(duì)企業(yè)客戶而言都難以承擔(dān)。

技術(shù)的價(jià)值體現(xiàn)在于落地，而無(wú)法落地的技術(shù)只是空中樓閣，在業(yè)界春秋筆法中等待價(jià)值虛像被打破。大模型之前的元宇宙、區(qū)塊鏈等風(fēng)口已然是最佳例證。

行業(yè)模型顯然是更適合的解決方案，無(wú)論是騰訊云還是企業(yè)客戶。那么，需要深究的問(wèn)題便是騰訊云的解決方案，即經(jīng)由行業(yè)數(shù)據(jù)訓(xùn)練的行業(yè)大模型能否在行業(yè)理解中展現(xiàn)比同參數(shù)通用大模型更強(qiáng)的能力。

技術(shù)底座決定上下限

大模型時(shí)代，自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等AI需求井噴，只是這些基于大模型的應(yīng)用通常需要龐大的計(jì)算資源和存儲(chǔ)空間，以及高效的部署和管理機(jī)制。為避免企業(yè)普遍需求下“重復(fù)造輪子”的資源浪費(fèi)，模型即服務(wù)（MaaS）作為一種新興的技術(shù)服務(wù)模式應(yīng)運(yùn)而生。

也就是說(shuō)，MaaS服務(wù)的核心能力實(shí)際上是幫助企業(yè)完成AI應(yīng)用從“手工作坊”向“工廠模式”的躍升。

而騰訊云的解決方案如下全景圖所示，以“一站式行業(yè)大模型精選商店”的形式為企業(yè)客戶提供包含模型的預(yù)訓(xùn)練、精調(diào)、應(yīng)用開(kāi)發(fā)等能力的工具鏈，幫助企業(yè)高效率、高品質(zhì)、低成本地創(chuàng)建和部署AI應(yīng)用。其中對(duì)垂直領(lǐng)域能力起決定作用的是部署模型的基礎(chǔ)架構(gòu)，也就是技術(shù)底座部分。

其中的基礎(chǔ)設(shè)施部分分別對(duì)應(yīng)AI三要素中的算力與數(shù)據(jù)兩方面，其一是智能算力支撐——高性能計(jì)算集群 HCC，這項(xiàng)騰訊云于4月最新發(fā)布的技術(shù)可以使算力性能較前代提升3倍，為大模型訓(xùn)練提供高性能、高帶寬和低延遲的智算能力支撐，配合自研星脈高性能計(jì)算網(wǎng)絡(luò)，可以為HCC計(jì)算集群帶來(lái) 3.2Tbps 業(yè)界最高互聯(lián)網(wǎng)帶寬；其二是數(shù)據(jù)檢索支撐——向量數(shù)據(jù)庫(kù)Tencent Cloud Vector DB，經(jīng)騰訊海量業(yè)務(wù)場(chǎng)景驗(yàn)證，在提供高吞吐、低延遲、低成本、高可用、彈性擴(kuò)展能力的前提下，日均處理向量檢索千億次，更是同時(shí)支持標(biāo)量+向量的混合檢索。

如果說(shuō)基礎(chǔ)設(shè)施為企業(yè)打造的專(zhuān)屬模型提供上限，那么行業(yè)大模型便是企業(yè)專(zhuān)屬模型的下限。據(jù)湯道生介紹，騰訊云打造的行業(yè)精選模型商店覆蓋金融、文旅、政務(wù)、傳媒、教育等10大行業(yè)，提供超過(guò)50個(gè)解決方案，包含了智能客服、ORC識(shí)別、政務(wù)咨詢、教育咨詢、媒介管理等場(chǎng)景。

以文旅場(chǎng)景為例，騰訊云的某位頭部文旅客戶的傳統(tǒng)智能客服需要人工進(jìn)行對(duì)話配置且知識(shí)維護(hù)量大、耗時(shí)長(zhǎng)，但運(yùn)營(yíng)人力有限、人力配置成本高，且涉及訂單等復(fù)雜業(yè)務(wù)場(chǎng)景，長(zhǎng)期未能完成業(yè)務(wù)閉環(huán)。但憑借長(zhǎng)期業(yè)務(wù)積累的in-house數(shù)據(jù)，結(jié)合騰訊云文旅行業(yè)大模型能力，通過(guò)騰訊云TI平臺(tái)精調(diào)并構(gòu)建了專(zhuān)屬文旅客服大模型，相比傳統(tǒng)職能客服增加了意圖識(shí)別、長(zhǎng)文本識(shí)別與答案生成能力，讓該文旅企業(yè)無(wú)需人工配置對(duì)話流程，即可端到端解決業(yè)務(wù)問(wèn)題。

除了客戶企業(yè)的成本控制與應(yīng)用優(yōu)化外，騰訊云以行業(yè)大模型為基礎(chǔ)，輔以行業(yè)數(shù)據(jù)精調(diào)的落地路徑恰好可以盤(pán)活當(dāng)下經(jīng)濟(jì)生態(tài)中多個(gè)行業(yè)與企業(yè)占有的沉默行業(yè)數(shù)據(jù)，讓數(shù)據(jù)價(jià)值得以展現(xiàn)。

曾經(jīng)，許多行業(yè)的in-house數(shù)據(jù)被視作資產(chǎn)的原因在于大數(shù)據(jù)之下的用戶畫(huà)像等基礎(chǔ)運(yùn)用，其價(jià)值紅利已逐漸出盡。而今，行業(yè)數(shù)據(jù)可以被用作企業(yè)專(zhuān)屬模型的養(yǎng)料，這不僅讓數(shù)據(jù)資產(chǎn)重回價(jià)值高地，更為行業(yè)帶來(lái)了新的想象空間。

值得一提的是，企業(yè)敝帚自珍的大量數(shù)據(jù)在模型訓(xùn)練中使用也意味著曾經(jīng)對(duì)精調(diào)（Finetune）的固有印象被打破，即精調(diào)不再局限于小規(guī)模數(shù)據(jù)集，而是規(guī)模更大且兼具縱深的行業(yè)數(shù)據(jù)集。作為大模型最重要的“手藝活兒”，騰訊云的解決方案中自然也不乏數(shù)據(jù)相關(guān)的方案。

數(shù)據(jù)仍是落地關(guān)鍵

騰訊云MaaS方案的中間層TI平臺(tái)聚焦數(shù)據(jù)這一關(guān)鍵要素，涵蓋了數(shù)據(jù)的標(biāo)注、訓(xùn)練和應(yīng)用全流程。

在數(shù)據(jù)標(biāo)注方面，高質(zhì)量的標(biāo)注數(shù)據(jù)集相對(duì)數(shù)據(jù)規(guī)模對(duì)大模型訓(xùn)練的影響更大。除了業(yè)內(nèi)尚未攻破的OpenAI神話外，谷歌于5月意外泄漏的內(nèi)部研究人員文章也證實(shí)了這一點(diǎn)。

中文互聯(lián)網(wǎng)中廣告等干擾信息進(jìn)一步加劇了數(shù)據(jù)清洗難度，中文大模型訓(xùn)練對(duì)數(shù)據(jù)服務(wù)的要求也水漲船高。在騰訊云看來(lái)，大模型訓(xùn)練和優(yōu)化所需的高質(zhì)量數(shù)據(jù)集必須經(jīng)過(guò)清洗和預(yù)處理，以消除噪聲、填補(bǔ)缺失值并確保數(shù)據(jù)質(zhì)量。如果導(dǎo)入的數(shù)據(jù)質(zhì)量低，那么訓(xùn)練出來(lái)的模型也會(huì)有問(wèn)題，即“garbage in，garbage out”。

數(shù)據(jù)的訓(xùn)練和應(yīng)用同樣重要。要知道，垂直領(lǐng)域模型的構(gòu)建并非簡(jiǎn)單地向通用模型投喂行業(yè)數(shù)據(jù)，而是牽涉多方面技術(shù)與技巧的“手藝活兒”。例如epoch（訓(xùn)練樣本在神經(jīng)網(wǎng)絡(luò)中完整傳遞一次）值設(shè)置，如果epoch設(shè)置過(guò)高，將導(dǎo)致模型的災(zāi)難性遺忘，喪失既有能力；而epoch設(shè)置過(guò)低，模型很可能根本學(xué)不到新知識(shí)，相當(dāng)于白跑一趟。

這三項(xiàng)服務(wù)均在騰訊云的行業(yè)大模型案例中有所體現(xiàn)，比較典型的是與不同行業(yè)伙伴訓(xùn)練出的多場(chǎng)景智能客服。金融、政府、教育等不同的行業(yè)數(shù)據(jù)在標(biāo)注后結(jié)合對(duì)應(yīng)行業(yè)大模型精調(diào)，即可展現(xiàn)業(yè)務(wù)所需的模型能力。

例如知識(shí)維護(hù)量大，冷啟動(dòng)知識(shí)配置耗時(shí)長(zhǎng)，且運(yùn)營(yíng)方面需要持續(xù)投入的金融客服場(chǎng)景，某國(guó)家首批股份制商業(yè)銀行便在騰訊云的技術(shù)與平臺(tái)支持下，運(yùn)用積累的行業(yè)數(shù)據(jù)構(gòu)建了專(zhuān)屬大模型并進(jìn)行私有化部署。

至于中間層的數(shù)據(jù)平臺(tái)之下的加速組件，其功能在于模型訓(xùn)練與精調(diào)的增效。據(jù)了解，太極加速組件在傳統(tǒng)CV、NLP算法模型的基礎(chǔ)上，通過(guò)異步調(diào)度優(yōu)化、顯存優(yōu)化、計(jì)算優(yōu)化等方式為模型構(gòu)建增速，相比行業(yè)常用方案性能提升30%以上。

只是在模型落地中，模型的歸屬權(quán)以及數(shù)據(jù)安全問(wèn)題仍難以避免。

以騰訊云所在的云計(jì)算行業(yè)為例，早在MaaS模式興起前，云端部署便是云計(jì)算產(chǎn)業(yè)亟待解決的行業(yè)問(wèn)題。巨頭企業(yè)可以豪擲千金做私有化部署，而中小企業(yè)卻只能采取公有云托管的形式，即使如此，巨頭企業(yè)也必須面對(duì)私有部署后高昂的遷移成本。

大模型的部署、歸屬以及更基礎(chǔ)的數(shù)據(jù)安全在企業(yè)客戶看來(lái)，自然也是重中之重。比較典型的便是ChatGPT的API接口模式，導(dǎo)致不少企業(yè)遭遇數(shù)據(jù)泄露，以三星、蘋(píng)果為首多家巨頭企業(yè)內(nèi)部早早便禁用了ChatGPT API能力。

因此，騰訊云在全景圖之外更可貴的服務(wù)在于針對(duì)客戶需求提供私有化部署、公有云托管、混合云部署等靈活部署方案，而算力使用、模型的知識(shí)產(chǎn)權(quán)歸屬等問(wèn)題同樣是case by case，讓企業(yè)客戶在享有高質(zhì)量數(shù)據(jù)與模型服務(wù)的同時(shí)保障了私有數(shù)據(jù)stay in-house，真正做到了“量體裁衣、普惠適用”。

結(jié)語(yǔ)

“對(duì)于工業(yè)革命來(lái)講，早一個(gè)月把電燈泡拿出來(lái)，在長(zhǎng)的時(shí)間跨度上來(lái)看是不那么重要的。關(guān)鍵還是要把底層的算法、算力和數(shù)據(jù)扎扎實(shí)實(shí)做好。”

自馬化騰在2023Q1財(cái)報(bào)會(huì)議上回應(yīng)騰訊在大模型賽道“失聲”起已有一個(gè)月，騰訊云加碼行業(yè)大模型“先聲奪人”，這折射了大模型賽道中，互聯(lián)網(wǎng)大廠在商業(yè)化落地的一次轉(zhuǎn)向。在媒體熱潮逐漸過(guò)去，通用大模型發(fā)展進(jìn)入平穩(wěn)期的當(dāng)下，落地才是行業(yè)應(yīng)該為模型需求者提供的能力。

那么，垂直與通用是否是截然相反的路徑？

在大模型領(lǐng)域內(nèi)，答案當(dāng)然是否定的。因?yàn)榇怪蹦Ｐ团c通用模型的訓(xùn)練方法基本相通，即使是在代碼層面也是如此。

大模型“煉丹”的特殊性，決定大模型賽道中可以同時(shí)存在兩種路徑，典型的就是在100B參數(shù)下探索人工智能邊界以及在7B參數(shù)下進(jìn)行快速落地部署和應(yīng)用，兩者殊途同歸，均以落地為目的，只是目前7B走在了通用的前面。可以肯定的是，大模型賽道中“兩條腿走路”的現(xiàn)象將持續(xù)存在。騰訊云憑借MaaS方案，已經(jīng)成為行業(yè)內(nèi)首個(gè)成功邁出了右腳的玩家。

關(guān)鍵詞：