中國電信發(fā)布TeleChat大模型，已在多個(gè)行業(yè)實(shí)現(xiàn)商業(yè)化落地

【資料圖】

7月7日消息，7月7日下午消息，2023世界人工智能大會(huì)期間，在中國電信“算網(wǎng)一體·融創(chuàng)未來”的分論壇上，中國電信數(shù)字智能科技分公司（電信智科）正式對(duì)外發(fā)布中國電信大語言模型TeleChat，并展示了大模型賦能數(shù)據(jù)中臺(tái)、智能客服和智慧政務(wù)三個(gè)方向的產(chǎn)品。電信智科副總經(jīng)理何忠江介紹，TeleChat使用了大量高質(zhì)量中英文語料進(jìn)行預(yù)訓(xùn)練，并采用了千萬級(jí)問答數(shù)據(jù)進(jìn)行微調(diào)。同時(shí)，設(shè)計(jì)了漸進(jìn)膨脹注意力機(jī)制，用于增加模型的間隔采樣，擴(kuò)大實(shí)際感受野；研發(fā)了自校準(zhǔn)微調(diào)技術(shù)，將迭代后相關(guān)性偏差作為強(qiáng)化學(xué)習(xí)的監(jiān)督信號(hào)，提升強(qiáng)化學(xué)習(xí)效果；并且利用知識(shí)圖譜協(xié)同增強(qiáng)策略，通過知識(shí)圖譜增強(qiáng)大模型的預(yù)訓(xùn)練和推理能力，減少大模型幻覺現(xiàn)象。

關(guān)鍵詞：