適配超20＋芯片廠商，昇思MindSpore大模型之路走南闖北

機(jī)器之心原創(chuàng)

作者：澤南

上周科技領(lǐng)域這場備受關(guān)注的大會，展示的都是前沿 AI 應(yīng)用。

【資料圖】

利用神經(jīng)網(wǎng)絡(luò)求解，在中科院大連化學(xué)物理研究所，以前用超算也無法完成的水分子運(yùn)動方程計算效率提高了 1000 倍。?

通過跨模態(tài)統(tǒng)一表征學(xué)習(xí)，中科院自動化所和武漢人工智能研究院聯(lián)合打造的「紫東太初」2.0，讓大模型第一次進(jìn)入了全模態(tài)時代，同時支持多輪問答、文本創(chuàng)作、圖像生成、3D 理解、信號分析等任務(wù)。

在 6 月 16 日的人工智能框架生態(tài)峰會 2023 上，我們見證了科學(xué)和 AI 領(lǐng)域的一系列技術(shù)突破，這些進(jìn)展的背后都是 AI 框架昇思 MindSpore 在提供支持。

人工?智能的發(fā)展正在催生出前所未有的應(yīng)用，AI 框架的重要性逐漸凸顯，而在這個過程中，昇思已成為很多公司機(jī)構(gòu)的 AI 基礎(chǔ)設(shè)施。

在峰會現(xiàn)場，昇思生態(tài)的參與者們公布了圍繞 AI 框架生態(tài)的一系列合作，包括但不限于：啟動上海昇思 AI 框架和大模型創(chuàng)新中心、發(fā)布「共建人工智能框架生態(tài)，繁榮中國人工智能產(chǎn)業(yè)」聯(lián)合倡議、成立昇思 MindSpore 開源社區(qū)理事會。

還有新技術(shù)和新方向，昇思的 2.0 正式版在易用性、生態(tài)兼容和 AI for Science 等方面有了里程碑式的提升。

其中最引人關(guān)注的，是事關(guān) AI 算力的重要一步：走南向。

實(shí)現(xiàn)「多芯一生態(tài)」

我們知道，AI 框架在人工智能技術(shù)構(gòu)建的流程中承擔(dān)著「操作系統(tǒng)」一樣的關(guān)鍵角色。它集成了算法封裝、數(shù)據(jù)處理、計算資源調(diào)用等能力，面向開發(fā)者提供方便的開發(fā)界面和高效的執(zhí)行平臺，是現(xiàn)階段 AI 算法開發(fā)的必備工具。

昇思 MindSpore 在機(jī)器學(xué)習(xí)開發(fā)的過程中起到上承應(yīng)用、下接芯片的橋梁意義。

為了持續(xù)拓展連接的廣度，AI 框架需要向兩個方向不斷延伸：「南向」為 AI 芯片算力帶來標(biāo)準(zhǔn)化，「北向」與開發(fā)者和算法廠商開展技術(shù)聯(lián)創(chuàng)，圍繞場景創(chuàng)新、重要需求創(chuàng)造更多可能性。

在生態(tài)峰會上，昇思宣布了「南向」的新進(jìn)展：昇思已兼容適配 20 余家芯片廠商伙伴的硬件設(shè)備，打通云端智能、邊緣智能、端側(cè)智能，實(shí)現(xiàn)端邊云全場景協(xié)同。現(xiàn)在，昇思已經(jīng)讓智能無所不在。

統(tǒng)一生態(tài)是昇思一直以來努力的目標(biāo)。通過兼容不同架構(gòu)、不同廠商的算力，昇思現(xiàn)在可以在 AI 框架的層面上實(shí)現(xiàn)統(tǒng)一、無感知的調(diào)用，而無需擔(dān)心硬件適配能力，這種能力覆蓋 NPU、GPGPU、CPU 等主流計算架構(gòu)。對開發(fā)者來說，昇思從開發(fā)界面、框架能力等多個方面都做到了統(tǒng)一視角，應(yīng)用可以同時在多種硬件后端之間平滑遷移。

實(shí)際的應(yīng)用效果如何？現(xiàn)在在云上環(huán)境中，開發(fā)者的同一套腳本可以不受資源限制地使用，比如可以先用 GPU 進(jìn)行訓(xùn)練，當(dāng) NPU 資源可用時，不進(jìn)行腳本修改就能直接切換至 NPU 繼續(xù)訓(xùn)練。對于端側(cè)的 AI 應(yīng)用，昇思可以將云側(cè)訓(xùn)練的模型無縫部署到端側(cè)進(jìn)行推理。

這種能力大幅降低了 AI 開發(fā)的門檻。面向異構(gòu)算力，通過昇思提供的標(biāo)準(zhǔn)南向接口與算子集，開發(fā)者可以讓整體芯片使能周期大大縮短，無需再進(jìn)行全量重新開發(fā)。同時借助于框架的公共能力，如自動并行、自動微分、模型導(dǎo)出等，我們在新硬件上也能快速完成 AI 應(yīng)用的開發(fā)、訓(xùn)練、推理全流程。

通過軟硬件垂直整合方式搞優(yōu)化，融合不同算力，還讓它們都能發(fā)揮出最大能力，昇思所做的事在 AI 框架上屬于意義重大，但難以實(shí)現(xiàn)。讓算力在 AI 框架層面上實(shí)現(xiàn)統(tǒng)一面臨很多挑戰(zhàn)：首先，不同架構(gòu)的芯片在算力配比、通信能力、內(nèi)存規(guī)格等方面都有一定差異，而要充分發(fā)揮芯片算力，要解決算子執(zhí)行效率、存儲、運(yùn)行時調(diào)度優(yōu)化等問題。

從技術(shù)架構(gòu)上，昇思 MindSpore 為支持多硬件統(tǒng)一也做了不少事，包括：

實(shí)現(xiàn)后端架構(gòu)的解耦，快速支持新芯片插件化對接，包括支持第三方自定義圖優(yōu)化 Pass 注冊，屏蔽資源管理細(xì)節(jié)，及驅(qū)動層接口注冊； 支持抽象硬件類型建模，讓對接流程實(shí)現(xiàn)標(biāo)準(zhǔn)化； 支持抽象算子封裝，統(tǒng)一了算子接口，支持多平臺算子庫動態(tài)注冊，框架層實(shí)現(xiàn)異構(gòu)算子選擇； 支持第三方圖 IR 接入，以充分發(fā)揮芯片的架構(gòu)優(yōu)勢。 公共組件實(shí)現(xiàn)跨硬件復(fù)用，如內(nèi)存復(fù)用算法、內(nèi)存池實(shí)現(xiàn)、統(tǒng)一運(yùn)行時等。

現(xiàn)在，開發(fā)者用同一套腳本就可以在多個硬件后端上執(zhí)行 AI 任務(wù)，無需做面向硬件的修改。另外，框架的能力，如自動并行、自動微分、融合優(yōu)化等都是基于統(tǒng)一 IR 來構(gòu)建的，因此可以在多個硬件后端上進(jìn)行復(fù)用，也無需芯片廠商進(jìn)行重新適配。

面向異構(gòu)的執(zhí)行環(huán)境，如 CPU+GPU、CPU+NPU 等，昇思的統(tǒng)一 IR 支持做異構(gòu)的子圖切分，不同的子圖可以下發(fā)到不同的異構(gòu)硬件上執(zhí)行，這些異構(gòu)切分可以由框架自動完成，同時也支持用戶手動指定執(zhí)行硬件。

昇思的目標(biāo)很明確：做 AI 應(yīng)用和異構(gòu)算力間的橋梁，降低開發(fā)者使用算力的門檻，讓芯片算力能夠觸及更多的開發(fā)者和應(yīng)用場景。通過大力發(fā)展「南向」，昇思幫開發(fā)者解決了核心問題，也可以實(shí)現(xiàn)更大規(guī)模的并行化，例如跨算力中心的協(xié)同計算和異構(gòu)計算，這無疑會大大加速大模型等技術(shù)的應(yīng)用。

另一方面，通過連接昇思這一流行 AI 框架的生態(tài)，國產(chǎn)化 AI 算力在這一過程中也能被更好地應(yīng)用起來。

做業(yè)界領(lǐng)先的 AI 框架

自 2020 年 3 月發(fā)布首個版本以來，昇思作為業(yè)內(nèi)矚目的 AI 框架經(jīng)歷了快速發(fā)展。圍繞昇思的社區(qū)，已是國內(nèi)最具創(chuàng)新活力的 AI 開源社區(qū)。

過去十年，AI 領(lǐng)域經(jīng)歷了從技術(shù)突破到應(yīng)用落地的階段轉(zhuǎn)換，眾多科技公司、研究機(jī)構(gòu)發(fā)布 AI 框架，但只有少數(shù)成為了主流，其中既包括 TensorFlow、PyTorch、JAX 等國外框架，也有昇思 MindSpore 和飛槳這樣的國內(nèi)佼佼者。

科研論文數(shù)量是衡量創(chuàng)新能力的重要指標(biāo)，基于 MindSpore 的頂會論文如今已超過 900 篇，據(jù) Papers with Code 統(tǒng)計，2022 年使用 MindSpore 的頂級會議論文在國內(nèi) AI 框架中排名第一，全球范圍內(nèi)僅次于 PyTorch，位列第二。

昇思的開源生態(tài)匯集了超過 1.3 萬貢獻(xiàn)者，通過超 10 家高校參與的社區(qū)模型眾智活動，目前其平臺已有超過 400 個主流模型，這些成果不斷推動著 AI 能力的全場景應(yīng)用，有超過 5500 家企業(yè)應(yīng)用了昇思能力實(shí)現(xiàn)了智能化技術(shù)落地。

可以說，昇思訓(xùn)練 - 推理 - 全場景協(xié)同、全流程降低開發(fā)門檻、全架構(gòu)統(tǒng)一的三大愿景已在逐步實(shí)現(xiàn)。從地球系統(tǒng)模擬、自動駕駛，到預(yù)訓(xùn)練大模型訓(xùn)練，再到蛋白質(zhì)結(jié)構(gòu)預(yù)測，各行業(yè)的開發(fā)者在昇思上實(shí)現(xiàn)了 AI 開發(fā)自由，不斷推動著技術(shù)創(chuàng)新和應(yīng)用落地。

在 2.0 的大版本更新上，昇思在大模型能力、科學(xué)計算和 AI 技術(shù)落地上繼續(xù)實(shí)現(xiàn)大幅改進(jìn)。

目前行業(yè)內(nèi)的新需求是生成式 AI 落地，在這方面昇思有自己的獨(dú)特優(yōu)勢：三年前首版本發(fā)布時，昇思主打的就是面向大模型的自動并行特性。作為一款 AI 框架，昇思將大模型開發(fā)的系統(tǒng)工程難題集成到軟件框架中解決，沉淀出了整套從預(yù)訓(xùn)練到場景應(yīng)用的大模型實(shí)踐方案。

首先是基礎(chǔ)模型，昇思社區(qū)開源了超過 15 個基礎(chǔ)預(yù)訓(xùn)練模型以及訓(xùn)練腳本，包括當(dāng)前最具備代表性的 BLOOM，LLaMA 等。人們可以方便地以此作為基礎(chǔ)，然后通過昇思 2.0 正式推出的大模型全流程解決方案完成從開發(fā) - 訓(xùn)練 - 微調(diào)到部署的全過程。

以 LLaMA 模型為例：在腳本開發(fā)階段，從 Transformer 模型庫中一鍵導(dǎo)入 LLaMA 并調(diào)用 Trainer 高階 API，你只需要十行代碼就能完成算法腳本的開發(fā)。在訓(xùn)練階段，如果算力有限，昇思可以通過異構(gòu)與存儲優(yōu)化技術(shù)實(shí)現(xiàn)基于一臺服務(wù)器，八張訓(xùn)練卡支持千億參數(shù)大模型訓(xùn)練。

而面向大規(guī)模集群方案，昇思原生了支持業(yè)界最完善的 9 種數(shù)據(jù)和模型并行模式，以及斷點(diǎn)續(xù)訓(xùn)等高可靠方案，算力資源利用率比業(yè)界水平要高 15%。

進(jìn)入場景微調(diào)階段，昇思 2.0 通過集成多種低參微調(diào)的算法，如 LoRA，Adapter 等，可實(shí)現(xiàn)一行代碼運(yùn)行 LLaMA 的低參微調(diào)，也支持千億級模型進(jìn)行 RLHF。

在推理部署階段，昇思提供模型壓縮工具，結(jié)合不同的硬件能力，支持模型規(guī)模 5~20 倍壓縮，同時精度損耗小于 0.5%，并且支持異構(gòu)及多級存儲優(yōu)化的能力，單卡推理規(guī)模提升至千億。

過去三年，昇思社區(qū)幫助業(yè)界完成了紫東。太初、鵬程系列等百億、千億級大模型，根據(jù)《中國人工智能大模型地圖研究報告》中的數(shù)據(jù)，基于昇思孵化的產(chǎn)業(yè)落地大模型，占到國內(nèi)總數(shù)的 40%。

除大模型之外，昇思也一直在推動 AI 使能科學(xué)計算，并積極推動進(jìn)一步降低 AI 應(yīng)用門檻，針對行業(yè)重點(diǎn)場景，打造了系列場景化開發(fā)套件。通過與啟智 OpenI 社區(qū)聯(lián)合打造的 MS-Adapter 項目，昇思在保留原生 API 能力的同時，實(shí)現(xiàn)了業(yè)界主流框架 Pytorch 大多數(shù) API 的兼容。

MindSpore 生態(tài)的未來

簡單來說，通過昇思 MindSpore 業(yè)界領(lǐng)先的能力，大模型可以更快落地，更多行業(yè)可以實(shí)現(xiàn)智能化重塑。

在 AI 領(lǐng)域，新技術(shù)的探索讓我們找到未來方向，而 AI 框架可以幫助我們將技術(shù)轉(zhuǎn)化為生產(chǎn)力。昇思已為我們鋪好了路，通過提供開箱即用的套件，它正在滿足各領(lǐng)域開發(fā)者的需求。

通過一系列共建與合作，昇思正在不斷完善生態(tài)伙伴體系和「朋友圈」，基于 AI 框架的多芯一體生態(tài)還會不斷壯大。

未來，昇思還將持續(xù)提升框架的易用性，兼容業(yè)界生態(tài)，降低開發(fā)者編程門檻。在技術(shù)上進(jìn)一步提升自動并行的核心能力，實(shí)現(xiàn)大模型從訓(xùn)練到推理部署的端到端閉環(huán)。

昇思 AI 框架，將會成為更多行業(yè)的首選。

責(zé)任編輯：

關(guān)鍵詞：