生成式人工智能的大型語言模型通常分為(wei) 基礎(基座或底座)大模型、下遊任務微調優(you) 化大模型等，目的是通過自監督學習(xi) 方法，實現對文本、圖像、視頻、語音等多模態序列訓練數據的語言建模、理解與(yu) 生成。具有下一個(ge) 語義(yi) 符(token)預測能力的大模型通過模仿人類的語言智能，不但對各種模態具有統一的語義(yi) 對齊表達、學習(xi) 與(yu) 記憶，同時嵌入了數據驅動的人類一般性世界知識模型，因此能夠以數據智能新物種的形態完成過去僅(jin) 有人類才能完成的、從(cong) 簡單到複雜的多樣化任務。自2022年11月30日ChatGPT問世以來，生成式人工智能在全球範圍進入到爆發式發展階段，已初具產(chan) 業(ye) 落地的應用條件與(yu) 生態。目前，基礎大模型需要進一步提升其完成複雜任務的能力，同時提高準確率，增強其安全與(yu) 價(jia) 值對齊，尤其是聚焦於(yu) 如何大幅提高大模型的複雜邏輯推理能力。

　　近年來，國內(nei) 大模型發展如火如荼。據統計，截至2024年4月底，國內(nei) 總共推出305個(ge) 大模型，其中參數規模超過10億(yi) 的國產(chan) 大模型達到了100多個(ge) ，並且相當一部分來自於(yu) 國內(nei) 外的開源代碼，如美國Meta公司的Llama係列開源大模型等。從(cong) 原理上來講，目前生成式預訓練模型麵向自回歸或受損文本重建語言建模主任務，大多采用Transformer注意力神經網絡架構，同時使用基於(yu) 隨機梯度下降的自監督學習(xi) 方法。從(cong) 使用的網絡架構與(yu) 預訓練方法來說，各種大模型都相差不大，存在的不同之處主要涉及網絡結構參數與(yu) 超參數，各種(層)歸一化或尺度變換的策略有所不同，預訓練的策略也可能存在差異，但這些本質上屬於(yu) 工程實現問題。顯然，基於(yu) Transformer架構的基礎大語言模型及從(cong) 頭開始的預訓練算法的研究，實際上並沒有多少創新之處，相應的開源代碼也難以較大程度地進行調整和修改。此外，預訓練所采用的大規模文本語料庫，如Pile等都屬於(yu) 公開數據集，對應的預訓練算力也通常使用各種雲(yun) 服務器來完成。

　　在幾十億(yi) 到幾十萬(wan) 億(yi) 參數規模的眾(zhong) 多大模型中，部分企業(ye) 或研發機構僅(jin) 解決(jue) 了大模型的“發布”問題，並未針對大型語言模型亟需解決(jue) 的準確率、幻覺與(yu) 複雜邏輯推理能力等科學問題與(yu) 技術落地“痛點”，開展實質性的原始創新或關(guan) 鍵技術突破。一些企業(ye) 甚至還涉嫌套牌使用。事實上，一年多來，我國大模型的融資案例超過了100起，新增投入達到了200億(yi) 元以上，其中大部分資金主要用來購買(mai) 或創建相應的AI算力或智算中心。

　　大模型的價(jia) 值在於(yu) 應用

　　隻有在多樣化的實際應用場景中賦能智能經濟與(yu) 智能社會(hui) 的發展，才能體(ti) 現生成式人工智能的產(chan) 業(ye) 價(jia) 值，也才能成就大模型本身。如果說自2012年至2022年的人工智能是所謂的弱人工智能，相應的應用落地與(yu) 產(chan) 業(ye) 發展較為(wei) 艱難，那目前的生成式人工智能則邁入了完全嶄新的階段，其對經濟社會(hui) 的影響與(yu) 應用價(jia) 值已不可同日而語。生成式人工智能作為(wei) 新質生產(chan) 力的典型代表，需要重點關(guan) 注“人工智能+”或“+人工智能”，需要聚焦多模態大模型、具身智能與(yu) 交互式人工智能在各個(ge) 細分垂直領域與(yu) 實際場景中的多樣化應用。

　　我國移動互聯網快速發展，不僅(jin) 建設了全球規模最大的5G基礎設施，而且在移動支付、電子商務、數字經濟等方麵始終位列全球第一梯隊。這為(wei) 我國生成式人工智能產(chan) 業(ye) 的加速落地，提供了全球最具多樣化的應用需求與(yu) 實際賦能場景。事實上，我國在弱人工智能的應用上長期走在世界前列。在政策加持與(yu) 各種應用場景創新的引領下，我國在弱人工智能的應用落地速度、應用場景多樣性、標簽大數據體(ti) 量和商業(ye) 模式創新等方麵，被普遍認為(wei) 居於(yu) 全球領先地位。實踐表明，在目前的全球創新生態中，相對於(yu) “從(cong) 0到1”的原始性創新，加速大模型的落地應用是我們(men) 最擅長且最有可能支撐我國繼續占據全球人工智能第一陣營，並保持世界人工智能應用領先優(you) 勢，賦能經濟社會(hui) 發展的關(guan) 鍵變量。

　　在大模型快速發展的多樣化行業(ye) 應用中，基礎或基座大型語言模型發揮著核心支撐作用，但麵向多樣化任務需求進行的下遊模型的微調顯得更為(wei) 重要。這裏的微調既包括模型中全部或部分參數的微小調整，也可以直接利用提示詞進行更為(wei) 簡單自然的優(you) 化。微調學習(xi) 方法既可以使用監督微調(SFT)方法，也可以采用強大的深度強化學習(xi) 算法。針對AI輔助教育、AI輔助醫療、AI輔助金融以及智能問答、智能谘詢、智能推薦、智能總結、智能寫(xie) 作、智能翻譯、智能決(jue) 策、低代碼產(chan) 業(ye) 和人工智能生成內(nei) 容(AIGC)、人工智能搜索引擎等各種下遊任務，結合行業(ye) 微調數據，基於(yu) 思維鏈(CoT)等提示工程改變提問或遵從(cong) 指令的技巧，同時通過將大模型與(yu) 檢索增強生成(RAG)等技術進行結合，利用外部搜索工具及行業(ye) 的知識庫或知識圖譜，可以進一步減少大模型的幻覺與(yu) 偏見，提升其準確率與(yu) 複雜的邏輯推理能力。不僅(jin) 可以帶來更好的用戶體(ti) 驗，而且可以強化對行業(ye) 私有數據及專(zhuan) 業(ye) 知識庫的數據安全、數據隱私及知識產(chan) 權保護。

　　在“大模型+RAG”中，通過對任務的理解，利用檢索引擎進行搜索，之後基於(yu) PageRank等網頁排序算法獲得相關(guan) 知識的排序，再將搜索且排序的檢索結果匯合形成新的提示詞進行提問或發出指令，最後再利用各種大、小語言模型，以期獲得更加精準與(yu) 合理的回答。大量實驗結果表明，這種創新的技術解決(jue) 方案不僅(jin) 無須上載私有的行業(ye) 文檔資料及專(zhuan) 業(ye) 知識庫，克服對數據安全與(yu) 知識產(chan) 權保護的應用焦慮，而且可以有效地緩解幻覺，提高準確率與(yu) 用戶體(ti) 驗，還能提升大模型的時效性、邏輯推理能力、長期記憶及對各種外部或外掛工具的複用能力等。

　　除了上述大型語言模型(LLM)，目前小型語言模型(SLM)或稱小模型以其高效、輕量、緊湊與(yu) 低成本的特點，持續得到全球頭部企業(ye) 的高度關(guan) 注，並不斷得到發展。如微軟的Phi-2、Phi-3序列，又如穀歌的Gemma和英國的Mistral等。這些小模型通常僅(jin) 有幾十個(ge) 億(yi) 的參數規模，由於(yu) 采用了高質量數據進行從(cong) 頭開始的預訓練，同時充分蒸餾、量化了Transformer架構的冗餘(yu) 參數，因而可以在單卡甚至在手機移動端側(ce) 進行推斷部署。結合知識儲(chu) 備與(yu) 邏輯推理能力等在內(nei) 的許多基準測試結果表明，輕量化小模型的性能甚至可以超越規模大其數十倍以上的大模型，這讓多模態智能體(ti) 的開發與(yu) 應用更加高效、實時與(yu) 靈活。因此，“小模型+RAG”在具身智能體(ti) 與(yu) 交互式人工智能的應用落地實踐中，同樣需要得到重視。

　　綜上所述，一方麵，應繼續大力發展行業(ye) 大模型與(yu) 應用場景大模型，保持其良好發展勢頭，深耕“人工智能+”與(yu) “+人工智能”的垂域應用;另一方麵，應聚焦大模型產(chan) 業(ye) 應用中的高質量數據集構建、大規模分布式AI算力網的一體(ti) 化部署、混合專(zhuan) 家模型(MoE)、高效微調、大/小模型+RAG、知識增強、邏輯增強、大模型的壓縮及量化技術，提示工程以及大、小模型與(yu) 強化學習(xi) 、圖神經網絡及長期記憶的結合等，為(wei) 我國大模型產(chan) 業(ye) 的應用落地提供源源不斷的技術創新動能與(yu) 共性關(guan) 鍵技術新突破。

　　我國大模型產(chan) 業(ye) 發展迎來重要窗口期

　　通用人工智能目前正經曆如下迭代演化路徑，即從(cong) 早期的GPT等文本語料大型語言模型(包括基礎/基座模型與(yu) 下遊微調模型)，然後通過增加視、聽、說以及移動與(yu) 操作能力等，迭代升級到目前正蓬勃發展中的多模態大型語言模型和多模態具身智能體(ti) ，並將進一步發展到多模態交互式通用人工智能新階段。

　　在架構方麵，Transformer注意力神經網絡主要涉及編碼器和解碼器兩(liang) 個(ge) 部分，前者用於(yu) 對輸入token序列進行掩碼預測與(yu) 編碼表達，後者則可以進一步實現對大規模訓練序列或對物理世界的自回歸逼近與(yu) 生成。需要注意的是，GPT等生成式預訓練大模型或生成式人工智能通常僅(jin) 由多層解碼器組成。簡單來說，生成式人工智能就是模仿學習(xi) ，這裏的生成實際就是模仿。而通用人工智能的路徑演化則是“模仿學習(xi) +交互式學習(xi) ”。

　　2023年下半年以來，可直接賦能人形機器人和自動駕駛的多模態大模型、多模態具身智能體(ti) 得以迅猛發展，人工智能的應用逐步從(cong) 互聯網空間走向真實的物理世界，開始更加重視與(yu) 實體(ti) 經濟的融合發展，並賦能新製造、新能源與(yu) 新零售等垂直領域或行業(ye) 的產(chan) 業(ye) 部署與(yu) 跨界應用。人工智能的應用在全球範圍呈現爆發性增長態勢，我國大模型產(chan) 業(ye) 發展迎來重要窗口期。

　　隨著GPT-4V等的正式發布，多模態大模型已具有“讀圖”“讀音”或直接看懂圖像、視頻與(yu) 聽懂語音的能力。例如，基於(yu) 單段式端到端視覺語言動作大模型的智能體(ti) ，利用少量編程即可構建出視覺神經網絡，然後通過直接觀看人類移動或操作視頻就可進行直覺或本能的“快思維”自主學習(xi) ，從(cong) 而獲得在真實物理世界中的相應技能。總體(ti) 來看，相對於(yu) 過去分段式的人工智能方法，單段式或單模型的端到端視覺語言動作大模型及其解決(jue) 方案是自動駕駛與(yu) 人形機器人研發範式的一個(ge) 根本性改變，是真正的全自主學習(xi) 人工智能解決(jue) 方案。正是由於(yu) 上述新範式、新導向的出現，我們(men) 有理由相信自動駕駛將有可能實現L4級別，甚至達到完全人類水平的L5級別。具身智能體(ti) 人形機器人將滲透到實體(ti) 經濟的千行百業(ye) ，成為(wei) 智能製造的主力，同時走入千家萬(wan) 戶，完成精神陪護、家政服務與(yu) 養(yang) 老服務等。人機共融社會(hui) 的未來景象或將不再是一種科幻般的憧憬。這種顛覆性技術變革所帶來的生產(chan) 力與(yu) 生產(chan) 效率躍升及人類文明進步，有望創建數十萬(wan) 億(yi) 美元的產(chan) 業(ye) 想象空間，必將具有“改變世界”的重大意義(yi) 與(yu) 巨大的產(chan) 業(ye) 帶動作用。為(wei) 此，我們(men) 必須未雨綢繆，在戰略性新興(xing) 產(chan) 業(ye) 與(yu) 未來產(chan) 業(ye) 的國家戰略安排與(yu) 產(chan) 業(ye) 布局上給予足夠的重視。

　　總體(ti) 上，包括單段式端到端純視覺方案在內(nei) ，多模態大模型與(yu) 具身智能體(ti) 賦能通用人形機器人和自動駕駛等的快速發展，不僅(jin) 構築了國家重大戰略發展的價(jia) 值新高地，而且是發展新質生產(chan) 力與(yu) 顛覆性技術創新的典型代表;不僅(jin) 是助推智能經濟與(yu) 智能社會(hui) 發展的新機遇、新引擎和新動能，也是國際競爭(zheng) 與(yu) 合作的新陣地、新賽道和新風口。

　　我國大模型產(chan) 業(ye) 發展麵臨(lin) 挑戰

　　在某種意義(yi) 上，人類似乎找到了一條可行的人工智能實現路徑，即以數據智能的形態模仿並交互式學習(xi) 人類的外部智能行為(wei) ，以完成過去僅(jin) 有人類才能完成的一係列複雜任務。從(cong) 整個(ge) 迭代演化路徑來看，目前通用人工智能的發展才剛剛拉開序幕。在邁向更高水平的通用人工智能，甚至走向強人工智能“奇點”時刻的征途上，前方的道路充滿了挑戰。

　　人工智能涉及數據、算力、模型與(yu) 算法、應用場景和垂直整合五個(ge) 維度，其中數據是基礎，芯片是高地，算法是核心，人才是關(guan) 鍵，選定垂直細分領域最重要。我國大模型產(chan) 業(ye) 在基礎算法創新、基座大模型預訓練數據、公共算力占比等方麵需要進一步提升。由於(yu) 大模型產(chan) 業(ye) 的資源投入較大、產(chan) 業(ye) 鏈條較長、應用場景多樣複雜，企業(ye) 普遍麵臨(lin) 著高端人才不足、資金與(yu) 技術匱乏等難題。一方麵需要降低從(cong) 頭開始的基礎模型的分布式預訓練成本，特別是大幅減少垂直行業(ye) 大模型的推斷應用部署成本;另一方麵還需要推動傳(chuan) 統企業(ye) 數字化轉型升級，賦能企業(ye) 提質增效，進一步改善用戶體(ti) 驗與(yu) 提高市場滲透率。

　　為(wei) 此，我們(men) 需要首先針對行業(ye) 與(yu) 實際應用場景獲取高質量預訓練數據與(yu) 微調數據。在大模型的應用實踐中普遍存在著數據的碎片化、“孤島”、冗餘(yu) 、野值和非均衡等難題，不僅(jin) 需要發展高質量的數據采集與(yu) 清洗技術，如麵向語言建模主任務的數十萬(wan) 億(yi) token的大規模語料庫，以及行業(ye) 預訓練數據、結合特定任務從(cong) 數十萬(wan) 至百萬(wan) 量級的短視頻訓練數據;還需要有效利用各種專(zhuan) 業(ye) 知識庫的搜索與(yu) 知識增強、邏輯增強，並著力解決(jue) 數據安全、隱私保護、知識產(chan) 權和數據合規等應用落地問題，推進人工智能治理的國際合作。與(yu) 此同時，為(wei) 了提高智能體(ti) 的學習(xi) 效率與(yu) 質量，應進一步引入Sora、空間智能等世界模擬器，用於(yu) 提供合成視頻訓練數據，以彌補人類視頻訓練數據的不足，並提高訓練效能。

　　其次，在AI算力基礎設施的需求與(yu) 產(chan) 業(ye) 化部署方麵，隨著多模態大模型與(yu) 具身智能體(ti) 的發展，尤其是單段式端到端視覺語言動作大模型的範式變革，由於(yu) 涉及時空像素空間的物理學規律模擬，因此對分布式預訓練的AI算力需求巨大。視覺作為(wei) 高階模態(時空上下文長序列)，同時考慮到生成式人工智能的規模化定律(Scaling Law)與(yu) 湧現能力，因此發展基礎大型語言模型、行業(ye) 大模型、多模態視覺語言動作大模型與(yu) 通用世界模擬器作為(wei) 合成視頻數據等，均需要極大的AI算力作為(wei) 支撐。為(wei) 此，我們(men) 需要有效構建並充分利用10—100個(ge) E量級的全國一體(ti) 化AI算力基礎設施，以泛在的智慧雲(yun) 方式，大幅減少重複建設與(yu) 資源浪費，補齊短板，發揮優(you) 勢。

　　在模型與(yu) 算法創新方麵，針對長尾應用與(yu) 邊緣事件，前述單段式端到端視覺語言動作大模型帶來了曆史性機遇，極有可能成為(wei) 技術突破的有效方案。目前圍繞多模態大模型與(yu) 具身智能體(ti) 的理論與(yu) 技術創新，如Transformer模型的平替與(yu) 升級換代已成為(wei) 全球科技界、產(chan) 業(ye) 界共同關(guan) 注的創新焦點。考慮到Transformer模型通常具有二次方的計算複雜度，因此各種具有線性複雜度，乃至常數複雜度的新一代注意力模型與(yu) 在線學習(xi) 模型，成為(wei) 當前學術研究的重點。此外，基礎大模型的性能上限在哪裏?規模化定律是否具有更大程度的普適性?如何突破符號水平的複雜邏輯推理能力?有關(guan) 數據智能新物種的自主意圖、自我意識與(yu) 自我進化等是否應設定為(wei) 人類發展通用人工智能的紅線?這些已成為(wei) 有關(guan) 模型與(yu) 算法創新的熱點問題。

　　最後，開放域的人工智能應用場景落地自2012年以來一直是一個(ge) 重要問題，原因是麵對長尾與(yu) 邊緣挑戰，人們(men) 不能通過感知—決(jue) 策列舉(ju) 的方式，全麵探索和嚐試所有可能的路徑和方法。因而在相當程度上降低了多模態智能體(ti) 的環境適應性與(yu) 自主能力。在高AI算力的支撐下，大模型落地應用場景以學習(xi) 解決(jue) 一切問題，通過遠比人類強大的高效的自監督學習(xi) ，實現了對人類全部文本語料數據的模擬，基於(yu) 多模態方式完成對人類各種感知與(yu) 行為(wei) 動作能力的模仿學習(xi) ，並最終利用多模態智能體(ti) 與(yu) 真實物理世界的交互式強化學習(xi) ，獲得從(cong) “形似到神似”的性能躍升。在此過程中，大模型方法本質上構建並利用了某種意義(yi) 上的人類語言智能與(yu) 知識驅動模型，獲得了時空場景的理解能力與(yu) 邏輯推理能力，也進行了結合虛實平行世界的交互式自主探索與(yu) 最優(you) 策略遷移。這些不僅(jin) 為(wei) 大模型麵向開放域長尾與(yu) 邊緣挑戰的真實場景的落地應用，提供了一種更加類似人類視覺技能學習(xi) 的嶄新範式，而且為(wei) 多模態智能體(ti) 的迭代演化指明了前行的方向。

　　總之，我國大模型產(chan) 業(ye) 的發展在數據、算力、算法與(yu) 應用場景創新方麵，正經曆前所未有的曆史性機遇與(yu) 挑戰。麵對席卷而來的生成式人工智能發展浪潮，我國生成式人工智能與(yu) 通用人工智能作為(wei) 新質生產(chan) 力，一定能夠賦能經濟社會(hui) 發展。通過政策引領、體(ti) 製機製創新、更高質量數據集的構建與(yu) 開放使用、全國一體(ti) 化AI算力基礎設施建設以及場景創新等的合力支撐，充分發揮我國大模型產(chan) 業(ye) 的規模優(you) 勢，塑造我國生成式人工智能產(chan) 業(ye) 發展的全球競爭(zheng) 優(you) 勢，讓中國的人工智能發展為(wei) 增進人類福祉作出更大的貢獻。