李開復說話算數:零一萬物大模型首次發佈,AI 2.0 正在路上

.. 作者 | 王悅

編輯 | 陳彩嫻

11月6日,李開復帶隊創辦的 AI 2.0 公司零一萬物,開源發佈了Yi系列模型,包含 34B 和 6B 兩個版本。

令人驚艷的是,從參數量和性能上來看,Yi-34B 相當於只用了不及 LLaMA2-70B一半、Falcon-180B五分之一的參數量,碾壓 了LLaMA2-70B 和 Falcon-180B 等眾多大尺寸模型。憑藉這一表現,躋身目前世界範圍內開源最強基礎模型之列。

根據 Hugging Face 英文開源社區平台和 C-Eval 中文評測的最新榜單,Yi-34B 預訓練模取得了多項 SOTA 國際最佳性能指標認可,成為全球開源大模型「雙料冠軍」。這也是迄今為止唯一成功登頂 Hugging Face 全球開源模型排行榜的國產模型。

Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜(2023年11月5日)

雷峰網獲悉,「Yi 」系列大模型,命名來自「一」的拼音。「Yi 」中的「Y」上下顛倒,巧妙形同漢字的「人」,結合 AI 里的 i ,代表Human + AI ,強調以人為本的精神,為人類創造巨大的價值。

零一萬物創始人及CEO李開復博士表示:「零一萬物堅定進軍全球第一梯隊目標,從招的第一個人,寫的第一行kl代碼,設計的第一個模型開始,就一直抱着成為『World's No.1』的初衷和決心。」

從「AI 1.0」邁向「AI 2.0」,李開復說話算數,一步步向目前邁進。


一、零一萬物大模型 Yi 首次曝光

作為國產大模型, Yi-34B 不得不說的的優勢之一就是更「懂」中文。對比大模型標杆GPT-4,在CMMLU、E-Eval、Gaokao 三個主要的中文指標上,Yi-34B 也具有絕對優勢,能夠更好地適配國內市場需求。

從更為全面的評估看,在全球大模型各項評測中最關鍵的 「MMLU」(Massive Multitask Language Understanding 大規模多任務語言理解)、BBH等反映模型綜合能力的評測集上,Yi-34B 同樣表現突出,在通用能力、知識推理、閱讀理解等多項指標評比中全部勝出,與 Hugging Face 評測高度一致。

各評測集得分:Yi 模型 v.s. 其他開源模型

在語言模型中,上下文窗口是大模型綜合運算能力的關鍵指標之一,對於理解和生成與特定上下文相關的文本至關重要,擁有更長窗口的語言模型可以處理更豐富的知識庫信息,生成更連貫、準確的文本。

據雷峰網了解,此次開源的 Yi-34B 模型,將發佈全球最長、可支持 200K 超長上下文窗口(context window)版本,可以處理約40萬漢字超長文本輸入。理解超過 1000 頁的 PDF 文檔,讓很多依賴於向量數據庫構建外部知識庫的場景,都可以用上下文窗口來進行替代。

相比之下,OpenAI 的 GPT-4 上下文窗口只有 32K,文字處理量約 2.5 萬字。今年三月,硅谷知名 AI 2.0 創業公司Anthropic 的 Claude2-100K 將上下文窗口擴展到了 100K 規模,零一萬物直接加倍,並且是第一家將超長上下文窗口在開源社區開放的大模型公司。

上下文窗口規模擴充從計算、內存和通信的角度存在各種挑戰,零一萬物能做到這個程度也並非一蹴而就。受限於計算複雜度、數據完備度等問題,大多數發佈的大型語言模型僅支持幾千 tokens 的上下文長度。

為了解決這個限制,零一萬物技術團隊實施了一系列優化,包括:計算通信重疊、序列并行、通信壓縮等。通過這些能力增強,實現了在大規模模型訓練中近 100 倍的能力提升。

其實,Yi 系列模型之所以能取得如此亮眼的成績,背後的 AI Infra 是功不可沒的,其通過「高精度」系統、彈性訓和接力訓等全棧式解決方案,確保訓練高效、安全地進行。

憑藉強大的 AI Infra 支撐,零一萬物團隊能實現超越行業水平的訓練效果,Yi-34B 模型訓練成本實測下降40%,實際訓練完成達標時間與預測的時間誤差不到一小時,進一步模擬上到千億規模訓練成本可下降多達 50%。

截至目前,零一萬物 Infra 能力實現故障預測準確率超過90%,故障提前發現率達到 99.9%,不需要人工參與的故障自愈率超過 95%,

無論是人前耀眼的成績還是背後基礎能力的攻堅,也都離不開零一萬物潛心數月練就的大模型 「科學訓模」方法論。

大模型效果依賴於更多、更高質量的數據,零一萬物在數據處理管線上可謂「不惜成本」。

數據處理管線和加大規模預測的訓練能力建設,把以往的大模型訓練碰運氣的「煉丹」過程變得極度細緻和科學化,不僅保證了目前發佈 Yi-34B、Yi-6B 模型的高性能,也為未來更大規模模型的訓練壓縮了時間和成本,

經過幾個月大量的建模和實驗,零一萬物自研出一套「規模化訓練實驗平台」,用來指導模型的設計和優化。數據配比、超參搜索、模型結構實驗都可以在小規模實驗平台上進行,對 34B 模型每個節點的預測誤差都可以控制在0.5%以內。

在 Yi 開源模型的全球首發日,零一萬物 CEO 李開復也宣布,在完成 Yi-34B 預訓練的同時,已經旋即啟動下一個千億參數模型的訓練。「零一萬物的數據處理管線、算法研究、實驗平台、GPU 資源和 AI Infra 都已經準備好,我們的動作會越來越快」。


二、從「AI 1.0」到「AI 2.0」


零一萬物的首次成果公布,體現的不僅是技術的進步,還有商業的可能性。

今年 3 月,李開復作了一場關於 AI 從 1.0 時代跨到 2.0 時代的演講。隨後,零一萬物在李開復所設想的 AI 2.0 框架下成立,招攬了前百度安全副總裁馬傑、前微軟副總裁祁瑞峰等等技術大咖,陣容豪華,引起業內的廣泛關注。

過去十年,深度學習催生了一批優秀的 AI 公司,隨後經過多年的發展,在過去兩年曾進入短暫的低谷期,一度傳出 AI 泡沫、AI 寒冬的說法。其中的根源就在於:上一代 AI 公司儘管基於嶄新的技術立足,但在商業化上的步伐卻比預期慢。

而從去年 8 月 Stable Diffusion 掀起 AIGC 熱潮以來,加上去年11月底 ChatGPT 發佈,全球 AI 突然看到了新的機會。這個新的機遇,被李開復稱為「AI 2.0」。

ChatGPT 之後,AI 時代的進步在技術上體現為通用人工智能(AGI)雛形初顯,在商業應用上則被李開復形容為平台級的趨勢爆發。

所謂「平台」,包含一個大的目標,即要大幅降低開發 AI 應用的成本。如同電與電網的區別,電是一項偉大的發明,但如果沒有電網,就不會出現微波爐、電烤箱、電動車等新的發明。換言之,AI 2.0 之於 AI 1.0 的區別,就在於將 AI 技術變成平台,將定製變成通用,將點變成面。

過去十年的商業實踐驗證了 AI 1.0 時代的瓶頸。在 AI 1.0 時代,數據越多、結果越好,但同時也因為需要大量的標註數據,成本巨大。此外,AI 1.0 時代的應用在各個領域是相互割裂的,誕生了一連串的「孤島應用」,無法形成有效的平台。

但 AI 2.0 時代的技術基石是自監督,可以讓 AI 模型不進行數據標註也能學習。雖然同樣需要將大量的、跨領域的數據拿來學習,但學習后形成一個基礎模型(即大模型)后再去做知識的遷移,AI 即相當於一個世界模型。經過多年的訓練與積累,基礎模型更成熟,基於基礎模型再做平台應用,即可打破 AI 應用的孤島現象,邊際效益與日俱增。

換言之,AI 2.0 時代有三大優勢:一是減少人工標註;二是模型規模大,具備世界知識;三是能夠以極低的成本對基礎模型進行微調訓練,即可適應不同領域的任務。所以,在 AI 2.0 時代,每個領域都有機會將原有的應用重構一遍,用更短的時間生產出更高質量的數字內容,而且千人千面、精準優化信息流,做出更偉大的商業模式。

一方面,降低訓練成本是減少 AI 應用開發成本、催生一系列爆款應用的前提;另一方面,長文本處理是商業應用的一道攔路虎。如果長文本處理的技術瓶頸能突破,許多更高難度的應用也會被一一破解,如處理超長篇幅的法務合同、交叉對比多篇學術論文、基於長篇劇本進行角色扮演、通過多篇財報進行市場分析等等。

因此,「長文本處理」在下半年成為大模型賽道的兵家必爭之地。從 Anthropic AI 對 OpenAI 發起挑戰後,國內多家大模型廠商也陸續推出長文本處理里程碑。如月之暗面的 Kimi Chat 支持 20 萬字輸入,百川智能的 Baichuan2-192k 支持 35 萬字輸入,零一萬物的 Yi-34B 迅速擴展到 40 萬字。

此次零一萬物團隊開源大模型 Yi-34B 與 Yi-6B,在長文本領域可以做到最長 200k 上下文窗口、40 萬字的文本處理,也與李開復此前談的 AI 2.0 思想相一致。同時,據零一萬物介紹,他們還依託基礎的計算設施與算法優化等 Infra 能力,將訓練成本下降了 40%。

上傳到 Hugging Face 不過兩天後,Yi-34B 的下載量就超過了 1000 次,獲得了接近 150 個點贊。


長文本處理的技術突破,不僅是表面上關於 Token 數的數據變更,更重要的是其體現了人工智能領域整體對 AI 2.0 時代所蘊含的商業潛力的認同與樂觀。正是因為對大模型為代表的新一代 AI 技術的信心,才有如此多優秀的技術人才湧入該賽道,在極短的時間內快速突破了長文本等技術問題的局限。

據雷峰網了解,如今長文本處理已逐漸被熱情的 AI 技術人才攻破,目前業內流行的技術方法包括:最簡單粗暴的堆顯存,或滑動窗口、降採樣等,或在 Attention-mask 中做動態內插。這些方法的效果很好,缺點是計算開銷大。但在各大雲計算廠商的加持下,算力壁壘也被逐漸打了下來。

可以看見,AI 進入一個新的時代毫無疑問已是行業共識。AI 2.0 代表一個新的商業願景,道阻路長,玩家眾多,但後來者零一萬物也已成為其中最有潛力的團隊之一,期待零一萬物接下來的表現。

OpenAI 首屆開發者大會召開在即,AI 科技評論持續關注,歡迎同樣關注的朋友添加作者微信 s1060788086 一起交流。



想在手機閱讀更多李開復資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems