李志飛將AIGC看得很透，他可能是行業(yè)里“最不著急”的人。

@數(shù)科星球原創(chuàng)

作者丨苑晶編輯丨大兔

“幾乎每一個行業(yè)，從業(yè)者都是國外的2倍，利潤又是同行的1/5，讓中國的創(chuàng)業(yè)難度提升了10倍”。李志飛的這句話適用于廣大行業(yè)，也可看成AIGC行業(yè)所面臨的現(xiàn)狀。

在2023年，AIGC行業(yè)開局即炸裂。“被離職”、泛互聯(lián)網(wǎng)從業(yè)者及創(chuàng)業(yè)者扎根其中，保守估計已逾百萬之眾。熱鬧中裹挾著焦慮，熙熙攘攘的人群中到處可聽見“chat、chat”。

第二季度，國內(nèi)企業(yè)動作頻出，百度、360、阿里、商湯相繼發(fā)布自研大模型，創(chuàng)業(yè)圈也熱情不減，王慧文、李開復、賈揚清、王小川相繼下場宣布入局大模型，當大家的關注點都聚焦在5000萬美元能買多少張卡，可以支持幾次訓練的時候，李志飛和出門問問卻走出了另外一條路。自研大模型+AIGC產(chǎn)品矩陣，底層技術和應用落地并行是這家公司的特色，他可能是這個行業(yè)“最不著急”的人。

01

什么是大模型

在李志飛看來，大模型本質(zhì)上是序列模型。

以GPT為代表的大模型起源于文本，?本是簡單線性序列，從這個角度看，大模型本質(zhì)上是一個序列模型。

他認為，序列本身是很通用的，語言是一種序列，天氣溫度、股票價格也是序列。任何一個序列都有所謂的Prefix（前綴）、中綴（Infix）和 Suffix（后綴），這些元素構(gòu)成短語后就能形成具有遞歸能力的層次式表示，就像語言的語法樹一樣。大模型現(xiàn)在已經(jīng)學會快速表達序列，這一能力是以前的AI在機器翻譯、語音識別等序列任務里都不具備的。而且語言序列只是一種非常簡單的序列，因為它是線性的。

這似乎并不難理解，在數(shù)科星球（ID：digital-planet）多方印證下，找到了序列模型的一些解釋：（GPT、BERT等）之所以被稱為序列模型，是因為它們是在序列數(shù)據(jù)上進行預訓練的。在自然語言處理領域，大模型的輸入通常是一句話或一篇文章，這些輸入可以被看作是一個序列。因此，在訓練這些模型時，它們通常會以序列方式處理輸入，并使用一系列技術來建立記憶和理解上下文之間的關系，以提供更好的預測能力。

在數(shù)科星球（ID：digital-planet）的研究中發(fā)現(xiàn)，如今，序列模型在業(yè)界已被廣泛采用。例如，Google的BERT模型可以通過在大量文本數(shù)據(jù)上進行預訓練，理解單詞和短語之間的關系，從而實現(xiàn)對復雜自然語言處理任務的卓越表現(xiàn)。同樣，OpenAI的GPT-3模型是基于序列到序列的轉(zhuǎn)換模型，以多種方式訓練，使用Transformer架構(gòu)來學習計算機生成的文本與真實的人類生成的文本之間的關系。

值得注意的是，大模型較之以往AI產(chǎn)品的好處是顯而易見的。以往，問題在通過AI生成結(jié)果之前，需要定義語義模板，而這通常是指一種用于描述和表示語言語義信息的結(jié)構(gòu)化模板。這些模板描述了一些常見的語言結(jié)構(gòu)和句式，在生成文本時可以根據(jù)這些模板來指引生成過程。但缺點是，當問題發(fā)生變化，AI的程序也需變化，這讓模型本身變得“不那么通用”。

“而大模型訓練過程中并不會預設問題，只在最后Fine Tuning階段給模型一些范例數(shù)據(jù)（而非按照格式去標注數(shù)據(jù)），然后就可以直接提問模型并得出答案。”這意味著，大模型產(chǎn)品不需要特意標注數(shù)據(jù)和重新訓練系統(tǒng)，在通用性角度上，是一種極大的進步。

02

參數(shù)不是越多越好

隨著ChatGPT在全球越來越火爆，大模型的基本原理已逐漸被世人熟知。在一個個大模型推向市場的同時，數(shù)科星球（ID：digital-planet）看到，大模型的參數(shù)量變成了人們關注的焦點。對此，人工智能科班出身的李志飛認為，大模型不只是”大“。

他提到，參數(shù)量超千億的語言模型并非近年才發(fā)展起來，早在2007年，Google Translate的語言模型就已在2萬億文本token里進行學習，并達到3000億參數(shù)。但那時的大模型都是基于文本里的n-grams構(gòu)建，只是對互聯(lián)網(wǎng)文本的表層建模，至多只能往前看六個詞，主要用于在翻譯過程中判斷哪些句子更加符合目標語言習慣，并不具備泛化任務的能力。

所以大模型不只是「大」，更多是需要對互聯(lián)網(wǎng)文本深度地建模。

在數(shù)科星球（ID：digital-planet）對話相關業(yè)內(nèi)人士后，也得出了相似結(jié)論：即大模型并不是參數(shù)越多越好——大模型確實需要參數(shù)到達一定的量級才會出現(xiàn)“涌現(xiàn)“能力，增加參數(shù)量也的確可以提升模型表現(xiàn)，但也會帶來以下一些潛在問題：

訓練時間和計算資源：參數(shù)越多，訓練模型所需的時間和計算資源就越多。這可能導致開發(fā)周期變長，并需要更強大的硬件設備才能支持。

過擬合：較多參數(shù)的大模型可能面臨過擬合問題。當一個模型具有太多參數(shù)時，它可能過于復雜，以至于對訓練數(shù)據(jù)捕捉過多細節(jié)，而無法很好地泛化到新的、未見過的數(shù)據(jù)。

優(yōu)化挑戰(zhàn)：參數(shù)較多的模型在尋找最優(yōu)解時具有更大的搜索空間，從而使優(yōu)化過程更為復雜和困難。

易用性和部署：大模型可能導致較大的存儲和內(nèi)存需求，這可能影響模型的易用性和部署。在資源受限的設備上（如移動設備），部署大模型可能存在挑戰(zhàn)。

因此，在設計和選擇模型時，應該根據(jù)任務需求和資源限制來平衡模型的大小和復雜度。在實際應用中，往往需要找到模型大小和性能之間的最佳平衡點。有時候，使用更小的模型加上合適的正則化方法、數(shù)據(jù)增強等技術，也能達到不錯的效果。

03

關鍵在于把如何大模型用起來

4月20日，出門問問在2023AIGC戰(zhàn)略發(fā)布會上內(nèi)測自研大模型“序列猴子”，展示了其在知識儲備、多步推理等方面的能力，李志飛本人甚至做了一場“人機交互”的live demo。

此外，出門問問還推出了四款AIGC產(chǎn)品形成產(chǎn)品矩陣，分別為AI寫作平臺“奇妙文”、AI繪畫平臺“言之畫”、AI配音平臺“魔音工坊”、數(shù)字人視頻與直播平臺“奇妙元”，涵蓋了劇本生成、解說講稿、文本工具、創(chuàng)意想法、視頻制作和制圖配圖等多個使用場景。

自2012年成立，出門問問這家公司在語音識別、TTS和NLP等領域均有嘗試。2020年6月，GPT-3出現(xiàn)之后其強大的通用能力讓人李志飛非常震撼，一個單一的模型便可以完成多種特定任務，甚至能夠完成從來沒有接觸過的任務。驚艷于GPT-3的表現(xiàn)，出門問問開始探索中國GPT-3之路，并于2021年發(fā)布大模型「UCLAI」，但由于其商業(yè)化落地過于艱難，出門問問便停止了對大模型的投入。

隨后的一年多時間里，出門問問開始布局生成式AI，做出了一系列AIGC產(chǎn)品，如「魔音工坊」和「奇妙元」。同時在美國，以Jasper為代表的AIGC產(chǎn)品迎來爆發(fā)式發(fā)展，成為GPT落地應用的最佳場景之一。

2022年10月，出門問問重啟大模型業(yè)務。歷經(jīng)6個月，出門問問在發(fā)布會中連發(fā)4款AIGC產(chǎn)品，涵蓋劇本生成、解說講稿、文本工具、創(chuàng)意想法、視頻制作和制圖配圖等多個使用場景形成覆蓋創(chuàng)作者全流程的生成式產(chǎn)品矩陣。

厚積薄發(fā)之下，大模型技術以及AIGC落地場景和產(chǎn)品應用的積累徹底打通了出門問問的“任督二脈”，讓產(chǎn)品-數(shù)據(jù)和用戶之間形成了飛輪效應。

客觀地說，出門問問的模式可以成為大模型和AIGC企業(yè)的成長樣板，在可預期的未來，AIGC產(chǎn)品之間也將在進一步提升語義語境理解、垂直模型和個性化之間展開。在數(shù)科星球（ID：digital-planet）看來這場技術革命才剛剛開始，遠沒到終局之時。

不過面對OpenAI引發(fā)的這場技術浪潮，相比于年初的滿腔熱血，李志飛理性了很多。

“跟ChatGPT差距是16個月 ”是李志飛對國內(nèi)大模型技術水平的判斷，他認為，目前國內(nèi)各家大模型的平均水平大概處于谷歌FLAN階段（FLAN開啟了大模型的指令學習Instruction Tuning范式），

做大模型不能太著急，它是個長期主義的事情。

如今，在琳瑯滿目的AIGC類產(chǎn)品推向市場的同時，數(shù)科星球（ID：digital-planet）認為，創(chuàng)業(yè)企業(yè)在構(gòu)建技術底座的同時，還應該明確落地場景和商業(yè)模式。畢竟目前，國內(nèi)外差距展現(xiàn)出來的只是技術問題，而中國擁有全球難以企及的應用優(yōu)勢。技術和商業(yè)并行，兩條腿走路或許是最適合國內(nèi)大模型企業(yè)的發(fā)展路線，就像李志飛所說，發(fā)展大模型的關鍵在于把如何大模型用起來。

結(jié)尾：在對話多家AIGC企業(yè)后，數(shù)科星球（ID：digital-planet）覺得，李志飛和出門問問可能是行業(yè)中“最不著急”的人。他本人對AIGC的態(tài)度是長期看好，但并不焦慮。

現(xiàn)在，AIGC的子彈飛翔兩個多月，并攪得行業(yè)“天下大亂”。在未來，數(shù)科星球（ID：digital-planet）希望看到更多更扎實、更能沉得住氣的企業(yè)加入AIGC大潮。有理由相信，倘若再給行業(yè)多些時間，那么將會有更多的企業(yè)給大眾帶來更多驚喜。

       原文標題 : 出門問問把AIGC看得很透徹