21世紀(jì)經(jīng)濟(jì)報(bào)道記者董靜怡 上海報(bào)道

(相關(guān)資料圖)

ChatGPT展現(xiàn)出來的令人驚艷的對(duì)話理解與表達(dá)能力，讓越來越多人意識(shí)到，人工智能已經(jīng)迎來了全新的里程碑。并且有望作為一個(gè)至關(guān)重要的基座系統(tǒng)，以前所未有的速度滲透進(jìn)各行各業(yè)，持續(xù)引爆未來世界的數(shù)字經(jīng)濟(jì)體系。

近日，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬在接受21世紀(jì)經(jīng)濟(jì)報(bào)道記者專訪時(shí)表示，ChatGPT的革命性體現(xiàn)在大模型的“涌現(xiàn)能力”上。在大模型訓(xùn)練過程中，出現(xiàn)了一些意外的、超乎預(yù)期的能力表現(xiàn)。據(jù)悉，在訓(xùn)練計(jì)算量大概在10的22次方之后，模型能力會(huì)完成從量變到質(zhì)變的飛躍，呈現(xiàn)出驚人的爆發(fā)式增長(zhǎng)。

“比如說你讀兩本書可能就背下來，但是當(dāng)你讀1萬本的時(shí)候，你可能就理解了一些道理，當(dāng)你讀1億本的時(shí)候，很可能融會(huì)貫通，從中掌握世界的規(guī)律。”邱錫鵬表示。但大模型具體是怎樣在突破某個(gè)值后突然變得智能，仍然是個(gè)未解之謎。

不過，“涌現(xiàn)”的出現(xiàn)似乎也證明了一條路是正確的，即擴(kuò)大模型規(guī)模，即可使其具有“智能”。在AI圍棋打敗人類棋手之時(shí)，Google Bert的參數(shù)規(guī)模為3億；2020年后GPT-3橫空出世，參數(shù)量級(jí)已經(jīng)跨越到了1750億。

涌現(xiàn)能力的背后，則進(jìn)一步隱含著三個(gè)非常重要的技術(shù)：情景學(xué)習(xí)、思維鏈和指令學(xué)習(xí)，這也是ChatGPT得以在人工智能領(lǐng)域叱咤風(fēng)云的關(guān)鍵原因。

情景學(xué)習(xí)深刻改變了傳統(tǒng)機(jī)器學(xué)習(xí)的范式，只需要通過一系列精心設(shè)計(jì)的提示語句（Prompt），對(duì)任務(wù)進(jìn)行詳細(xì)描述，然后再輔以一些情景例子，就能夠讓模型參考著既定例子完成特定任務(wù)。

思維鏈則使得模型具有了推理的能力，讓本來模型不會(huì)解的一個(gè)個(gè)復(fù)雜問題，分解成很多簡(jiǎn)單問題，然后通過逐一解決簡(jiǎn)單問題，最終使得復(fù)雜問題同樣迎刃而解。

指令學(xué)習(xí)則使模型能夠理解并執(zhí)行各種自然語言指令，將任務(wù)指令化以便機(jī)器理解。人類只需要在少量的任務(wù)上進(jìn)行指令化，在經(jīng)歷大概40多個(gè)任務(wù)指令化之后，對(duì)模型進(jìn)行適度微調(diào)，就很容易泛化到上百、上千種任務(wù)，即使它從來沒有見過。

在模型優(yōu)化過程中，人的參與意義非常重要，使得機(jī)器在迭代中始終保持和人類的價(jià)值觀、思維方式對(duì)齊，也避免了機(jī)器自己迭代起來有可能會(huì)離人類的偏好和初衷越來越遠(yuǎn)。

放眼國(guó)內(nèi)，大模型的競(jìng)爭(zhēng)也愈發(fā)激烈。2月20日，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室發(fā)布了國(guó)內(nèi)首個(gè)類chatgpt模型MOSS，3月16日，百度發(fā)布“文心一言”，打響大廠入局的第一槍，此后，阿里云、商湯科技均公布了自家的大模型產(chǎn)品，國(guó)內(nèi)大模型的百團(tuán)大戰(zhàn)一觸即發(fā)。

但這些產(chǎn)品較ChatGPT來說，還存在一定差距，邱錫鵬也承認(rèn)，目前MOSS的任務(wù)完成度卻并不高，主要原因在于MOSS在部署和訓(xùn)練上投入的資本還非常有限，相較于千億級(jí)的ChatGPT，大概只是其規(guī)模的十分之一?！拔覀儸F(xiàn)在仍舊在加緊迭代MOSS，預(yù)計(jì)將于4月中旬開源?！?/p>

邱錫鵬表示，盡管目前的通用人工智能技術(shù)尚且存在很多不足，包括隨機(jī)性、不可控、容易“一本正經(jīng)地胡說八道”等等，但隨著時(shí)間的推移，這些問題都將在未來通過各種方式逐步改進(jìn)。

正如圖靈獎(jiǎng)得主、著名人工智能專家楊立昆（Yann LeCun）所言：下一代模型應(yīng)該更加具有事實(shí)性、無害性、即時(shí)性，并且能夠靈活使用計(jì)算器、數(shù)據(jù)庫(kù)、搜索引擎、模擬器等各種輔助工具，而這也是人們亟需重點(diǎn)解決的時(shí)代課題。

《21世紀(jì)》：我們?nèi)绾螐?fù)現(xiàn)ChatGPT這一大型語言模型？面臨哪些挑戰(zhàn)？

邱錫鵬：第一步需要先實(shí)現(xiàn)語言模型基座，第二步是指令微調(diào)，第三步是能力不斷強(qiáng)化迭代。雖然這些關(guān)鍵步驟以及大概方法已經(jīng)十分明朗，但每一步的細(xì)節(jié)都需要我們自己去一一摸索，還是充滿著各種未知的挑戰(zhàn)性。

第一步主要是Transformer架構(gòu)上進(jìn)行模塊優(yōu)化。首先，對(duì)于ChatGPT來說，它并沒有特別關(guān)注中文，很多時(shí)候只是直接把中文按照英文的方式進(jìn)行編碼，我們作為中國(guó)人自然是希望對(duì)中文進(jìn)行優(yōu)化，就需要重新實(shí)現(xiàn)更好的中文編碼，并想辦法把中文和英文打通；此外，將來如果接入多模態(tài)的話，編碼問題同樣會(huì)帶來架構(gòu)設(shè)計(jì)以及訓(xùn)練穩(wěn)定性等諸多問題與麻煩。

第二步是指令微調(diào)，個(gè)人認(rèn)為指令微調(diào)的難度甚至比預(yù)訓(xùn)練更高。在預(yù)訓(xùn)練階段，大家可以利用一些大公司成熟的預(yù)訓(xùn)練模型，在短時(shí)間內(nèi)取得不錯(cuò)的訓(xùn)練效果；但是指令微調(diào)則非常難以立馬做到，這一點(diǎn)上和OpenAI之間存在著非常明顯的差距。

在與人類對(duì)齊方面，想要讓模型的回答盡可能符合我們?nèi)祟惖乃季S習(xí)慣，也很難做到。而且考慮到OpenAI暫不開源，我們只能夠一步步慢慢向前探索。如果我們要想超過ChatGPT，肯定就得去找到一條比它更好的實(shí)現(xiàn)路徑，而這個(gè)過程無疑充滿艱險(xiǎn)。

《21世紀(jì)》：如何看待國(guó)內(nèi)AI生態(tài)？

邱錫鵬：我們的生態(tài)還沒有建好。OpenAI做ChatGPT的時(shí)候，它不需要分心做其他東西，只是把模型做好。微軟幫它做算力，還有其它公司幫它做部署，數(shù)據(jù)也有專門的公司來進(jìn)行數(shù)據(jù)清洗。它是在整個(gè)生態(tài)中去做的，這樣的多方協(xié)作生態(tài)促使它的發(fā)展非?？臁?/p>

而我們國(guó)內(nèi)每家公司都要做，這就會(huì)產(chǎn)生一個(gè)問題，每家都做自己的，但每家數(shù)據(jù)、算力也有限，也沒有多少錢可以支持研發(fā)，并且又在做一些很基礎(chǔ)的、重復(fù)性的事情。而我們希望能促進(jìn)大模型的協(xié)作生態(tài)，在MOSS開源之后，底層的重復(fù)性的工作就不要做了，把整個(gè)生態(tài)建起來。

如果我們有一個(gè)統(tǒng)一的大模型平臺(tái)和基座，下面對(duì)接一下國(guó)產(chǎn)的算力，做好一份接口，大家都可以來用，能夠去促進(jìn)一個(gè)生態(tài)鏈的建設(shè)，使得整個(gè)中國(guó)的AI能夠往前進(jìn)一步發(fā)展。我們現(xiàn)在仍舊在加緊迭代MOSS，預(yù)計(jì)將于4月中旬開源。

《21世紀(jì)》：3月22日，美國(guó)的生命未來研究所向全社會(huì)發(fā)了一封公開信，呼吁所有的人工智能實(shí)驗(yàn)室暫停研制比GPT-4更強(qiáng)大的AI系統(tǒng)的訓(xùn)練，暫停的時(shí)間是6個(gè)月，如何看待這件事？

邱錫鵬：機(jī)器的迭代速度會(huì)快于人，在某一天總會(huì)超過人的，停止這六個(gè)月或者半年沒有意義。并且很多時(shí)候也很難停下來，從很多公司的商業(yè)利益出發(fā)肯定會(huì)迭代的。我們目前為止的AI還是可控的，它目前的形式還是在語言層面的，沒有接入到社會(huì)的方方面面。有一天當(dāng)它接管了很多東西，成為了我們的某種基礎(chǔ)設(shè)施之后，這就非常關(guān)鍵了，你要控制它各種能力，這時(shí)避免危害不光要靠技術(shù)，還要靠一些法律法規(guī)。

《21世紀(jì)》：類ChatGPT的AI將如何對(duì)未來社會(huì)形成顛覆性影響？

邱錫鵬：考慮到ChatGPT已擁有通用語言理解的能力，并可以進(jìn)一步增加對(duì)外接口，成為通用人工智能的技術(shù)基座。這也就意味著通用人工智能的加速實(shí)現(xiàn)對(duì)于現(xiàn)階段的人類來說已經(jīng)不是夢(mèng)想。甚至樂觀一點(diǎn)說，像科幻片里面的人工智能形象可能很快就會(huì)在我們的生活中出現(xiàn)。

以ChatGPT為代表的通用人工智能技術(shù)，可以引爆數(shù)字經(jīng)濟(jì)，充分發(fā)揮數(shù)據(jù)和算力效能，并催生出海量的新商業(yè)模式；可以賦能產(chǎn)業(yè)數(shù)字化，并通過人機(jī)協(xié)同的方式解決行業(yè)專家資源不足的問題；可以以數(shù)字人、個(gè)人助理、搜索引擎等形式對(duì)數(shù)字經(jīng)濟(jì)新業(yè)態(tài)、新模式提供發(fā)展動(dòng)能；更將深刻改變教育、社會(huì)治理、司法等領(lǐng)域的生態(tài)，大幅提升行業(yè)水平。

當(dāng)然，我們也必須正視，目前的通用人工智能技術(shù)尚且存在很多不足，包括隨機(jī)性、不可控、容易“一本正經(jīng)地胡說八道”等等，不過，相信這些問題隨著時(shí)間的推移，都將在未來通過各種方式逐步得到改進(jìn)。

對(duì)于下一階段的大型語言模型來講，我們目前重點(diǎn)需要去做的事情就是讓模型和現(xiàn)實(shí)世界以及人類的價(jià)值觀進(jìn)行“對(duì)齊”，成為一個(gè)真正的智能體，具有自身學(xué)習(xí)、跨模態(tài)學(xué)習(xí)、知識(shí)和工具利用等能力。與此同時(shí)，AI與人類價(jià)值觀“對(duì)齊”也同樣不可忽視，畢竟如果AI的價(jià)值觀和人的價(jià)值觀背道而馳，那將會(huì)是非常危險(xiǎn)的。

《21世紀(jì)》：AI未來的發(fā)展方向是如何的？

邱錫鵬：以前一直做的人工智能模型都是弱人工智能模型，比如AlphaGo只能下圍棋。目前ChatGPT的表現(xiàn)類似于通才，但是它可能在細(xì)分的專業(yè)性上和行業(yè)中比較頂級(jí)的專家還有很大的差距。我認(rèn)為它將來會(huì)有不同的分支，往不同的專業(yè)方向上發(fā)展，以大模型為基礎(chǔ)，產(chǎn)生很多的分領(lǐng)域的不同模型。這對(duì)于之前的人工智能研究來說應(yīng)該都是一個(gè)大的顛覆。

《21世紀(jì)》：中國(guó)如何在這場(chǎng)科技浪潮中抓住機(jī)會(huì)？

邱錫鵬：我是比較樂觀的。我們的AI以場(chǎng)景的豐富度或者應(yīng)用層面的創(chuàng)新性領(lǐng)先，在AIGC或者大模型浪潮中，應(yīng)用驅(qū)動(dòng)也是很重要的。有了底座之后，我們?cè)偃グ袮I產(chǎn)品打磨好，這些應(yīng)用場(chǎng)景的數(shù)據(jù)在我們國(guó)內(nèi)是非常豐富的。