21世紀(jì)經(jīng)濟(jì)報(bào)道記者駱軼琪、郭美婷 廣州報(bào)道

回看人工智能發(fā)展的歷史浪潮，上一次備受關(guān)注的是由深度學(xué)習(xí)、CNN（卷積神經(jīng)網(wǎng)絡(luò)）技術(shù)突破，實(shí)現(xiàn)對(duì)文字和圖像識(shí)別的良好成果。但相比之下，此次由Transformer架構(gòu)推動(dòng)的AI大模型成效更是為人驚艷。

(資料圖)

近日，香港科技大學(xué)（廣州）（以下簡稱“港科廣”）信息樞紐院長、講座教授陳雷接受21世紀(jì)經(jīng)濟(jì)報(bào)道記者專訪，談到當(dāng)前AI大模型構(gòu)建的核心要點(diǎn)，后續(xù)競爭賽道以及由此對(duì)學(xué)科教育體系帶來的影響和變革。

陳雷教授是IEEE（電氣與電子工程師協(xié)會(huì)）會(huì)士，ACM(美國計(jì)算機(jī)協(xié)會(huì))杰出科學(xué)家，也是IEEE旗下專注計(jì)算機(jī)領(lǐng)域數(shù)據(jù)挖掘方向TKDE期刊主編。

他認(rèn)為，當(dāng)前構(gòu)建AI大模型面臨著數(shù)據(jù)、算法模型、算力三方面難題，可以考慮通過算力交換、數(shù)據(jù)共享、軟硬件協(xié)同等方式幫助實(shí)現(xiàn)能力優(yōu)化，但當(dāng)前在執(zhí)行中還面臨一定挑戰(zhàn)。而AI大模型興起對(duì)學(xué)科教育和人才培養(yǎng)也提出新的思考。

Transformer+強(qiáng)化學(xué)習(xí)

陳雷教授分析道，此前深度學(xué)習(xí)和CNN主要是在解決時(shí)序數(shù)據(jù)、圖像等方面取得了很大成績。但是在解決長文本，尤其是語言文本理解、長序列、視頻的時(shí)候，就顯示出了弊端。

Transformer架構(gòu)解決了這些弊端，是在于其通過encoder-decoder（編碼-解碼模型）方式，在另一個(gè)空間生成內(nèi)容，再通過人類反饋強(qiáng)化學(xué)習(xí)的方式構(gòu)建獎(jiǎng)勵(lì)模型，由模型學(xué)習(xí)其中的反饋打分機(jī)制，因此可以有廣泛的應(yīng)用空間，也打破了原本壁壘，對(duì)長序列、長文本可以有更好理解。

尤為重要的是，Open AI引入1000多名語言學(xué)家對(duì)生成的文章進(jìn)行打分。其要點(diǎn)就在于用Transformer架構(gòu)+強(qiáng)化學(xué)習(xí)的方式，讓大模型學(xué)習(xí)人類對(duì)所生成內(nèi)容的打分機(jī)制，那么機(jī)器可以自己對(duì)生成的內(nèi)容進(jìn)行打分，就有無限多“高分”的內(nèi)容被生成出來。

這也導(dǎo)致AI大模型容易出現(xiàn)“胡言亂語”的現(xiàn)象：因?yàn)镚PT的工作機(jī)制，就是把內(nèi)部生成分?jǐn)?shù)最高的內(nèi)容作為答案輸出，不會(huì)不給出答案，且這些預(yù)訓(xùn)練模型利用的訓(xùn)練信息是收錄在某一個(gè)時(shí)間段內(nèi)，因此就會(huì)出現(xiàn)并不正確的信息。

但由此意味著在落地到場景中會(huì)面臨挑戰(zhàn)。比如在對(duì)精度要求高的自動(dòng)駕駛場景，容錯(cuò)機(jī)制會(huì)更為嚴(yán)苛。實(shí)際上業(yè)界認(rèn)為，GPT此番成果更多是驗(yàn)證了該生成式AI的可行性，那么后續(xù)具體應(yīng)用中可以進(jìn)一步對(duì)其進(jìn)行改善。

陳雷教授分析認(rèn)為，構(gòu)建大模型目前面臨的難題包括數(shù)據(jù)、算法模型、算力三個(gè)方面。

第一重困難是數(shù)據(jù)質(zhì)量。在抽取數(shù)據(jù)時(shí)要進(jìn)行數(shù)據(jù)清洗、標(biāo)注，剔除諸如廣告等內(nèi)容?！霸趺磳?shí)現(xiàn)以一當(dāng)十的標(biāo)注效果，就是我們所在學(xué)域探究的問題。比如進(jìn)行數(shù)據(jù)分析時(shí)，把數(shù)據(jù)集合起來，相似的數(shù)據(jù)放在一起，標(biāo)注一個(gè)數(shù)據(jù)頭，其他數(shù)據(jù)都有類似標(biāo)簽，把冗余的數(shù)據(jù)清除掉?！彼赋?，以自動(dòng)駕駛場景為例，比如相比雷達(dá)的信息，有些攝像頭捕捉的信息就是冗余部分。在數(shù)據(jù)分析時(shí)，如果不清除冗余數(shù)據(jù)，將極大加重模型訓(xùn)練的時(shí)間。

他介紹道，現(xiàn)有的一些實(shí)驗(yàn)表明，假如對(duì)一個(gè)基本模型用原始數(shù)據(jù)訓(xùn)練要花費(fèi)超過200個(gè)小時(shí)，但是完成數(shù)據(jù)精細(xì)化抽取后，只需要6秒左右即可完成訓(xùn)練。因此數(shù)據(jù)清洗和抽取的過程就需要人來干預(yù)，以期用相對(duì)精簡的數(shù)據(jù)，讓訓(xùn)練效率進(jìn)一步提升。

第二重難題是算法模型改善。比如要實(shí)現(xiàn)自動(dòng)駕駛更高的穩(wěn)健度和魯棒性，遇到緊急問題不僅僅是直接選擇暫停，需要對(duì)算法模型進(jìn)行優(yōu)化，提出安全的解決方案。

第三重就是備受關(guān)注的算力問題。Open AI訓(xùn)練GPT耗費(fèi)了數(shù)萬塊GPU芯片，這所需要的采購成本不是一般學(xué)校和小機(jī)構(gòu)可以擔(dān)負(fù)得起。借助探索軟件協(xié)同、算力交易等方式就變得重要。

軟硬件的難題

Open AI通過“暴力美學(xué)”方式構(gòu)建出讓人驚艷的AI大模型，但背后所需的算力成本也讓人瞠目。尋找更多元化的方式訓(xùn)練和計(jì)算正成為重要命題。

“算力交換是很好的課題。”陳雷教授指出，業(yè)界在探索研究，能否借助諸如區(qū)塊鏈等平臺(tái)實(shí)現(xiàn)算力交換?！氨热绨阉懔Ψ旁趨^(qū)塊鏈上，用token自主交換。那么要用到大模型訓(xùn)練、需要算力的時(shí)候，用token‘買’過來算力，用完了再釋放出去算力，還可以掙一些token。”

但這是理想狀態(tài)，在實(shí)際應(yīng)用中還需要面臨算力定價(jià)、政策監(jiān)管等問題。很多人不愿意交換算力，根本原因在于擔(dān)心被惡意使用而報(bào)廢。因此倘若完全在烏托邦一般的區(qū)塊鏈空間中交換使用并不現(xiàn)實(shí)，需要借助聯(lián)盟鏈等方式實(shí)現(xiàn)。這就需要有機(jī)構(gòu)牽頭，把算力聯(lián)合起來并落實(shí)。

除了算力，數(shù)據(jù)共享也是搭建大模型要攻克的一個(gè)難題。因?yàn)椴煌臄?shù)據(jù)對(duì)不同所有人的意義有差異，數(shù)據(jù)本身的質(zhì)、量也不同，那么按照什么標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)定價(jià)還需要界定。

同時(shí)交易雙方面臨的客觀環(huán)境不同，帶寬、傳輸?shù)炔町惪赡芤矔?huì)影響到算力共享效果。這些背后都涉及對(duì)交易進(jìn)程進(jìn)行監(jiān)管。

在搭建大模型過程中，除了算力這種底層硬件，軟件也發(fā)揮著重要作用。倘若能實(shí)現(xiàn)軟硬件優(yōu)化協(xié)同，最終或許能通過更少的GPU芯片來實(shí)現(xiàn)同樣好的訓(xùn)練和應(yīng)用效果。

陳雷教授指出，如何與硬件更好匹配，這就對(duì)云計(jì)算資源提出要求。這也是微軟選擇收購Open AI的原因，用軟件反推對(duì)硬件的能力調(diào)優(yōu)。

舉例來說，在未來，人與手機(jī)的交互可能將不只是通過觸控鍵盤，而是僅通過語音。這時(shí)候手機(jī)硬件就需要實(shí)現(xiàn)，如何在噪聲環(huán)境下，明確手機(jī)主人的聲音、準(zhǔn)確收音并實(shí)現(xiàn)功能。這就同時(shí)對(duì)軟硬件提出新要求。

培養(yǎng)模式思變

AI大模型無可避免會(huì)對(duì)既有日常工作和生活模式帶來一定程度變化。首要關(guān)注的就是人才培養(yǎng)，過往一股腦刷題的模式可能要思變。

大模型工具與教學(xué)的邊界到底在哪里也受到爭議。此前在大學(xué)校園就曾有兩大陣營：一方對(duì)GPT嚴(yán)防死守，一方對(duì)GPT充分擁抱。香港科技大學(xué)就是后者。

陳雷教授介紹，港科廣正籌備在校園內(nèi)大規(guī)模使用GPT4，已經(jīng)在通過向微軟購買云服務(wù)的方式鋪設(shè)。

“這對(duì)老師提出的挑戰(zhàn)是，一成不變的教學(xué)和考試方式該怎么改變。”他舉例道，比如今年的期中考試，港科廣允許借助GPT工具，采用開放式提問的評(píng)估方式，而不是有固定答案評(píng)判正誤。

據(jù)介紹，在教學(xué)設(shè)計(jì)方面，港科廣今年開始招收本科生，在入校后前兩年不會(huì)安排選擇專業(yè)，而是給學(xué)生提供更多空間，讓他們持續(xù)與教授磨合研習(xí)，自己發(fā)掘感興趣的專業(yè)領(lǐng)域。

對(duì)于人才能力培養(yǎng)，陳雷教授認(rèn)為，大模型提供了大量數(shù)據(jù)，提問能力會(huì)很重要；培養(yǎng)交叉學(xué)習(xí)研究能力也很關(guān)鍵。

“我們的研究生和博士生都采用雙導(dǎo)師制度，不可以只跟著一位導(dǎo)師，要交叉學(xué)習(xí)?！彼e例道，比如讓學(xué)生同時(shí)跟隨數(shù)據(jù)分析和生物學(xué)兩個(gè)專業(yè)的老師學(xué)習(xí)，做交叉的學(xué)科研究，如此也讓學(xué)生更有學(xué)習(xí)動(dòng)力?！案劭茝V信息樞紐學(xué)院陸續(xù)與工業(yè)界成立了聯(lián)合實(shí)驗(yàn)室，宗旨就是把工業(yè)界的問題拿來探討?！?/p>

對(duì)于基礎(chǔ)教學(xué)來說，AI大模型也可以提供幫助。比如通過學(xué)生做錯(cuò)的題目，AI判斷到底是哪些前序基礎(chǔ)教學(xué)內(nèi)容沒有被消化，就通過大模型生成相關(guān)基礎(chǔ)教學(xué)題型，而不是死記硬背錯(cuò)題的方式解決問題。由此實(shí)現(xiàn)對(duì)學(xué)生的個(gè)性化教學(xué)和訓(xùn)練。

同時(shí)業(yè)界也在探討，如何在AI大模型大規(guī)模應(yīng)用后，防范學(xué)術(shù)造假等問題。諸如用生成文本的方式，比較學(xué)術(shù)文本和生成文本的相似性來判別，這背后就需要數(shù)據(jù)庫支撐。

目前看，AI大模型對(duì)既有產(chǎn)業(yè)角色的改變和替代已經(jīng)在發(fā)生。智能客服就是當(dāng)前最大的落地應(yīng)用，通過收集歷史問題放在大模型中訓(xùn)練，可以減少大量人工客服的體量。

但這是否意味著所有企業(yè)都需要搭建一個(gè)自己的大模型？“AI大模型在智能問答、網(wǎng)絡(luò)零售、金融科技、辦公自動(dòng)化、無人駕駛、元宇宙等很多新領(lǐng)域都將很有價(jià)值。”陳雷教授分析道，但對(duì)于一些傳統(tǒng)產(chǎn)業(yè)如制造、制衣、機(jī)械等怎樣利用大模型還是一個(gè)值得討論的問題。