科技漫談 | AIGC技術(shù)大爆發(fā)，越來(lái)越智慧的人工智能，靠的是什么？###

以下文章來(lái)源于元境科技 ，作者科技漫談

(相關(guān)資料圖)

最近AI圈子不可不謂熱鬧，被稱為大模型“奠基研究”的 《Attention is All You Need》論文的八位作者已全部從Google離職，投身AI創(chuàng)業(yè)，并且都收獲了資本市場(chǎng)認(rèn)可，獲得巨額投資。當(dāng)下最火熱的OpenAI的GPT模型、谷歌的Bard模型也都不約而同地借鑒了《Attention is All You Need》論文中的Transformer架構(gòu)進(jìn)行設(shè)計(jì)，這就讓人不禁好奇：這個(gè)改變了AI發(fā)展進(jìn)程，使AI真正變得“智能”的Transformer究竟是何方神圣呢？

（圖 Attention Is All You Need）

解密Transformer：探索大語(yǔ)言模型核心

從過(guò)去拘泥于規(guī)則的程序，到如今能夠自我學(xué)習(xí)、自我進(jìn)化的智能體，現(xiàn)如今的AI是如何做到飛速進(jìn)步？早期的循環(huán)神經(jīng)網(wǎng)（Recurrent Neural Network，RNN）到長(zhǎng)短時(shí)記憶（Long Short Term Memory，LSTM），從卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）到Transformer模型，這些拗口難念的英文單詞，背后卻是人工智能領(lǐng)域的一波又一波革命。

（圖 搭載LLM大模型的元享智能云平臺(tái)）

但在ChatGPT橫空出世前，自然語(yǔ)言處理領(lǐng)域的AI大語(yǔ)言模型應(yīng)用似乎都離我們還很遙遠(yuǎn)。以往的對(duì)話型AI，就像是個(gè)充滿預(yù)設(shè)臺(tái)詞的機(jī)器人，不管你說(shuō)什么，它都是那一套機(jī)械式的“if x; then a; else if y; then b…… ”，只會(huì)選擇內(nèi)容，而不會(huì)創(chuàng)造內(nèi)容。但是，隨著Transformer模型的嶄露頭角，大語(yǔ)言模型似乎找到了新的方向。

那么Transformer是依靠什么機(jī)制或者說(shuō)是原理，讓原本不能理解人類(lèi)語(yǔ)言的AI，變的能夠理解并生成相應(yīng)內(nèi)容的呢？其核心在于《Attention is All You Need》論文中提到的自注意力機(jī)制，這種機(jī)制讓模型能夠在處理文本時(shí)更好地捕捉上下文信息，建立詞與詞之間的聯(lián)系，仿佛模擬了人類(lèi)對(duì)話的連貫性。Transformer模型通過(guò)對(duì)輸入文本的自我關(guān)注，能夠在不同位置之間建立關(guān)聯(lián)，從而更好地理解整個(gè)文本的語(yǔ)義結(jié)構(gòu)，也讓充滿創(chuàng)造力的生成式AI（AIGC）成為可能。

（圖 搭載AIGC虛擬數(shù)字人的元享數(shù)字魔盒）

釋放模型創(chuàng)造力的多頭自注意力機(jī)制

Transformer利用注意力機(jī)制來(lái)模擬人類(lèi)對(duì)上下文的理解。這種機(jī)制允許模型在處理文本時(shí)，根據(jù)不同位置的詞匯建立自適應(yīng)的注意力。換句話說(shuō)，模型能夠理解每個(gè)詞匯與其他詞匯之間的關(guān)系，并且不受“距離”的限制?？此茝?fù)雜的機(jī)制，其實(shí)原理很簡(jiǎn)單，就是通過(guò)計(jì)算每個(gè)詞匯之間的相似度，來(lái)構(gòu)建注意力權(quán)重。并且多頭機(jī)制的引入增加了模型的并行性，從而更高效地捕捉詞匯之間的關(guān)聯(lián)。

不過(guò)只有關(guān)聯(lián)性是不夠的，為了克服Transformer模型無(wú)法捕捉詞匯順序信息的問(wèn)題，OpenAI在GPT模型中還引入了“位置編碼”技術(shù)，你可以把“位置編碼”理解為一本“地圖”，它告訴每個(gè)詞匯在句子中的位置。這樣一來(lái)，大語(yǔ)言模型模型不僅能理解詞匯的語(yǔ)義，還能感知它們?cè)诰渥又械拿}絡(luò)。就如同我們?cè)陂喿x時(shí)，會(huì)根據(jù)文字的位置來(lái)推斷它們的重要性和關(guān)系。

（圖 Multi-Headed Attention）

（圖 Transformer模型）

種種精妙的機(jī)制相互結(jié)合，造就了如今基于Transformer的各種大語(yǔ)言模型，也讓運(yùn)行大語(yǔ)言模型的AI不再只能夠機(jī)械式回答，而是成為一個(gè)能夠深刻理解文本、生成獨(dú)特回應(yīng)的智能體。通過(guò)自注意力、多頭機(jī)制和位置編碼的共同作用，模型在處理文本時(shí)，宛如一位詩(shī)人，能夠用恰到好處的言辭，構(gòu)建出精彩紛呈的句子，令人嘆為觀止。也讓人們看到這項(xiàng)技術(shù)運(yùn)用在虛擬數(shù)字人身上會(huì)產(chǎn)生怎樣的技術(shù)革命。

（圖 GPT-3 到 ChatGPT的心路歷程）

大語(yǔ)言模型能夠?yàn)樘摂M數(shù)字人賦予“靈魂”嗎？

大語(yǔ)言模型造就的生成式AI，讓人與機(jī)器進(jìn)行文字對(duì)話成為可能，但如何能夠突破恐怖谷，讓機(jī)器人與人的交流像人與人交流一樣自然流暢，則又是一個(gè)新的難題。

天娛數(shù)科子公司元境科技自研「MetaSurfing-元享智能云平臺(tái)」，搭載行業(yè)領(lǐng)先的虛擬數(shù)字人交互系統(tǒng)、大語(yǔ)言模型、多模態(tài)感知等技術(shù)，為虛擬數(shù)字人賦予了視覺(jué)、聽(tīng)覺(jué)和語(yǔ)言能力，使虛擬數(shù)字人能夠像人類(lèi)一樣交流、理解和思考。并通過(guò)「元享數(shù)字魔盒」以3D立體形式呈現(xiàn)出有靈魂、有記憶、多情感、多感知、超寫(xiě)實(shí)的全擬真人類(lèi)個(gè)體，讓虛擬數(shù)字人可以像真人一樣進(jìn)行“面對(duì)面”交互，擁有自己的“身體”、“言辭”和“思想”，如人類(lèi)一般通過(guò)語(yǔ)言表達(dá)內(nèi)心的情感和思考。

（圖 大語(yǔ)言模型能夠?yàn)樘摂M數(shù)字人賦予“靈魂”嗎？）

AI元年

正如《Attention is All You Need》論文的作者所展示的，科技的進(jìn)步不斷推動(dòng)著人工智能領(lǐng)域的前沿探索。當(dāng)下我們正在身處AI時(shí)代的浪潮之中，目睹著大語(yǔ)言模型與虛擬數(shù)字人這兩個(gè)領(lǐng)域的碰撞與融合，未來(lái)我們或許能夠在虛擬世界中與虛擬數(shù)字人進(jìn)行深刻的哲學(xué)對(duì)話，探討2023年的這場(chǎng)AI革命，對(duì)后世引發(fā)的深遠(yuǎn)影響。