2023-06-23 07:48:32 來源 : 機器之心
機器之心最新一期線上分享邀請到了新加坡國立大學博士侯皓文，現 RWKV Foundation 成員，為大家分享他們團隊的開源項目RWKV。
Transformer 已經徹底改變了幾乎所有自然語言處理（NLP）任務，但其在序列長度上的內存和計算復雜度呈二次方增長。相比之下，循環(huán)神經網絡（RNN）在內存和計算需求上呈線性擴展，但由于并行化和可擴展性的限制，難以達到 Transformer 相同的性能。
【資料圖】
基于此，該研究團隊提出了一種新穎的模型架構，即 Receptance Weighted Key Value（RWKV），將 Transformer 的高效可并行訓練與RNN的高效推理相結合。該方法利用了線性注意機制，并使得模型既可以作為 Transformer，也可以作為 RNN 來構建，從而實現了在訓練過程中的計算并行化，并在推理過程中保持恒定的計算和內存復雜度，這使得它成為第一個可以擴展到數百億參數的非 Transformer 架構。
實驗結果顯示，RWKV 的性能與大小相似的 Transformer 相當，這表明未來的工作可以利用這種架構創(chuàng)建更高效的模型。這項工作在平衡序列處理任務中的計算效率和模型性能之間的權衡方面邁出了重要的一步。
分享主題：新型RNN模型RWKV，結合Transformer的并行化訓練優(yōu)勢和RNN的高效推理
分享嘉賓：2017 年畢業(yè)于新加坡國立大學，獲得博士學位。隨后，加入騰訊擔任應用研究員，致力于搜索、自然語言處理和多模態(tài)領域的研究和實踐。目前，作為RWKV Foundation 的成員，繼續(xù)在相關領域進行研究和貢獻.
分享摘要：本次分享主要圍繞 RWKV 的論文進行，介紹 RWKV 的核心理念和公式，展示 RWKV 并行化訓練優(yōu)勢和高效推理。展示實驗結果，證明了 RWKV 的性能與規(guī)模相近的 Transformer 相當，也是首個效果接近 Transformer 的線性注意力模型。
相關鏈接：
1）SOTA！模型平臺項目主頁鏈接：
/project/rwkv
2）論文鏈接：
/abs/
3）代碼倉庫：
/BlinkDL/RWKV-LM
