擴散模型還能預(yù)測地震和犯罪？清華團隊最新研究提出時空擴散點過程 世界時快訊
2023-06-22 22:09:47 來源 : 機器之心
(相關(guān)資料圖)
清華大學(xué)電子工程系城市科學(xué)與計算研究中心最新提出時空擴散點過程，突破已有方法建模時空點過程的受限概率形式和高采樣成本等缺陷，實現(xiàn)了靈活、高效且易于計算的時空點過程模型，可廣泛用于城市自然災(zāi)害、突發(fā)事故和居民活動等時空事件的建模與預(yù)測，促進城市規(guī)劃和管理的智能化發(fā)展。
時空點過程是具有時間和空間屬性的隨機事件集合，相關(guān)研究方法主要是對隨機事件在時間和空間上的分布和演化規(guī)律進行建模，這對于許多領(lǐng)域都至關(guān)重要，包括地震學(xué)、疾病傳播、城市流動、環(huán)境監(jiān)測等。然而，以往的研究在建模時通常將時間和空間視為條件獨立，無法準確捕捉事件時空之間的復(fù)雜相互作用，且計算對數(shù)似然需要使用蒙特卡羅來近似積分，這導(dǎo)致對時空點過程的理解和預(yù)測存在很大的局限性。 清華大學(xué)電子工程系城市科學(xué)與計算研究中心近日在 KDD2023 發(fā)表論文《Spatio-temporal Diffusion Point Processes》，提出時空擴散點過程（DSTPP）模型，率先實現(xiàn)了對復(fù)雜時空聯(lián)合分布的靈活精準建模。由于不對概率密度函數(shù)的參數(shù)形式施加任何限制，這種基于擴散模型的點過程方法解決了當前時空建模的一系列困難問題，在捕捉復(fù)雜時空動態(tài)性方面具有很大潛力。該方法建立了新的生成式時空建模范式，為該領(lǐng)域的研究和應(yīng)用帶來了新的可能性。 開源代碼及數(shù)據(jù)：/tsinghua-fib-lab/Spatio-temporal-Diffusion-Point-Processes 針對時空點過程，研究團隊提出了全新的參數(shù)化框架，利用擴散模型學(xué)習(xí)復(fù)雜的時空聯(lián)合分布。該框架將目標聯(lián)合分布的學(xué)習(xí)分解為多個步驟，每個步驟可由高斯分布準確描述。為了增強每個步驟的學(xué)習(xí)能力，研究團隊在去噪網(wǎng)絡(luò)中嵌入時空共注意力機制，使其能自適應(yīng)地捕捉時間和空間復(fù)雜的依賴耦合關(guān)系。通過這一創(chuàng)新模型，研究團隊首次突破了現(xiàn)有解決方案對時空依賴關(guān)系的建模限制，為時空點過程提供了新的建模范式。下表展示了 DSTPP 相比已有點過程解決方案的優(yōu)勢。 大量來自流行病學(xué)、地震學(xué)、犯罪學(xué)和城市流動等各領(lǐng)域的實驗表明，DSTPP 在性能上顯著超越現(xiàn)有解決方案，平均提升幅度超過 50%。進一步深入分析驗證了該模型適應(yīng)不同場景下復(fù)雜時空耦合關(guān)系的能力。 這一創(chuàng)新研究成果為時空點過程建模提供了全新的思路和方法，具有重要的理論和應(yīng)用價值。該模型的成功應(yīng)用將為地震預(yù)測、疾病控制和城市規(guī)劃等領(lǐng)域帶來更準確的分析和預(yù)測能力，助力城市發(fā)展和人類福祉。 值得注意的是，該項目的論文、代碼和數(shù)據(jù)集均已開源： 開源地址：/tsinghua-fib-lab/Spatio-temporal-Diffusion-Point-Processes 下面展示了不同數(shù)據(jù)集（地震，高斯霍克斯過程，流行病傳播）的去噪過程。 日本地震分布去噪
混合高斯霍克斯過程去噪
美國新澤西州疫情分布去噪
日本地震密度圖
混合高斯霍克斯過程密度圖
美國新澤西州疫情密度圖
該框架首先設(shè)計時空編碼器學(xué)習(xí)歷史時空事件的表征，以該表征作為條件，DSTPP 旨在學(xué)習(xí)未來事件的時空聯(lián)合分布模型。具體而言，對于序列中的每個事件，該方法將擴散過程建模為在空間和時間域上的馬爾科夫過程，逐步向空間和時間值添加微小高斯噪聲，直到它們被破壞城純高斯噪聲。在時空場景下，向時間和空間域添加噪聲的過程類似于圖像場景（噪聲獨立地應(yīng)用于每個像素），DSTPP 通過以下方式在空間和時間域上分別進行獨立擴散： 相反地，DSTPP 將下一步事件的預(yù)測建模為從第 K 步到第 0 步的逆向去噪迭代過程。時間和空間的去噪過程依賴于前一步中獲得的彼此之間的信息，而下一步的預(yù)測值以時間和空間條件獨立的方式進行建模，具體公式如下： 通過這種方式，DSTPP 成功將時空聯(lián)合分布的建模分解為單步條件獨立建模，而組合起來是聯(lián)合建模的形式，實現(xiàn)了對時空聯(lián)合分布的有效建模。下面羅列了 DSTPP 的訓(xùn)練和采樣算法，這些算法訓(xùn)練穩(wěn)定，易于實現(xiàn)。 針對網(wǎng)絡(luò)架構(gòu)，研究團隊在時空編碼器部分提出使用基于 Transformer 的架構(gòu)來學(xué)習(xí)歷史時空表征，在時空擴散部分提出時空共注意力網(wǎng)絡(luò)來參數(shù)化噪聲預(yù)測網(wǎng)絡(luò)。在每個去噪步驟中，時空共注意力網(wǎng)絡(luò)同時執(zhí)行空間和時間注意力，以捕捉二者之間的細粒度交互。不同去噪步驟共享相同的網(wǎng)絡(luò)結(jié)構(gòu)，都是基于歷史表征，上一步預(yù)測得到的時空結(jié)果和去噪步數(shù) k 的位置編碼，來預(yù)測下一步的時空噪聲。 網(wǎng)絡(luò)結(jié)構(gòu)圖研究團隊將 DSTPP 與最先進的時空點過程方法進行比較，并在 8 個數(shù)據(jù)集（所有數(shù)據(jù)集均已開源）進行了大量的實驗。在連續(xù)空間情形下中，論文使用了兩個仿真數(shù)據(jù)集和四個真實世界數(shù)據(jù)集，涵蓋了廣泛的領(lǐng)域，包括地震學(xué)，人類移動、流行病傳播、城市單車使用，以及模擬的霍克斯高斯混合過程和風(fēng)車結(jié)構(gòu)數(shù)據(jù)。此外，論文還使用了兩個真實世界的離散數(shù)據(jù)集，包括犯罪數(shù)據(jù)和出租車數(shù)據(jù)，它們的空間標簽是離散的街區(qū)。 研究團隊將所提的 DSTPP 與一系列最先進的建模方法進行對比，這些方法可以分為三類：空間點過程模型，時間點過程模型，時空點過程模型。針對時空點過程，可以自由組合已有的空間點過程和時間點過程來進行建模。結(jié)果顯示，DSTPP 在所有數(shù)據(jù)集上的多個評估指標上均取得了最佳表現(xiàn)，相比最佳基線模型平均提升超過 50%。 為了更深入地理解去噪過程中的時空相互依賴關(guān)系，研究團隊對共同注意力權(quán)重進行了深入分析。并構(gòu)造一個新的的仿真數(shù)據(jù)集，該數(shù)據(jù)的時空兩個維度是完全獨立的，因此可以驗證所設(shè)計的時空共同注意力機制是否可以學(xué)習(xí)不同的時空相互依賴關(guān)系。下圖展示了在去噪過程中時間和空間維度在彼此和自身上的注意力權(quán)重變化情況。在時空耦合數(shù)據(jù)集上，隨著去噪過程的進行，時間和空間維度逐漸向彼此分配注意力；而在時空獨立數(shù)據(jù)集上，兩個維度幾乎沒有相互分配注意力權(quán)重。這表明 DSTPP 可以自適應(yīng)地學(xué)習(xí)時間和空間之間的各種相互作用機制。 清華大學(xué)電子工程系城市科學(xué)與計算研究中心聚焦于城市科學(xué)與計算研究方向，以城市科學(xué)為基礎(chǔ)研究問題，基于復(fù)雜系統(tǒng)、計算社會學(xué)等理論展開研究，結(jié)合數(shù)據(jù)科學(xué)、機器學(xué)習(xí)的新一代 “認知人工智能” 為核心技術(shù)，服務(wù)于城市孿生、城市治理、無線網(wǎng)絡(luò)孿生等面向國家重大需求的應(yīng)用領(lǐng)域。團隊在 Nature 子刊等頂級國際期刊與 KDD、NeurIPS、WWW、UbiComp 等頂級國際會議發(fā)表學(xué)術(shù)論文 150 余篇（CCF A 類 70 余篇），文章引用 19000 余次，7 次獲國際會議最佳論文 / 提名獎。團隊近年來與華為、騰訊、美團、快手、高德、商湯、豐田以及移動運營商等各類商企也建立了良好的合作關(guān)系，各研究課題的研究成果得到了工業(yè)界與學(xué)術(shù)界的廣泛認可，已部署于武警總部、中央網(wǎng)信辦、公安部等國家重要部門。 ?THE END
轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)
投稿或?qū)で髨蟮溃篶ontent@
關(guān)鍵詞：
