百里挑一：ICLR 2021杰出論文獎出爐！

       北京時間 2021年4月1日，ICLR 2021 杰出論文新鮮出爐了！在本屆 ICLR 上被接收的 860 篇高質(zhì)量論文中，有 8 篇論文脫穎而出，被授予 ICLR 2021 杰出論文獎。

       本次杰出論文的評選過程極為嚴(yán)苛。首先，杰出論文講評審委員會會根據(jù)論文被接收時的評審意見給出一個候選論文的清單；接著，杰出論文評審委員會會進(jìn)一步對清單中的論文進(jìn)行評審，專家們不僅需要評估論文的技術(shù)質(zhì)量，還要評估論文可能產(chǎn)生的影響，這種影響包括引入新的研究視角、開啟了令人激動的新研究方向，以及為解決重要的問題作出強(qiáng)有力的貢獻(xiàn)。在經(jīng)過了上述嚴(yán)格的評審過程后，最終確定了 8 篇排名最高的論文獲得 ICLR 2021 杰出論文獎。

1.Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with  1/n Parameters
【論文作者】Aston Zhang、Yi Tay、Shuai Zhang、Alvin Chan、Anh Tuan Luu、Siu Hui、Jie Fu

【機(jī)構(gòu)】亞馬遜 AWS、谷歌研究院、蘇黎世聯(lián)邦理工學(xué)院、南洋理工大學(xué)、Mila 實(shí)驗室

【論文鏈接】https://www.aminer.cn/pub/6008327b9e795ed227f5310e/?conf=iclr2021

【論文摘要】近年來，一些研究說明了超復(fù)數(shù)空間中表征學(xué)習(xí)的成功。具體而言，帶有四元數(shù)的全連接層（四元數(shù)即四維超復(fù)數(shù)）用四元數(shù)的漢密爾頓積替換了全連接層中的實(shí)值矩陣乘法，這種方法在僅僅使用 1/4 的可學(xué)習(xí)參數(shù)的情況下，在各種應(yīng)用中實(shí)現(xiàn)了可與之前的方法相當(dāng)?shù)男阅堋?br />
       然而，超復(fù)數(shù)空間只在少數(shù)預(yù)定義的維度上（四維、八維、十六維）存在，這限制了利用超復(fù)數(shù)乘法的模型的靈活性。為此，本文作者提出了一種對超復(fù)數(shù)乘法進(jìn)行參數(shù)化的方法，使模型能夠根據(jù)數(shù)據(jù)學(xué)習(xí)乘法規(guī)則，而無需考慮此類規(guī)則是否被預(yù)先定義。這樣以來，本文提出的方法不僅引入了漢密爾頓積，而且還學(xué)會了在任意的 n 維超復(fù)數(shù)空間上運(yùn)行。與對應(yīng)的全連接層相比，本文提出的 PHM 層使用任意 1/n 的可學(xué)習(xí)參數(shù)，是實(shí)現(xiàn)了更大的架構(gòu)靈活性。在實(shí)驗中，本文作者在自然語言推理、機(jī)器翻譯、文本風(fēng)格遷移和主謂一致任務(wù)上將本文提出的 PHM 層用于 LSTM 和 Transformer 模型，驗證了該方法的架構(gòu)靈活性和有效性。

2.Complex Query Answering with Neural Link Predictors
【論文作者】Erik Arakelyan、 Daniel Daza、Pasquale Minervini、 Michael Cochez

【機(jī)構(gòu)】倫敦大學(xué)學(xué)院、阿姆斯特丹自由大學(xué)、阿姆斯特丹大學(xué)、愛思唯爾 Discovery 實(shí)驗室

【論文鏈接】https://www.aminer.cn/pub/5fa9175f91e011e83f7407f4/?conf=iclr2021

【代碼鏈接】https://github.com/uclnlp/cqd

【論文摘要】神經(jīng)鏈接預(yù)測器對于識別大規(guī)模知識圖譜中的缺失邊非常有用。然而，目前人們尚不清楚如何使用這些模型回答涉及多個域的更復(fù)雜的查詢（例如，在考慮缺失邊的情況下，處理使用邏輯合取 (∧)、析取 (∨) 、存在量詞(&#8707 的查詢）。

在本文中，作者提出了一種可以高效地回答不完整的知識圖譜上的復(fù)雜查詢的框架。本文作者將每個查詢轉(zhuǎn)換為端到端可微的目標(biāo)，并使用預(yù)訓(xùn)練的神經(jīng)鏈接預(yù)測器計算每個原子的真值。本文作者進(jìn)一步分析了兩種優(yōu)化改變目標(biāo)的解決方案（包括基于梯度的搜索和組合搜索。

實(shí)驗結(jié)果表明，本文提出的方法在無需使用大規(guī)模、多樣的查詢集訓(xùn)練的情況下，取得了比目前最優(yōu)的方法（使用數(shù)以百萬計的生成的查詢訓(xùn)練的「黑盒」神經(jīng)模型）更高的準(zhǔn)確率。在使用少了幾個數(shù)量級的訓(xùn)練數(shù)據(jù)的情況下，本文提出的模型在包含事實(shí)信息的各種知識圖譜上，獲得了從 8% 到 40% 不等的 Hits@3 的相對性能提升。最后，本文作者指出，根據(jù)每個復(fù)雜查詢原子的中間解，該模型的輸出結(jié)果是可解釋的。

3.EigenGame: PCA as a Nash Equilibrium
【論文作者】Ian Gemp、 Brian McWilliams、Claire Vernade、Thore Graepel

【機(jī)構(gòu)】DeepMind

【論文鏈接】https://www.aminer.cn/pub/5f77013191e011f31b980711/?conf=iclr2021

【代碼鏈接】https://github.com/uclnlp/cqd

【論文摘要】在本文中，作者提出了一種新穎的視角，將主成分分析（PCA）視為一種競爭博弈，其中每個近似特征向量由一個博弈參與者（player）控制，參與者的目標(biāo)是最大化它們的效用函數(shù)。

本文作者分析了 PCA 博弈的特性以及基于梯度的更新行為的效果。最終，作者提出了一種算法，它將 Oja 學(xué)習(xí)規(guī)則中的元素與廣義「克萊姆施密特」正交化結(jié)合起來，通過消息傳遞自然而然地實(shí)現(xiàn)了去中心化與并行化計算。通過在大規(guī)模圖像數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)激活上的實(shí)驗，作者說明了該算法的可擴(kuò)展性。作者指出，這種將 PCA 看做可微博弈的新視角將引發(fā)進(jìn)一步的算法發(fā)展，并帶來更深的理解。


更多論文信息，請移步AMiner-ICLR2021會議系統(tǒng)頁面：https://www.aminer.cn/conf/iclr2021/papers 返回小木蟲查看更多