 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 4 | 1/1 | 返回列表 |
| 查看: 1398 | 回復(fù): 3 | |||
AMiner抗疫新蟲 (初入文壇)
|
[交流]
百里挑一：ICLR 2021杰出論文獎出爐！ 已有2人參與
|
|
百里挑一：ICLR 2021杰出論文獎出爐！ 北京時間 2021年4月1日，ICLR 2021 杰出論文新鮮出爐了！在本屆 ICLR 上被接收的 860 篇高質(zhì)量論文中，有 8 篇論文脫穎而出，被授予 ICLR 2021 杰出論文獎。 本次杰出論文的評選過程極為嚴苛。首先，杰出論文講評審委員會會根據(jù)論文被接收時的評審意見給出一個候選論文的清單；接著，杰出論文評審委員會會進一步對清單中的論文進行評審，專家們不僅需要評估論文的技術(shù)質(zhì)量，還要評估論文可能產(chǎn)生的影響，這種影響包括引入新的研究視角、開啟了令人激動的新研究方向，以及為解決重要的問題作出強有力的貢獻。在經(jīng)過了上述嚴格的評審過程后，最終確定了 8 篇排名最高的論文獲得 ICLR 2021 杰出論文獎。 1.Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters 【論文作者】Aston Zhang、Yi Tay、Shuai Zhang、Alvin Chan、Anh Tuan Luu、Siu Hui、Jie Fu 【機構(gòu)】亞馬遜 AWS、谷歌研究院、蘇黎世聯(lián)邦理工學(xué)院、南洋理工大學(xué)、Mila 實驗室 【論文鏈接】https://www.aminer.cn/pub/6008327b9e795ed227f5310e/?conf=iclr2021 【論文摘要】近年來，一些研究說明了超復(fù)數(shù)空間中表征學(xué)習(xí)的成功。具體而言，帶有四元數(shù)的全連接層（四元數(shù)即四維超復(fù)數(shù)）用四元數(shù)的漢密爾頓積替換了全連接層中的實值矩陣乘法，這種方法在僅僅使用 1/4 的可學(xué)習(xí)參數(shù)的情況下，在各種應(yīng)用中實現(xiàn)了可與之前的方法相當?shù)男阅堋?br /> 然而，超復(fù)數(shù)空間只在少數(shù)預(yù)定義的維度上（四維、八維、十六維）存在，這限制了利用超復(fù)數(shù)乘法的模型的靈活性。為此，本文作者提出了一種對超復(fù)數(shù)乘法進行參數(shù)化的方法，使模型能夠根據(jù)數(shù)據(jù)學(xué)習(xí)乘法規(guī)則，而無需考慮此類規(guī)則是否被預(yù)先定義。這樣以來，本文提出的方法不僅引入了漢密爾頓積，而且還學(xué)會了在任意的 n 維超復(fù)數(shù)空間上運行。與對應(yīng)的全連接層相比，本文提出的 PHM 層使用任意 1/n 的可學(xué)習(xí)參數(shù)，是實現(xiàn)了更大的架構(gòu)靈活性。在實驗中，本文作者在自然語言推理、機器翻譯、文本風(fēng)格遷移和主謂一致任務(wù)上將本文提出的 PHM 層用于 LSTM 和 Transformer 模型，驗證了該方法的架構(gòu)靈活性和有效性。 2.Complex Query Answering with Neural Link Predictors 【論文作者】Erik Arakelyan、 Daniel Daza、Pasquale Minervini、 Michael Cochez 【機構(gòu)】倫敦大學(xué)學(xué)院、阿姆斯特丹自由大學(xué)、阿姆斯特丹大學(xué)、愛思唯爾 Discovery 實驗室 【論文鏈接】https://www.aminer.cn/pub/5fa9175f91e011e83f7407f4/?conf=iclr2021 【代碼鏈接】https://github.com/uclnlp/cqd 【論文摘要】神經(jīng)鏈接預(yù)測器對于識別大規(guī)模知識圖譜中的缺失邊非常有用。然而，目前人們尚不清楚如何使用這些模型回答涉及多個域的更復(fù)雜的查詢（例如，在考慮缺失邊的情況下，處理使用邏輯合取 (∧)、析取 (∨) 、存在量詞(∃  的查詢）。在本文中，作者提出了一種可以高效地回答不完整的知識圖譜上的復(fù)雜查詢的框架。本文作者將每個查詢轉(zhuǎn)換為端到端可微的目標，并使用預(yù)訓(xùn)練的神經(jīng)鏈接預(yù)測器計算每個原子的真值。本文作者進一步分析了兩種優(yōu)化改變目標的解決方案（包括基于梯度的搜索和組合搜索。 實驗結(jié)果表明，本文提出的方法在無需使用大規(guī)模、多樣的查詢集訓(xùn)練的情況下，取得了比目前最優(yōu)的方法（使用數(shù)以百萬計的生成的查詢訓(xùn)練的「黑盒」神經(jīng)模型）更高的準確率。在使用少了幾個數(shù)量級的訓(xùn)練數(shù)據(jù)的情況下，本文提出的模型在包含事實信息的各種知識圖譜上，獲得了從 8% 到 40% 不等的 Hits@3 的相對性能提升。最后，本文作者指出，根據(jù)每個復(fù)雜查詢原子的中間解，該模型的輸出結(jié)果是可解釋的。 3.EigenGame: PCA as a Nash Equilibrium 【論文作者】Ian Gemp、 Brian McWilliams、Claire Vernade、Thore Graepel 【機構(gòu)】DeepMind 【論文鏈接】https://www.aminer.cn/pub/5f77013191e011f31b980711/?conf=iclr2021 【代碼鏈接】https://github.com/uclnlp/cqd 【論文摘要】在本文中，作者提出了一種新穎的視角，將主成分分析（PCA）視為一種競爭博弈，其中每個近似特征向量由一個博弈參與者（player）控制，參與者的目標是最大化它們的效用函數(shù)。 本文作者分析了 PCA 博弈的特性以及基于梯度的更新行為的效果。最終，作者提出了一種算法，它將 Oja 學(xué)習(xí)規(guī)則中的元素與廣義「克萊姆施密特」正交化結(jié)合起來，通過消息傳遞自然而然地實現(xiàn)了去中心化與并行化計算。通過在大規(guī)模圖像數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)激活上的實驗，作者說明了該算法的可擴展性。作者指出，這種將 PCA 看做可微博弈的新視角將引發(fā)進一步的算法發(fā)展，并帶來更深的理解。 更多論文信息，請移步AMiner-ICLR2021會議系統(tǒng)頁面：https://www.aminer.cn/conf/iclr2021/papers |
回復(fù)此樓» 猜你喜歡
江蘇省農(nóng)科院招調(diào)劑1名
已經(jīng)有5人回復(fù)
-
2025屆雙非化工碩士畢業(yè)，申博
已經(jīng)有5人回復(fù)
-
290求調(diào)劑
已經(jīng)有8人回復(fù)
-
0856材料工程，初試313調(diào)劑
已經(jīng)有5人回復(fù)
-
292求調(diào)劑
已經(jīng)有3人回復(fù)
-
264求調(diào)劑
已經(jīng)有5人回復(fù)
-
材料328求調(diào)劑
已經(jīng)有4人回復(fù)
-
沒有青基直接申請面上，感覺自己瘋了
已經(jīng)有6人回復(fù)
-
306求調(diào)劑
已經(jīng)有5人回復(fù)
-
085600 材料與化工 298
已經(jīng)有5人回復(fù)
2樓2021-04-28 13:01:50
夢の國度
捐助貴賓 (文學(xué)泰斗)
- 應(yīng)助: 0 (幼兒園)
- 金幣: 3337.1
- 散金: 177
- 紅花: 2
- 帖子: 67310
- 在線: 168.3小時
- 蟲號: 977074
- 注冊: 2010-03-20
- 性別: GG
- 專業(yè): 數(shù)論
3樓2021-05-21 17:15:17
夢の國度
捐助貴賓 (文學(xué)泰斗)
- 應(yīng)助: 0 (幼兒園)
- 金幣: 3337.1
- 散金: 177
- 紅花: 2
- 帖子: 67310
- 在線: 168.3小時
- 蟲號: 977074
- 注冊: 2010-03-20
- 性別: GG
- 專業(yè): 數(shù)論
4樓2021-05-24 12:10:09
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 AMiner抗疫 的主題更新
| 4 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 化工專碩348，一志愿985求調(diào)劑 +8 | 弗格個 2026-02-28 | 11/550 |
|
|---|---|---|---|---|
|
|
[考研] 一志愿中科大能動297求調(diào)劑，本科川大 +3 | 邵11 2026-03-03 | 3/150 |
|
|
|
[考研] 環(huán)境工程學(xué)碩288求助調(diào)劑 +5 | 多吃億口芝士 2026-03-02 | 5/250 |
|
|
[考研] 材料學(xué)碩318求調(diào)劑 +11 | February_Feb 2026-03-01 | 11/550 |
|
|
|
[考研] 085600材料與化工調(diào)劑 280分 +9 | yyqqhh 2026-03-03 | 9/450 |
|
|
|
[考研] 278求調(diào)劑 +3 | 滿天星11_22 2026-03-02 | 3/150 |
|
|
|
[考研] 化學(xué)0703求調(diào)劑 學(xué)碩 理/工科均可 總分279 +3 | 1一11 2026-03-03 | 5/250 |
|
|
|
[考研] 調(diào)劑 +5 | 13853210211 2026-03-02 | 7/350 |
|
|
|
[考研] 調(diào)劑材料學(xué)碩 +4 | 詞凝Y 2026-03-02 | 4/200 |
|
|
|
[考研]
 高分子化學(xué)與物理調(diào)劑
+6
|
好好好1233 2026-02-28 | 16/800 |
|
|
|
[考研] 321求調(diào)劑一志愿東北林業(yè)大學(xué)材料與化工英二數(shù)二 +5 | 蟲蟲蟲蟲蟲7 2026-03-01 | 9/450 |
|
|
|
[考研] 261求調(diào)劑 +3 | 陸lh 2026-03-01 | 3/150 |
|
|
|
[考研] 一志愿鄭大材料學(xué)碩298分，求調(diào)劑 +6 | wsl111 2026-03-01 | 6/300 |
|
|
|
[考研] 調(diào)劑 +3 | 13853210211 2026-03-02 | 4/200 |
|
|
|
[基金申請]
 本子寫完了，給DS兄弟看了，得了92分
+3
|
Doma 2026-03-01 | 7/350 |
|
|
|
[碩博家園] 博士自薦 +7 | 科研狗111 2026-02-26 | 11/550 |
|
|
|
[考研] 291分工科求調(diào)劑 +9 | science餓餓 2026-03-01 | 10/500 |
|
|
|
[考博] 26申博 +4 | 想申博！ 2026-02-26 | 6/300 |
|
|
|
[考研] 313求調(diào)劑 +3 | 水流年lc 2026-02-28 | 3/150 |
|
|
|
[考研] 304求調(diào)劑 +3 | 52hz~~ 2026-02-28 | 5/250 |
|