 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 4 | 1/1 | 返回列表 |
| 查看: 1400 | 回復(fù): 3 | |||
AMiner抗疫新蟲 (初入文壇)
|
[交流]
百里挑一：ICLR 2021杰出論文獎(jiǎng)出爐！ 已有2人參與
|
|
百里挑一：ICLR 2021杰出論文獎(jiǎng)出爐！ 北京時(shí)間 2021年4月1日，ICLR 2021 杰出論文新鮮出爐了！在本屆 ICLR 上被接收的 860 篇高質(zhì)量論文中，有 8 篇論文脫穎而出，被授予 ICLR 2021 杰出論文獎(jiǎng)。 本次杰出論文的評(píng)選過(guò)程極為嚴(yán)苛。首先，杰出論文講評(píng)審委員會(huì)會(huì)根據(jù)論文被接收時(shí)的評(píng)審意見(jiàn)給出一個(gè)候選論文的清單；接著，杰出論文評(píng)審委員會(huì)會(huì)進(jìn)一步對(duì)清單中的論文進(jìn)行評(píng)審，專家們不僅需要評(píng)估論文的技術(shù)質(zhì)量，還要評(píng)估論文可能產(chǎn)生的影響，這種影響包括引入新的研究視角、開(kāi)啟了令人激動(dòng)的新研究方向，以及為解決重要的問(wèn)題作出強(qiáng)有力的貢獻(xiàn)。在經(jīng)過(guò)了上述嚴(yán)格的評(píng)審過(guò)程后，最終確定了 8 篇排名最高的論文獲得 ICLR 2021 杰出論文獎(jiǎng)。 1.Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters 【論文作者】Aston Zhang、Yi Tay、Shuai Zhang、Alvin Chan、Anh Tuan Luu、Siu Hui、Jie Fu 【機(jī)構(gòu)】亞馬遜 AWS、谷歌研究院、蘇黎世聯(lián)邦理工學(xué)院、南洋理工大學(xué)、Mila 實(shí)驗(yàn)室 【論文鏈接】https://www.aminer.cn/pub/6008327b9e795ed227f5310e/?conf=iclr2021 【論文摘要】近年來(lái)，一些研究說(shuō)明了超復(fù)數(shù)空間中表征學(xué)習(xí)的成功。具體而言，帶有四元數(shù)的全連接層（四元數(shù)即四維超復(fù)數(shù)）用四元數(shù)的漢密爾頓積替換了全連接層中的實(shí)值矩陣乘法，這種方法在僅僅使用 1/4 的可學(xué)習(xí)參數(shù)的情況下，在各種應(yīng)用中實(shí)現(xiàn)了可與之前的方法相當(dāng)?shù)男阅堋?br /> 然而，超復(fù)數(shù)空間只在少數(shù)預(yù)定義的維度上（四維、八維、十六維）存在，這限制了利用超復(fù)數(shù)乘法的模型的靈活性。為此，本文作者提出了一種對(duì)超復(fù)數(shù)乘法進(jìn)行參數(shù)化的方法，使模型能夠根據(jù)數(shù)據(jù)學(xué)習(xí)乘法規(guī)則，而無(wú)需考慮此類規(guī)則是否被預(yù)先定義。這樣以來(lái)，本文提出的方法不僅引入了漢密爾頓積，而且還學(xué)會(huì)了在任意的 n 維超復(fù)數(shù)空間上運(yùn)行。與對(duì)應(yīng)的全連接層相比，本文提出的 PHM 層使用任意 1/n 的可學(xué)習(xí)參數(shù)，是實(shí)現(xiàn)了更大的架構(gòu)靈活性。在實(shí)驗(yàn)中，本文作者在自然語(yǔ)言推理、機(jī)器翻譯、文本風(fēng)格遷移和主謂一致任務(wù)上將本文提出的 PHM 層用于 LSTM 和 Transformer 模型，驗(yàn)證了該方法的架構(gòu)靈活性和有效性。 2.Complex Query Answering with Neural Link Predictors 【論文作者】Erik Arakelyan、 Daniel Daza、Pasquale Minervini、 Michael Cochez 【機(jī)構(gòu)】倫敦大學(xué)學(xué)院、阿姆斯特丹自由大學(xué)、阿姆斯特丹大學(xué)、愛(ài)思唯爾 Discovery 實(shí)驗(yàn)室 【論文鏈接】https://www.aminer.cn/pub/5fa9175f91e011e83f7407f4/?conf=iclr2021 【代碼鏈接】https://github.com/uclnlp/cqd 【論文摘要】神經(jīng)鏈接預(yù)測(cè)器對(duì)于識(shí)別大規(guī)模知識(shí)圖譜中的缺失邊非常有用。然而，目前人們尚不清楚如何使用這些模型回答涉及多個(gè)域的更復(fù)雜的查詢（例如，在考慮缺失邊的情況下，處理使用邏輯合取 (∧)、析取 (∨) 、存在量詞(∃  的查詢）。在本文中，作者提出了一種可以高效地回答不完整的知識(shí)圖譜上的復(fù)雜查詢的框架。本文作者將每個(gè)查詢轉(zhuǎn)換為端到端可微的目標(biāo)，并使用預(yù)訓(xùn)練的神經(jīng)鏈接預(yù)測(cè)器計(jì)算每個(gè)原子的真值。本文作者進(jìn)一步分析了兩種優(yōu)化改變目標(biāo)的解決方案（包括基于梯度的搜索和組合搜索。 實(shí)驗(yàn)結(jié)果表明，本文提出的方法在無(wú)需使用大規(guī)模、多樣的查詢集訓(xùn)練的情況下，取得了比目前最優(yōu)的方法（使用數(shù)以百萬(wàn)計(jì)的生成的查詢訓(xùn)練的「黑盒」神經(jīng)模型）更高的準(zhǔn)確率。在使用少了幾個(gè)數(shù)量級(jí)的訓(xùn)練數(shù)據(jù)的情況下，本文提出的模型在包含事實(shí)信息的各種知識(shí)圖譜上，獲得了從 8% 到 40% 不等的 Hits@3 的相對(duì)性能提升。最后，本文作者指出，根據(jù)每個(gè)復(fù)雜查詢?cè)拥闹虚g解，該模型的輸出結(jié)果是可解釋的。 3.EigenGame: PCA as a Nash Equilibrium 【論文作者】Ian Gemp、 Brian McWilliams、Claire Vernade、Thore Graepel 【機(jī)構(gòu)】DeepMind 【論文鏈接】https://www.aminer.cn/pub/5f77013191e011f31b980711/?conf=iclr2021 【代碼鏈接】https://github.com/uclnlp/cqd 【論文摘要】在本文中，作者提出了一種新穎的視角，將主成分分析（PCA）視為一種競(jìng)爭(zhēng)博弈，其中每個(gè)近似特征向量由一個(gè)博弈參與者（player）控制，參與者的目標(biāo)是最大化它們的效用函數(shù)。 本文作者分析了 PCA 博弈的特性以及基于梯度的更新行為的效果。最終，作者提出了一種算法，它將 Oja 學(xué)習(xí)規(guī)則中的元素與廣義「克萊姆施密特」正交化結(jié)合起來(lái)，通過(guò)消息傳遞自然而然地實(shí)現(xiàn)了去中心化與并行化計(jì)算。通過(guò)在大規(guī)模圖像數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)激活上的實(shí)驗(yàn)，作者說(shuō)明了該算法的可擴(kuò)展性。作者指出，這種將 PCA 看做可微博弈的新視角將引發(fā)進(jìn)一步的算法發(fā)展，并帶來(lái)更深的理解。 更多論文信息，請(qǐng)移步AMiner-ICLR2021會(huì)議系統(tǒng)頁(yè)面：https://www.aminer.cn/conf/iclr2021/papers |
回復(fù)此樓» 猜你喜歡
江蘇省農(nóng)科院招調(diào)劑1名
已經(jīng)有5人回復(fù)
-
2025屆雙非化工碩士畢業(yè)，申博
已經(jīng)有5人回復(fù)
-
290求調(diào)劑
已經(jīng)有8人回復(fù)
-
0856材料工程，初試313調(diào)劑
已經(jīng)有5人回復(fù)
-
292求調(diào)劑
已經(jīng)有3人回復(fù)
-
264求調(diào)劑
已經(jīng)有5人回復(fù)
-
材料328求調(diào)劑
已經(jīng)有4人回復(fù)
-
沒(méi)有青基直接申請(qǐng)面上，感覺(jué)自己瘋了
已經(jīng)有6人回復(fù)
-
306求調(diào)劑
已經(jīng)有5人回復(fù)
-
085600 材料與化工 298
已經(jīng)有5人回復(fù)
2樓2021-04-28 13:01:50
夢(mèng)の國(guó)度
捐助貴賓 (文學(xué)泰斗)
- 應(yīng)助: 0 (幼兒園)
- 金幣: 3337.1
- 散金: 177
- 紅花: 2
- 帖子: 67310
- 在線: 168.3小時(shí)
- 蟲號(hào): 977074
- 注冊(cè): 2010-03-20
- 性別: GG
- 專業(yè): 數(shù)論
3樓2021-05-21 17:15:17
夢(mèng)の國(guó)度
捐助貴賓 (文學(xué)泰斗)
- 應(yīng)助: 0 (幼兒園)
- 金幣: 3337.1
- 散金: 177
- 紅花: 2
- 帖子: 67310
- 在線: 168.3小時(shí)
- 蟲號(hào): 977074
- 注冊(cè): 2010-03-20
- 性別: GG
- 專業(yè): 數(shù)論
4樓2021-05-24 12:10:09
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 AMiner抗疫 的主題更新
| 4 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 0856材料工程，初試313調(diào)劑 +5 | 賣個(gè)關(guān)子吧 2026-03-03 | 5/250 |
|
|---|---|---|---|---|
|
[考研] 成績(jī)276，專業(yè)代碼0856求調(diào)劑 +7 | 小陳朵 2026-03-03 | 7/350 |
|
|
|
[考研] 歡迎采礦、地質(zhì)、巖土、計(jì)算機(jī)、人工智能等專業(yè)的同學(xué)報(bào)考 +7 | pin8023 2026-02-28 | 9/450 |
|
|
|
[考研] 299求調(diào)劑 +5 | kkcoco25 2026-03-02 | 9/450 |
|
|
|
[考研] 中國(guó)科學(xué)技術(shù)大學(xué)材料與化工281求調(diào)劑，有科研和獲獎(jiǎng)經(jīng)歷 +6 | wsxw 2026-03-02 | 7/350 |
|
|
|
[考研] 291求調(diào)劑 +3 | MuoLuo1312 2026-03-02 | 6/300 |
|
|
|
[考研] 課題組接收材料類調(diào)劑研究生 +6 | gaoxiaoniuma 2026-02-28 | 9/450 |
|
|
|
[考研] 求調(diào)劑院校 +6 | 云朵452 2026-03-02 | 8/400 |
|
|
|
[考研] 理學(xué)，工學(xué)，農(nóng)學(xué)調(diào)劑，少走彎路，這里歡迎您！ +6 | likeihood 2026-03-02 | 9/450 |
|
|
|
[基金申請(qǐng)]
 成果系統(tǒng)訪問(wèn)量大，請(qǐng)15分鐘后再嘗試。由此給您造成的不便，敬請(qǐng)諒解。
+8
|
xhuama 2026-03-02 | 9/450 |
|
|
|
[考研] 321求調(diào)劑一志愿東北林業(yè)大學(xué)材料與化工英二數(shù)二 +5 | 蟲蟲蟲蟲蟲7 2026-03-01 | 9/450 |
|
|
|
[考研] 085600求調(diào)劑 +4 | LRZZZZZZ 2026-03-02 | 5/250 |
|
|
|
[考研] 0856求調(diào)劑285 +11 | 呂仔龍 2026-02-28 | 11/550 |
|
|
|
[考研] 303求調(diào)劑 +5 | 今夏不夏 2026-03-01 | 5/250 |
|
|
|
[考研] 292求調(diào)劑 +7 | yhk_819 2026-02-28 | 7/350 |
|
|
|
[基金申請(qǐng)] 此成果不能導(dǎo)入原因：元數(shù)據(jù)必填信息不完整，可 進(jìn)行補(bǔ)充。 +4 | Kittylucky 2026-03-02 | 5/250 |
|
|
|
[考研] 264求調(diào)劑 +4 | 巴拉巴拉根556 2026-02-28 | 4/200 |
|
|
|
[考研] 材料調(diào)劑 +6 | 愛(ài)擦汗的可樂(lè)冰 2026-02-28 | 7/350 |
|
|
|
[考研] 322求調(diào)劑 +3 | 熊境喆 2026-03-01 | 3/150 |
|
|
|
[考研] 311求調(diào)劑 +9 | 南迦720 2026-02-28 | 10/500 |
|