 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 1729 | 回復(fù): 0 | |||
edison_1新蟲 (初入文壇)
|
[交流]
遷移學(xué)習(xí)在金融行業(yè)的應(yīng)用探索
|
|
摘要：通過遷移學(xué)習(xí)技術(shù)，解決少量數(shù)據(jù)（較少重疊樣本和特征）和個性化（較少標記）的問題，從數(shù)據(jù)豐富的領(lǐng)域遷移到數(shù)據(jù)匱乏的領(lǐng)域。通過遷移學(xué)習(xí)在保證模型準確率的同時，也提高了建造模型的效率，快速解決問題。 關(guān)鍵詞：遷移學(xué)習(xí),聯(lián)邦學(xué)習(xí) 1.引言 遷移學(xué)習(xí)（Transfer Learning）是一種機器學(xué)習(xí)技術(shù)，它通過將某個領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識或模式應(yīng)用到不同但相關(guān)的領(lǐng)域或問題中。遷移學(xué)習(xí)同時也是一種優(yōu)化，它允許在第二個任務(wù)上建模時取得快速進步和改善性能。 遷移學(xué)習(xí)其實離我們的生活并不遙遠，人類的遷移學(xué)習(xí)能力其實是與生俱來的。例如，如果我們已經(jīng)會打乒乓球，就可以類比學(xué)習(xí)打網(wǎng)球；已經(jīng)學(xué)會英語，就可以類比著來學(xué)習(xí)其他語言；再如，如果我們已經(jīng)會下中國象棋，就可以類比著下國際象棋。 根據(jù)學(xué)習(xí)方法的不同，遷移學(xué)習(xí)可以分為以下四個大類：基于實例的遷移學(xué)習(xí)（Instance Based Transfer Learning），基于特征的遷移學(xué)習(xí)（Feature Based Transfer Learning），基于模型的遷移學(xué)習(xí)（Model Based Transfer Learning）以及基于關(guān)系的遷移學(xué)習(xí)（Relation Based Transfer Learning）。其中比較熱門的是基于特征和模型的遷移方式。 2.遷移學(xué)習(xí)與聯(lián)邦學(xué)習(xí)的區(qū)別與聯(lián)系 在遷移學(xué)習(xí)中，我們已有的知識叫做源域（Source Domain），要學(xué)習(xí)的新知識叫目標域（Target Domain）。在機器學(xué)習(xí)領(lǐng)域中，遷移學(xué)習(xí)研究如何將已有模型應(yīng)用到新的不同的、但有一定關(guān)聯(lián)的領(lǐng)域中。傳統(tǒng)機器學(xué)習(xí)在應(yīng)對數(shù)據(jù)的分布、維度，以及模型的輸出變化等任務(wù)時，模型不夠靈活、結(jié)果不夠理想，而遷移學(xué)習(xí)放松了這些假設(shè)。在數(shù)據(jù)分布、特征維度以及模型輸出變化條件下，有機地利用源域中的知識來對目標域更好地建模。另外，在有標定數(shù)據(jù)缺乏的情況下，遷移學(xué)習(xí)可以很好地利用相關(guān)領(lǐng)域有標定的數(shù)據(jù)完成數(shù)據(jù)的標定。 圖 1 遷移學(xué)習(xí)過程示例 說到遷移學(xué)習(xí)，大家經(jīng)常首先想到的是熱詞“聯(lián)邦學(xué)習(xí)（聯(lián)邦機器學(xué)習(xí)）”，聯(lián)邦機器學(xué)習(xí)是一個機器學(xué)習(xí)框架，包括模型訓(xùn)練和模型推理兩個過程。而遷移學(xué)習(xí)和聯(lián)邦學(xué)習(xí)兩者之間也是有明顯區(qū)分的。聯(lián)邦學(xué)習(xí)是把“碎數(shù)據(jù)”和“數(shù)據(jù)孤島”連接起來，其設(shè)計目標是在保障大數(shù)據(jù)交換時的信息安全、保護終端數(shù)據(jù)和個人數(shù)據(jù)隱私、保證合法合規(guī)的前提下，在多參與方或多計算結(jié)點之間開展高效率的機器學(xué)習(xí)。而遷移學(xué)習(xí)是從“大數(shù)據(jù)”到“小數(shù)據(jù)”的遷移，重點解決了“小數(shù)據(jù)”的問題，讓知識可以從一個源領(lǐng)域遷移到另一個目標領(lǐng)域，是一種“舉一反三”的學(xué)習(xí)能力。 兩者之間又存在著緊密的聯(lián)系，比如在進行聯(lián)邦學(xué)習(xí)時常常需要做知識遷移，因為數(shù)據(jù)孤島分布不均勻，有的大有的小。于是后來有專家提出的“聯(lián)邦遷移學(xué)習(xí)”，這正是把聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)結(jié)合起來，發(fā)揮兩種機器學(xué)習(xí)的優(yōu)勢。讓不同機構(gòu)在保護數(shù)據(jù)隱私的前提下合作，沒有算法、領(lǐng)域、數(shù)據(jù)類型的限制，而且模型效果無損失。 3.遷移學(xué)習(xí)解決的主要問題 遷移學(xué)習(xí)中存在的三個研究問題，即“遷移什么”、“如何遷移”和“何時遷移”。而結(jié)合遷移學(xué)習(xí)的特性，從應(yīng)用場景的角度，遷移學(xué)習(xí)解決的主要問題包括： （1）小數(shù)據(jù)的問題。比如在網(wǎng)上銷售一種新產(chǎn)品A，考慮到?jīng)]有歷史數(shù)據(jù)作為依據(jù)，無法建立模型對用戶進行推薦。但用戶買某個產(chǎn)品的同時同樣有機會購買另外一些產(chǎn)品，所以如果知道用戶在另外一個領(lǐng)域，已經(jīng)有了積累的銷售數(shù)據(jù)，比如產(chǎn)品B，利用這些數(shù)據(jù)建一個模型，結(jié)合用戶買B產(chǎn)品習(xí)慣和A產(chǎn)品習(xí)慣的關(guān)聯(lián)，我們就可以把B產(chǎn)品的推薦模型給成功地遷移到A產(chǎn)品的領(lǐng)域，這樣，在數(shù)據(jù)不多的情況下可以成功推薦一些用戶可能喜歡的A產(chǎn)品。這個例子就說明，我們有兩個領(lǐng)域，一個領(lǐng)域已經(jīng)有很多的數(shù)據(jù)，能成功地建一個模型，有一個領(lǐng)域數(shù)據(jù)不多，但是和前面那個領(lǐng)域是關(guān)聯(lián)的，就可以把那個模型給遷移過來。 （2）個性化的問題。比如我們每個人都希望自己的手機能夠記住一些習(xí)慣，這樣不用每次都去設(shè)定它，我們怎么才能讓手機記住這一點呢？其實可以通過遷移學(xué)習(xí)把一個通用的用戶使用手機的模型遷移到個性化的數(shù)據(jù)上面。所謂的千人前面其實就是大量的用戶數(shù)據(jù)分析，推薦最精準的功能產(chǎn)品，比如銀行APP首頁的展示，也是根據(jù)用戶手機操作的偏好來排列展示，任何操作應(yīng)該控制在3步以內(nèi)。 4.遷移學(xué)習(xí)的實際應(yīng)用 （1）機器人訓(xùn)練 在實際的機器人上訓(xùn)練模型是非常緩慢和昂貴的。從模擬中學(xué)習(xí)并且將知識遷移到現(xiàn)實世界的機器人上的方式能緩解這個問題，并且這種方面最近正得到越來越多的關(guān)注。例如自動駕駛汽車。早在5年前Udacity已經(jīng)開源了它用來進行無人駕駛汽車工程納米學(xué)位教學(xué)的模擬器，OpenAI 的 Universe平臺通過視頻游戲來訓(xùn)練無人駕駛汽車。 （2）圖像理解 從目標識別到行為識別的很多圖像理解任務(wù)已經(jīng)運用了遷移學(xué)習(xí)。通常，這些計算機視覺任務(wù)需要大量有標簽數(shù)據(jù)來訓(xùn)練模型，例如使用眾所周知的 ImageNet 數(shù)據(jù)集。然而，當(dāng)計算機視覺的情景稍有變化（例如從室內(nèi)到室外、從靜止攝像機變?yōu)橐苿訑z像機）時，需要調(diào)整模型以適應(yīng)新情況。遷移學(xué)習(xí)是解決這些適應(yīng)問題的常用技術(shù)。 （3）推薦系統(tǒng) 遷移學(xué)習(xí)也可以用在推薦系統(tǒng)中，在某個領(lǐng)域做好一個推薦系統(tǒng)，然后應(yīng)用在稀疏的、新的垂直領(lǐng)域。比如在圖書商城搜索的行業(yè)書籍，可以應(yīng)用到不同題材類型的電影。 （4）自然語言處理和文本挖掘 文本挖掘旨在從文本中發(fā)現(xiàn)有用的結(jié)構(gòu)性知識并將其應(yīng)用于其他領(lǐng)域中。在文本挖掘的所有問題中，文本分類旨在用不同的類標簽標記新的文本文檔。一個典型的文本分類問題是情感分類。在線論壇、博客、社交網(wǎng)絡(luò)等在線網(wǎng)站上有大量用戶生成的內(nèi)容，能夠總結(jié)消費者對產(chǎn)品和服務(wù)的看法非常重要。情感分類能夠通過將評論分為正面和負面兩個類別來解決這個問題。但是，在不同的域中，例如不同類型的產(chǎn)品、不同類型的在線網(wǎng)站、不同的行業(yè)，用戶可能使用不同的詞語表達他們具有相同情感的觀點。因此，在一個域上訓(xùn)練的情感分類器可能在其他域上表現(xiàn)不佳。在這種情況下，遷移學(xué)習(xí)可以幫助調(diào)整已訓(xùn)練完成的情感分類器以適應(yīng)不同的領(lǐng)域。 （4）個性化對話 先訓(xùn)練一個通用型的對話系統(tǒng)，然后再根據(jù)特定領(lǐng)域的小數(shù)據(jù)修正它，使得這個對話系統(tǒng)適應(yīng)該特定領(lǐng)域的任務(wù)。比如，一個銀行客戶需要辦理信用卡，他并不想回答所有繁瑣的問題，例如信用卡種類，信用卡申請額度，信用卡還款方式、信用卡賬單接收方式等。 圖 2 個性化對話系統(tǒng) 5.金融領(lǐng)域遷移學(xué)習(xí)模型設(shè)計應(yīng)用 （1）金融產(chǎn)品個性化設(shè)計 以智慧消費金融為例，通過機器學(xué)習(xí)設(shè)計，為信用良好的消費者人群提供定制化的金融服務(wù)，鼓勵其進行消費。在這里智慧消費金融中，設(shè)計的數(shù)據(jù)特征包括消費者的資質(zhì)信息、購買能力、購買偏好及商品特征等。而這些數(shù)據(jù)特征由不同的單位或公司進行管理。比如一個消費者的資質(zhì)信息和購買能力可以從銀行、工商、稅務(wù)、房產(chǎn)等多個維度進行判斷，對于不同商品或服務(wù)的購買能力，可以從社交網(wǎng)絡(luò)中分析得出，而商品的特征可以由電商平臺記錄中獲取。 圖 3 智慧消費金融遷移學(xué)習(xí) 在這種場景下面臨了數(shù)據(jù)隱私、數(shù)據(jù)異構(gòu)融合的問題，傳統(tǒng)的機器學(xué)習(xí)方法不能有效地解決。而利用遷移學(xué)習(xí)建立定制化模型，，同時解決數(shù)據(jù)的異構(gòu)問題，克服傳統(tǒng)AI技術(shù)的局限性。 （2）跨機構(gòu)的金融產(chǎn)品遷移 比如在金融領(lǐng)域中，各家銀行的風(fēng)控模型存在不同，但模型設(shè)計的目標是一致的，起到風(fēng)險防控、信用評級的作用。那么我們可以設(shè)計A銀行的信用評估模型通過遷移學(xué)習(xí)的方式運用到B銀行，對個人或者企業(yè)的信用進行評分評級。而這之間區(qū)別在于可能A、B銀行因為所處地理位置不同導(dǎo)致客戶群體分布不同，這時如果A、B銀行都使用同一套信用評估模型，必然會造成評估結(jié)果的不準確。遷移學(xué)習(xí)很好的解決了這個問題，通過借鑒A銀行模型中B銀行相似的部分，可以建立起屬于B銀行獨家的信用評估模型，給不同銀行提供了個性化模型的可能性。 通過遷移學(xué)習(xí)的方式，將企業(yè)成長力模型遷移到了新的授信模型體系中。其中遷移主要體現(xiàn)在以下兩個方面： 1. 企業(yè)成長力模型的遷移到調(diào)節(jié)項模型中。 2. “基礎(chǔ)+附加”思想的遷移。 通過遷移學(xué)習(xí)的方式，我們成功建立了B銀行的授信評估模型。整個模型的計算邏輯如下圖所示： 圖 4 模型計算邏輯 其中基礎(chǔ)額度模型是選取最重要的幾個指標所建立的模型，而調(diào)節(jié)項模型是通過遷移學(xué)習(xí)的方式遷移了企業(yè)成長力模型，再在企業(yè)成長力模型的基礎(chǔ)上加以優(yōu)化調(diào)節(jié)，使得模型更符合B銀行的業(yè)務(wù)要求。其中調(diào)節(jié)優(yōu)化包括： 1. 增加更多企業(yè)成長力模型并未涉及的特征，比如B銀行要求的新的企業(yè)能力指標。 2. 子指標得到父指標的計算方式。 3. 針對B銀行給出的驗證數(shù)據(jù)進行各級指標的權(quán)重調(diào)整，使最終模型更適合B銀行的業(yè)務(wù)對象。 圖 5 不同模型預(yù)測能力對比 6.結(jié)束語 遷移學(xué)習(xí)可以成為“小數(shù)據(jù)挑戰(zhàn)”的技術(shù)解決方案。利用這些模型從數(shù)據(jù)豐富的領(lǐng)域遷移到數(shù)據(jù)匱乏的領(lǐng)域，那么久有可能使這些數(shù)據(jù)匱乏的領(lǐng)域更快地邁向一個以信息和知識為基礎(chǔ)的社會。當(dāng)我們見證人類歷史最基本的人工智能革命之一時，遷移學(xué)習(xí)作為一個深入的研究領(lǐng)域脫穎而出，它激發(fā)了新的想法和思想，使之深入到智能的本質(zhì)。 在金融業(yè)務(wù)不斷開拓創(chuàng)新時，從產(chǎn)品設(shè)計、開發(fā)、測試整個流程中利用遷移學(xué)習(xí)，能夠?qū)崿F(xiàn)降本增效，控制風(fēng)險，做到事半功倍。相信在未來不斷探索中更多的金融應(yīng)用場景會悄然而生。 參考文獻 [1] 楊強 張宇 戴文淵 潘嘉林 著.《遷移學(xué)習(xí)》.機械工業(yè)出版社. 2020年 [2] 楊強.《人工智能專家如何解決金融難題》.北大金融評論總第3期. 2020年 [3] 機器之心.《什么是遷移學(xué)習(xí)？遷移學(xué)習(xí)的場景與應(yīng)用》.知乎.2019年 作者：盛瀚 北京銀行 |
回復(fù)此樓» 猜你喜歡
085600材料與化工調(diào)劑 280分
已經(jīng)有10人回復(fù)
-
化工專碩調(diào)劑
已經(jīng)有5人回復(fù)
-
276求調(diào)劑
已經(jīng)有10人回復(fù)
-
0856材料工程，初試313調(diào)劑
已經(jīng)有6人回復(fù)
-
298求調(diào)劑
已經(jīng)有4人回復(fù)
-
085600 材料與化工 298
已經(jīng)有6人回復(fù)
-
0703化學(xué)306調(diào)劑
已經(jīng)有3人回復(fù)
-
0703化學(xué) 學(xué)碩 理工科均可 不區(qū)分研究方向 總分279求調(diào)劑
已經(jīng)有3人回復(fù)
-
290求調(diào)劑
已經(jīng)有9人回復(fù)
-
306求調(diào)劑
已經(jīng)有6人回復(fù)
» 本主題相關(guān)商家推薦: (我也要在這里推廣)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 edison_1 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 085600 材料與化工 298 +6 | 小西笑嘻嘻 2026-03-03 | 6/300 |
|
|---|---|---|---|---|
|
[考研] 材料328求調(diào)劑 +4 | 一個蘿卜02 2026-03-03 | 4/200 |
|
|
|
[考研] 085602化學(xué)工程350，調(diào)劑，有沒有211的 +5 | 利好利好. 2026-03-02 | 9/450 |
|
|
|
[考研] 環(huán)境調(diào)劑 +5 | 柒槿levana 2026-03-01 | 5/250 |
|
|
|
[考研] 材料學(xué)碩318求調(diào)劑 +15 | February_Feb 2026-03-01 | 17/850 |
|
|
|
[考研] 環(huán)境工程學(xué)碩288求助調(diào)劑 +5 | 多吃億口芝士 2026-03-02 | 5/250 |
|
|
|
[考研] 291求調(diào)劑 +3 | Afy123456 2026-03-03 | 6/300 |
|
|
|
[考研] 中國科學(xué)技術(shù)大學(xué)材料與化工281求調(diào)劑，有科研和獲獎經(jīng)歷 +6 | wsxw 2026-03-02 | 7/350 |
|
|
|
[考研] 材料工程求調(diào)劑 +3 | 1431251 2026-03-03 | 3/150 |
|
|
|
[考研] 求調(diào)劑院校 +6 | 云朵452 2026-03-02 | 8/400 |
|
|
|
[考研] 298求調(diào)劑 +7 | axyz3 2026-02-28 | 8/400 |
|
|
|
[考研] 288求調(diào)劑 +3 | 少71.8 2026-03-02 | 5/250 |
|
|
|
[考研]
 高分子化學(xué)與物理調(diào)劑
+6
|
好好好1233 2026-02-28 | 16/800 |
|
|
|
[考研] 0856調(diào)劑 +10 | 劉夢微 2026-02-28 | 10/500 |
|
|
|
[考研] 一志愿華南理工大學(xué)材料與化工326分，求調(diào)劑 +3 | wujinrui1 2026-02-28 | 3/150 |
|
|
|
[考研] 265分求調(diào)劑不調(diào)專業(yè)和學(xué)校有行學(xué)上就 +6 | 禮堂丁真258 2026-02-28 | 9/450 |
|
|
|
[考研] 哈工大計算機劉劼團隊招生 +4 | hit_aiot 2026-03-01 | 6/300 |
|
|
|
[考研] 一志愿鄭大材料學(xué)碩298分，求調(diào)劑 +6 | wsl111 2026-03-01 | 6/300 |
|
|
|
[考研] 材料學(xué)調(diào)劑 +10 | 提神豆沙包 2026-02-28 | 12/600 |
|
|
|
[考研] 304求調(diào)劑 +3 | 52hz~~ 2026-02-28 | 5/250 |
|