 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 1739 | 回復(fù): 0 | |||
edison_1新蟲 (初入文壇)
|
[交流]
遷移學(xué)習(xí)在金融行業(yè)的應(yīng)用探索
|
|
摘要：通過遷移學(xué)習(xí)技術(shù)，解決少量數(shù)據(jù)（較少重疊樣本和特征）和個(gè)性化（較少標(biāo)記）的問題，從數(shù)據(jù)豐富的領(lǐng)域遷移到數(shù)據(jù)匱乏的領(lǐng)域。通過遷移學(xué)習(xí)在保證模型準(zhǔn)確率的同時(shí)，也提高了建造模型的效率，快速解決問題。 關(guān)鍵詞：遷移學(xué)習(xí),聯(lián)邦學(xué)習(xí) 1.引言 遷移學(xué)習(xí)（Transfer Learning）是一種機(jī)器學(xué)習(xí)技術(shù)，它通過將某個(gè)領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識(shí)或模式應(yīng)用到不同但相關(guān)的領(lǐng)域或問題中。遷移學(xué)習(xí)同時(shí)也是一種優(yōu)化，它允許在第二個(gè)任務(wù)上建模時(shí)取得快速進(jìn)步和改善性能。 遷移學(xué)習(xí)其實(shí)離我們的生活并不遙遠(yuǎn)，人類的遷移學(xué)習(xí)能力其實(shí)是與生俱來的。例如，如果我們已經(jīng)會(huì)打乒乓球，就可以類比學(xué)習(xí)打網(wǎng)球；已經(jīng)學(xué)會(huì)英語，就可以類比著來學(xué)習(xí)其他語言；再如，如果我們已經(jīng)會(huì)下中國象棋，就可以類比著下國際象棋。 根據(jù)學(xué)習(xí)方法的不同，遷移學(xué)習(xí)可以分為以下四個(gè)大類：基于實(shí)例的遷移學(xué)習(xí)（Instance Based Transfer Learning），基于特征的遷移學(xué)習(xí)（Feature Based Transfer Learning），基于模型的遷移學(xué)習(xí)（Model Based Transfer Learning）以及基于關(guān)系的遷移學(xué)習(xí)（Relation Based Transfer Learning）。其中比較熱門的是基于特征和模型的遷移方式。 2.遷移學(xué)習(xí)與聯(lián)邦學(xué)習(xí)的區(qū)別與聯(lián)系 在遷移學(xué)習(xí)中，我們已有的知識(shí)叫做源域（Source Domain），要學(xué)習(xí)的新知識(shí)叫目標(biāo)域（Target Domain）。在機(jī)器學(xué)習(xí)領(lǐng)域中，遷移學(xué)習(xí)研究如何將已有模型應(yīng)用到新的不同的、但有一定關(guān)聯(lián)的領(lǐng)域中。傳統(tǒng)機(jī)器學(xué)習(xí)在應(yīng)對(duì)數(shù)據(jù)的分布、維度，以及模型的輸出變化等任務(wù)時(shí)，模型不夠靈活、結(jié)果不夠理想，而遷移學(xué)習(xí)放松了這些假設(shè)。在數(shù)據(jù)分布、特征維度以及模型輸出變化條件下，有機(jī)地利用源域中的知識(shí)來對(duì)目標(biāo)域更好地建模。另外，在有標(biāo)定數(shù)據(jù)缺乏的情況下，遷移學(xué)習(xí)可以很好地利用相關(guān)領(lǐng)域有標(biāo)定的數(shù)據(jù)完成數(shù)據(jù)的標(biāo)定。 圖 1 遷移學(xué)習(xí)過程示例 說到遷移學(xué)習(xí)，大家經(jīng)常首先想到的是熱詞“聯(lián)邦學(xué)習(xí)（聯(lián)邦機(jī)器學(xué)習(xí)）”，聯(lián)邦機(jī)器學(xué)習(xí)是一個(gè)機(jī)器學(xué)習(xí)框架，包括模型訓(xùn)練和模型推理兩個(gè)過程。而遷移學(xué)習(xí)和聯(lián)邦學(xué)習(xí)兩者之間也是有明顯區(qū)分的。聯(lián)邦學(xué)習(xí)是把“碎數(shù)據(jù)”和“數(shù)據(jù)孤島”連接起來，其設(shè)計(jì)目標(biāo)是在保障大數(shù)據(jù)交換時(shí)的信息安全、保護(hù)終端數(shù)據(jù)和個(gè)人數(shù)據(jù)隱私、保證合法合規(guī)的前提下，在多參與方或多計(jì)算結(jié)點(diǎn)之間開展高效率的機(jī)器學(xué)習(xí)。而遷移學(xué)習(xí)是從“大數(shù)據(jù)”到“小數(shù)據(jù)”的遷移，重點(diǎn)解決了“小數(shù)據(jù)”的問題，讓知識(shí)可以從一個(gè)源領(lǐng)域遷移到另一個(gè)目標(biāo)領(lǐng)域，是一種“舉一反三”的學(xué)習(xí)能力。 兩者之間又存在著緊密的聯(lián)系，比如在進(jìn)行聯(lián)邦學(xué)習(xí)時(shí)常常需要做知識(shí)遷移，因?yàn)閿?shù)據(jù)孤島分布不均勻，有的大有的小。于是后來有專家提出的“聯(lián)邦遷移學(xué)習(xí)”，這正是把聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)結(jié)合起來，發(fā)揮兩種機(jī)器學(xué)習(xí)的優(yōu)勢(shì)。讓不同機(jī)構(gòu)在保護(hù)數(shù)據(jù)隱私的前提下合作，沒有算法、領(lǐng)域、數(shù)據(jù)類型的限制，而且模型效果無損失。 3.遷移學(xué)習(xí)解決的主要問題 遷移學(xué)習(xí)中存在的三個(gè)研究問題，即“遷移什么”、“如何遷移”和“何時(shí)遷移”。而結(jié)合遷移學(xué)習(xí)的特性，從應(yīng)用場(chǎng)景的角度，遷移學(xué)習(xí)解決的主要問題包括： （1）小數(shù)據(jù)的問題。比如在網(wǎng)上銷售一種新產(chǎn)品A，考慮到?jīng)]有歷史數(shù)據(jù)作為依據(jù)，無法建立模型對(duì)用戶進(jìn)行推薦。但用戶買某個(gè)產(chǎn)品的同時(shí)同樣有機(jī)會(huì)購買另外一些產(chǎn)品，所以如果知道用戶在另外一個(gè)領(lǐng)域，已經(jīng)有了積累的銷售數(shù)據(jù)，比如產(chǎn)品B，利用這些數(shù)據(jù)建一個(gè)模型，結(jié)合用戶買B產(chǎn)品習(xí)慣和A產(chǎn)品習(xí)慣的關(guān)聯(lián)，我們就可以把B產(chǎn)品的推薦模型給成功地遷移到A產(chǎn)品的領(lǐng)域，這樣，在數(shù)據(jù)不多的情況下可以成功推薦一些用戶可能喜歡的A產(chǎn)品。這個(gè)例子就說明，我們有兩個(gè)領(lǐng)域，一個(gè)領(lǐng)域已經(jīng)有很多的數(shù)據(jù)，能成功地建一個(gè)模型，有一個(gè)領(lǐng)域數(shù)據(jù)不多，但是和前面那個(gè)領(lǐng)域是關(guān)聯(lián)的，就可以把那個(gè)模型給遷移過來。 （2）個(gè)性化的問題。比如我們每個(gè)人都希望自己的手機(jī)能夠記住一些習(xí)慣，這樣不用每次都去設(shè)定它，我們?cè)趺床拍茏屖謾C(jī)記住這一點(diǎn)呢？其實(shí)可以通過遷移學(xué)習(xí)把一個(gè)通用的用戶使用手機(jī)的模型遷移到個(gè)性化的數(shù)據(jù)上面。所謂的千人前面其實(shí)就是大量的用戶數(shù)據(jù)分析，推薦最精準(zhǔn)的功能產(chǎn)品，比如銀行APP首頁的展示，也是根據(jù)用戶手機(jī)操作的偏好來排列展示，任何操作應(yīng)該控制在3步以內(nèi)。 4.遷移學(xué)習(xí)的實(shí)際應(yīng)用 （1）機(jī)器人訓(xùn)練 在實(shí)際的機(jī)器人上訓(xùn)練模型是非常緩慢和昂貴的。從模擬中學(xué)習(xí)并且將知識(shí)遷移到現(xiàn)實(shí)世界的機(jī)器人上的方式能緩解這個(gè)問題，并且這種方面最近正得到越來越多的關(guān)注。例如自動(dòng)駕駛汽車。早在5年前Udacity已經(jīng)開源了它用來進(jìn)行無人駕駛汽車工程納米學(xué)位教學(xué)的模擬器，OpenAI 的 Universe平臺(tái)通過視頻游戲來訓(xùn)練無人駕駛汽車。 （2）圖像理解 從目標(biāo)識(shí)別到行為識(shí)別的很多圖像理解任務(wù)已經(jīng)運(yùn)用了遷移學(xué)習(xí)。通常，這些計(jì)算機(jī)視覺任務(wù)需要大量有標(biāo)簽數(shù)據(jù)來訓(xùn)練模型，例如使用眾所周知的 ImageNet 數(shù)據(jù)集。然而，當(dāng)計(jì)算機(jī)視覺的情景稍有變化（例如從室內(nèi)到室外、從靜止攝像機(jī)變?yōu)橐苿?dòng)攝像機(jī)）時(shí)，需要調(diào)整模型以適應(yīng)新情況。遷移學(xué)習(xí)是解決這些適應(yīng)問題的常用技術(shù)。 （3）推薦系統(tǒng) 遷移學(xué)習(xí)也可以用在推薦系統(tǒng)中，在某個(gè)領(lǐng)域做好一個(gè)推薦系統(tǒng)，然后應(yīng)用在稀疏的、新的垂直領(lǐng)域。比如在圖書商城搜索的行業(yè)書籍，可以應(yīng)用到不同題材類型的電影。 （4）自然語言處理和文本挖掘 文本挖掘旨在從文本中發(fā)現(xiàn)有用的結(jié)構(gòu)性知識(shí)并將其應(yīng)用于其他領(lǐng)域中。在文本挖掘的所有問題中，文本分類旨在用不同的類標(biāo)簽標(biāo)記新的文本文檔。一個(gè)典型的文本分類問題是情感分類。在線論壇、博客、社交網(wǎng)絡(luò)等在線網(wǎng)站上有大量用戶生成的內(nèi)容，能夠總結(jié)消費(fèi)者對(duì)產(chǎn)品和服務(wù)的看法非常重要。情感分類能夠通過將評(píng)論分為正面和負(fù)面兩個(gè)類別來解決這個(gè)問題。但是，在不同的域中，例如不同類型的產(chǎn)品、不同類型的在線網(wǎng)站、不同的行業(yè)，用戶可能使用不同的詞語表達(dá)他們具有相同情感的觀點(diǎn)。因此，在一個(gè)域上訓(xùn)練的情感分類器可能在其他域上表現(xiàn)不佳。在這種情況下，遷移學(xué)習(xí)可以幫助調(diào)整已訓(xùn)練完成的情感分類器以適應(yīng)不同的領(lǐng)域。 （4）個(gè)性化對(duì)話 先訓(xùn)練一個(gè)通用型的對(duì)話系統(tǒng)，然后再根據(jù)特定領(lǐng)域的小數(shù)據(jù)修正它，使得這個(gè)對(duì)話系統(tǒng)適應(yīng)該特定領(lǐng)域的任務(wù)。比如，一個(gè)銀行客戶需要辦理信用卡，他并不想回答所有繁瑣的問題，例如信用卡種類，信用卡申請(qǐng)額度，信用卡還款方式、信用卡賬單接收方式等。 圖 2 個(gè)性化對(duì)話系統(tǒng) 5.金融領(lǐng)域遷移學(xué)習(xí)模型設(shè)計(jì)應(yīng)用 （1）金融產(chǎn)品個(gè)性化設(shè)計(jì) 以智慧消費(fèi)金融為例，通過機(jī)器學(xué)習(xí)設(shè)計(jì)，為信用良好的消費(fèi)者人群提供定制化的金融服務(wù)，鼓勵(lì)其進(jìn)行消費(fèi)。在這里智慧消費(fèi)金融中，設(shè)計(jì)的數(shù)據(jù)特征包括消費(fèi)者的資質(zhì)信息、購買能力、購買偏好及商品特征等。而這些數(shù)據(jù)特征由不同的單位或公司進(jìn)行管理。比如一個(gè)消費(fèi)者的資質(zhì)信息和購買能力可以從銀行、工商、稅務(wù)、房產(chǎn)等多個(gè)維度進(jìn)行判斷，對(duì)于不同商品或服務(wù)的購買能力，可以從社交網(wǎng)絡(luò)中分析得出，而商品的特征可以由電商平臺(tái)記錄中獲取。 圖 3 智慧消費(fèi)金融遷移學(xué)習(xí) 在這種場(chǎng)景下面臨了數(shù)據(jù)隱私、數(shù)據(jù)異構(gòu)融合的問題，傳統(tǒng)的機(jī)器學(xué)習(xí)方法不能有效地解決。而利用遷移學(xué)習(xí)建立定制化模型，，同時(shí)解決數(shù)據(jù)的異構(gòu)問題，克服傳統(tǒng)AI技術(shù)的局限性。 （2）跨機(jī)構(gòu)的金融產(chǎn)品遷移 比如在金融領(lǐng)域中，各家銀行的風(fēng)控模型存在不同，但模型設(shè)計(jì)的目標(biāo)是一致的，起到風(fēng)險(xiǎn)防控、信用評(píng)級(jí)的作用。那么我們可以設(shè)計(jì)A銀行的信用評(píng)估模型通過遷移學(xué)習(xí)的方式運(yùn)用到B銀行，對(duì)個(gè)人或者企業(yè)的信用進(jìn)行評(píng)分評(píng)級(jí)。而這之間區(qū)別在于可能A、B銀行因?yàn)樗幍乩砦恢貌煌瑢?dǎo)致客戶群體分布不同，這時(shí)如果A、B銀行都使用同一套信用評(píng)估模型，必然會(huì)造成評(píng)估結(jié)果的不準(zhǔn)確。遷移學(xué)習(xí)很好的解決了這個(gè)問題，通過借鑒A銀行模型中B銀行相似的部分，可以建立起屬于B銀行獨(dú)家的信用評(píng)估模型，給不同銀行提供了個(gè)性化模型的可能性。 通過遷移學(xué)習(xí)的方式，將企業(yè)成長(zhǎng)力模型遷移到了新的授信模型體系中。其中遷移主要體現(xiàn)在以下兩個(gè)方面： 1. 企業(yè)成長(zhǎng)力模型的遷移到調(diào)節(jié)項(xiàng)模型中。 2. “基礎(chǔ)+附加”思想的遷移。 通過遷移學(xué)習(xí)的方式，我們成功建立了B銀行的授信評(píng)估模型。整個(gè)模型的計(jì)算邏輯如下圖所示： 圖 4 模型計(jì)算邏輯 其中基礎(chǔ)額度模型是選取最重要的幾個(gè)指標(biāo)所建立的模型，而調(diào)節(jié)項(xiàng)模型是通過遷移學(xué)習(xí)的方式遷移了企業(yè)成長(zhǎng)力模型，再在企業(yè)成長(zhǎng)力模型的基礎(chǔ)上加以優(yōu)化調(diào)節(jié)，使得模型更符合B銀行的業(yè)務(wù)要求。其中調(diào)節(jié)優(yōu)化包括： 1. 增加更多企業(yè)成長(zhǎng)力模型并未涉及的特征，比如B銀行要求的新的企業(yè)能力指標(biāo)。 2. 子指標(biāo)得到父指標(biāo)的計(jì)算方式。 3. 針對(duì)B銀行給出的驗(yàn)證數(shù)據(jù)進(jìn)行各級(jí)指標(biāo)的權(quán)重調(diào)整，使最終模型更適合B銀行的業(yè)務(wù)對(duì)象。 圖 5 不同模型預(yù)測(cè)能力對(duì)比 6.結(jié)束語 遷移學(xué)習(xí)可以成為“小數(shù)據(jù)挑戰(zhàn)”的技術(shù)解決方案。利用這些模型從數(shù)據(jù)豐富的領(lǐng)域遷移到數(shù)據(jù)匱乏的領(lǐng)域，那么久有可能使這些數(shù)據(jù)匱乏的領(lǐng)域更快地邁向一個(gè)以信息和知識(shí)為基礎(chǔ)的社會(huì)。當(dāng)我們見證人類歷史最基本的人工智能革命之一時(shí)，遷移學(xué)習(xí)作為一個(gè)深入的研究領(lǐng)域脫穎而出，它激發(fā)了新的想法和思想，使之深入到智能的本質(zhì)。 在金融業(yè)務(wù)不斷開拓創(chuàng)新時(shí)，從產(chǎn)品設(shè)計(jì)、開發(fā)、測(cè)試整個(gè)流程中利用遷移學(xué)習(xí)，能夠?qū)崿F(xiàn)降本增效，控制風(fēng)險(xiǎn)，做到事半功倍。相信在未來不斷探索中更多的金融應(yīng)用場(chǎng)景會(huì)悄然而生。 參考文獻(xiàn) [1] 楊強(qiáng) 張宇 戴文淵 潘嘉林 著.《遷移學(xué)習(xí)》.機(jī)械工業(yè)出版社. 2020年 [2] 楊強(qiáng).《人工智能專家如何解決金融難題》.北大金融評(píng)論總第3期. 2020年 [3] 機(jī)器之心.《什么是遷移學(xué)習(xí)？遷移學(xué)習(xí)的場(chǎng)景與應(yīng)用》.知乎.2019年 作者：盛瀚 北京銀行 |
回復(fù)此樓» 猜你喜歡
伙伴們，祝我生日快樂吧
已經(jīng)有3人回復(fù)
-
一志愿北京化工大學(xué)材料與化工296分求調(diào)劑
已經(jīng)有15人回復(fù)
-
深圳大學(xué)碩士招生（2026秋，傳感器方向）
已經(jīng)有6人回復(fù)
-
290求調(diào)劑
已經(jīng)有5人回復(fù)
-
一志愿河海大學(xué)085900土木水利專碩279求調(diào)劑不挑專業(yè)
已經(jīng)有3人回復(fù)
-
0857環(huán)境調(diào)劑
已經(jīng)有5人回復(fù)
-
一志愿浙江大學(xué)0856材料與化工求調(diào)劑
已經(jīng)有4人回復(fù)
-
081200計(jì)算機(jī)科學(xué)與技術(shù)數(shù)一英一306求調(diào)劑
已經(jīng)有3人回復(fù)
-
材料工程330分求調(diào)劑，一志愿985
已經(jīng)有4人回復(fù)
-
求調(diào)劑
已經(jīng)有4人回復(fù)
» 本主題相關(guān)商家推薦: (我也要在這里推廣)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 edison_1 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 求調(diào)劑 +4 | 鶴遨予卿 2026-03-09 | 4/200 |
|
|---|---|---|---|---|
|
|
[考研] 調(diào)劑 +5 | 調(diào)劑的考研學(xué)生 2026-03-09 | 5/250 |
|
|
|
[考研] 313分生物學(xué)求調(diào)劑 +5 | Yyt楊1 2026-03-09 | 7/350 |
|
|
|
[考研] 求調(diào)劑材料專碩293 +6 | 段_(:з」∠)_ 2026-03-10 | 6/300 |
|
|
[考研] 2026考研求調(diào)劑-材料類-本科211一志愿985-初試301分 +10 | 蟲友233 2026-03-07 | 10/500 |
|
|
|
[考研] 085602化工求調(diào)劑 +7 | 董boxing 2026-03-10 | 7/350 |
|
|
|
[考研] 家人們 調(diào)劑不迷路 看這里 +8 | likeihood 2026-03-09 | 13/650 |
|
|
|
[考研]
 295復(fù)試調(diào)劑
+4
|
簡(jiǎn)木ChuFront 2026-03-09 | 4/200 |
|
|
|
[碩博家園] 2026級(jí)碩士研究生招生/調(diào)劑 +3 | 知足常樂的樂 2026-03-06 | 5/250 |
|
|
|
[考研] 考研調(diào)劑，一志愿山東大學(xué)材料與化工，328分，政治51 +5 | 關(guān)你西紅柿929 2026-03-08 | 6/300 |
|
|
|
[考研] 0703化學(xué)求調(diào)劑 +4 | 很老實(shí)人 2026-03-09 | 4/200 |
|
|
|
[考研] 一志愿211 材料與化工 280求調(diào)劑 +3 | Sanity蔣 2026-03-08 | 3/150 |
|
|
|
[考研] 297求調(diào)劑 +3 | 胡達(dá)靈 2026-03-05 | 5/250 |
|
|
|
[考研] 286求調(diào)劑 +12 | Faune 2026-03-06 | 14/700 |
|
|
|
[考研] 0817化學(xué)工程與技術(shù)312分求調(diào)劑 +7 | T123 tt 2026-03-04 | 7/350 |
|
|
|
[考研]
 085600材料與化工 292分 求調(diào)劑
+6
|
程晴之 2026-03-06 | 6/300 |
|
|
|
[考研] 085602高分子方向求調(diào)劑 +7 | tlgudy 2026-03-04 | 7/350 |
|
|
|
[考研] 085600，一志愿鄭州大學(xué)，280分求調(diào)劑 +7 | Wuqi725 2026-03-05 | 7/350 |
|
|
|
[考研] 282求調(diào)劑 +7 | 夕～日 2026-03-05 | 8/400 |
|
|
|
[考研] 316求調(diào)劑 +3 | 林小星發(fā)大財(cái) 2026-03-04 | 3/150 |
|