金融領(lǐng)域的機(jī)器學(xué)習(xí)——智慧金融

N-iX是一家位于烏克蘭和波蘭的軟件開(kāi)發(fā)外包服務(wù)提供商，專為政府部門、金融機(jī)構(gòu)和各類企業(yè)提供數(shù)據(jù)驅(qū)動(dòng)的各類服務(wù)，其中包括近年來(lái)日益火熱的Fintech——智慧金融。作為一家擁有800多名技術(shù)專家、合作企業(yè)遍布全球的公司，他們對(duì)金融領(lǐng)域的機(jī)器學(xué)習(xí)又有什么見(jiàn)解呢？相信這篇文章能給各位讀者一個(gè)答案。

對(duì)于很多人來(lái)說(shuō)，金融領(lǐng)域的機(jī)器學(xué)習(xí)可能充滿魔力，即便它背后并沒(méi)有什么魔法（好吧，也許有一點(diǎn)點(diǎn)）。但我們應(yīng)該清楚，機(jī)器學(xué)習(xí)項(xiàng)目的成功不是源于這項(xiàng)技術(shù)本身，而是更多地取決于過(guò)程中所構(gòu)建的高效基礎(chǔ)架構(gòu)、合適的數(shù)據(jù)集和正確算法的使用。

現(xiàn)如今，機(jī)器學(xué)習(xí)正在金融領(lǐng)域大展宏圖，那么渴望從新技術(shù)中獲得突破的金融機(jī)構(gòu)該關(guān)心些什么呢？這篇文章會(huì)向讀者揭示，機(jī)器學(xué)習(xí)和AI究竟能實(shí)現(xiàn)什么解決方案，以及公司該如何應(yīng)用這項(xiàng)技術(shù)。

定義

首先，我們可以把金融領(lǐng)域使用的狹義機(jī)器學(xué)習(xí)（ML）定義為數(shù)據(jù)科學(xué)的一個(gè)子集，它通過(guò)使用統(tǒng)計(jì)模型總結(jié)洞見(jiàn)，并進(jìn)行預(yù)測(cè)。下圖解釋了金融領(lǐng)域的AI、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)之間的關(guān)系。為了簡(jiǎn)單起見(jiàn)，本文會(huì)專注于介紹機(jī)器學(xué)習(xí)。

機(jī)器學(xué)習(xí)解決方案的神奇之處在于，它們能從經(jīng)驗(yàn)中學(xué)習(xí)，而無(wú)需明確編程。簡(jiǎn)而言之，你選擇一個(gè)模型，喂給它大量數(shù)據(jù)，之后它就會(huì)自動(dòng)調(diào)整參數(shù)以提高預(yù)測(cè)準(zhǔn)確率。

而數(shù)據(jù)科學(xué)家的核心工作就是將現(xiàn)有數(shù)據(jù)集用于訓(xùn)練機(jī)器學(xué)習(xí)模型，然后把訓(xùn)練好的模型應(yīng)用于現(xiàn)實(shí)生活。

此圖只反映金融領(lǐng)域情形，真正意義上的機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)不存在屬于/不屬于關(guān)系

這些模型是作為后臺(tái)進(jìn)程運(yùn)行的，并根據(jù)其訓(xùn)練方式自動(dòng)提供結(jié)果。數(shù)據(jù)科學(xué)家可以根據(jù)需要經(jīng)常重新訓(xùn)練模型，保證它們的時(shí)效性和總體性能。比如Mercanto就每天都會(huì)部署重新訓(xùn)練。

通常情況下，你提供的數(shù)據(jù)越多，模型輸出結(jié)果就越準(zhǔn)確。這一點(diǎn)正中金融領(lǐng)域下懷，因?yàn)辇嫶蟮臄?shù)據(jù)集在金融服務(wù)行業(yè)中非常普遍，無(wú)論是交易、客戶，還是儲(chǔ)蓄、匯款等PB數(shù)據(jù)，這些都很適合用于機(jī)器學(xué)習(xí)。

隨著技術(shù)的發(fā)展和最佳算法的開(kāi)源，我們很難想象如果沒(méi)有機(jī)器學(xué)習(xí)，金融服務(wù)的未來(lái)會(huì)是什么樣。從另一個(gè)角度看，這也意味著現(xiàn)在大多數(shù)金融服務(wù)公司還沒(méi)有準(zhǔn)備好來(lái)提取這一技術(shù)的真正價(jià)值，其中的原因主要有以下幾個(gè)：

企業(yè)往往對(duì)機(jī)器學(xué)習(xí)及其產(chǎn)品抱有不切實(shí)際的期望。

人工智能和機(jī)器學(xué)習(xí)的研發(fā)、開(kāi)發(fā)成本很高。

DS/ML工程師短缺是一個(gè)主要問(wèn)題，下圖展示了近幾年機(jī)器學(xué)習(xí)技術(shù)需求的暴增。

在更新數(shù)據(jù)基礎(chǔ)架構(gòu)方面，老牌金融企業(yè)不夠靈活。

我們會(huì)在后文慢慢討論如何克服這些問(wèn)題，但是首先，我們先來(lái)看看為什么金融服務(wù)公司不能忽視機(jī)器學(xué)習(xí)。

為什么金融領(lǐng)域需要機(jī)器學(xué)習(xí)？

盡管面臨挑戰(zhàn)，但許多金融公司還是已經(jīng)開(kāi)始在業(yè)務(wù)中利用起這項(xiàng)技術(shù)。下面是金融公司高管親睞機(jī)器學(xué)習(xí)的原因：

自動(dòng)化業(yè)務(wù)流程，降低運(yùn)營(yíng)成本。

提高了生產(chǎn)力，改善了用戶體驗(yàn)，從而增加營(yíng)收。

有利于保障、加強(qiáng)安全性、保密性。

有了各種各樣的開(kāi)源機(jī)器學(xué)習(xí)算法和工具，公司就能更好地把它們用于財(cái)務(wù)數(shù)據(jù)分析，此外，成熟的金融服務(wù)公司往往擁有大量資金，他們也負(fù)擔(dān)得起在最先進(jìn)的計(jì)算硬件上的花費(fèi)。再加上金融領(lǐng)域存在大量定量歷史數(shù)據(jù)，機(jī)器學(xué)習(xí)可以在這片沃土上大展拳腳。

至于落后者，隨著社會(huì)發(fā)展，現(xiàn)實(shí)會(huì)證明漠視AI和ML可能是個(gè)代價(jià)高昂的選擇。

機(jī)器學(xué)習(xí)在金融領(lǐng)域的應(yīng)用

讓我們來(lái)看看金融領(lǐng)域一些有前景的機(jī)器學(xué)習(xí)應(yīng)用。

流程自動(dòng)化（Process Automation）

流程自動(dòng)化是機(jī)器學(xué)習(xí)在金融領(lǐng)域最常見(jiàn)的應(yīng)用之一。它可以代替手動(dòng)操作，由計(jì)算機(jī)自動(dòng)執(zhí)行重復(fù)性任務(wù)，提高企業(yè)生產(chǎn)率。

從這個(gè)角度看，機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)使公司能夠優(yōu)化成本，改善客戶體驗(yàn)并擴(kuò)展服務(wù)。以下是PA的常見(jiàn)部署場(chǎng)景：

聊天機(jī)器人

呼叫中心自動(dòng)化

文書(shū)工作自動(dòng)化

員工培訓(xùn)游戲化等

如果這些概念太抽象，下面是一些公司的具體使用案例：

摩根大通——該公司推出了一個(gè)合約智能（COiN）平臺(tái)，可以利用自然語(yǔ)言處理技術(shù)處理法律文件并從中提取重要數(shù)據(jù)。如果是人工審查，處理12,000份年度商業(yè)信貸協(xié)議需要消耗約360,000個(gè)工時(shí)，但機(jī)器學(xué)習(xí)在短短幾個(gè)小時(shí)內(nèi)就完成了這個(gè)工作量。

BNY Mello——該公司把流程自動(dòng)化集成到他們的銀行生態(tài)系統(tǒng)中，這項(xiàng)創(chuàng)新每年可為他們節(jié)省30萬(wàn)美元，并且大大提升運(yùn)營(yíng)效率。

Wells Fargo——該公司用Facebook Messenger平臺(tái)上的AI聊天機(jī)器人和用戶通信，讓它們解決用戶密碼、賬戶方面的問(wèn)題。

Privatbank——這是一家烏克蘭銀行，它在移動(dòng)端和網(wǎng)絡(luò)平臺(tái)上都部署了聊天機(jī)器人客服，可以有效回答客戶的各類問(wèn)題，還減少了人工客服的數(shù)量。

安全

隨著教育、用戶和第三方支付平臺(tái)數(shù)量的不斷增加，財(cái)務(wù)所面臨的安全威脅也正與日俱增。在這種情況下，機(jī)器學(xué)習(xí)堪稱檢測(cè)欺詐行為的利器。

銀行可以用機(jī)器學(xué)習(xí)實(shí)時(shí)監(jiān)控每個(gè)賬戶的數(shù)千個(gè)交易參數(shù)。算法可以通過(guò)檢查持卡人的行為動(dòng)作，確定他是不是用戶本人。在金融服務(wù)中，各機(jī)構(gòu)使用的模型通常都具有高精度的特征。

如果系統(tǒng)識(shí)別出了可疑賬戶行為，它可以請(qǐng)求用戶提供額外的證明以驗(yàn)證交易。如果系統(tǒng)認(rèn)為這是欺詐行為的概率高達(dá)95%，它可以完全終止交易。作為計(jì)算機(jī)，它的評(píng)估用時(shí)只需短短幾秒，這有助于把犯罪苗頭及時(shí)扼殺，而不是在事發(fā)后才發(fā)出警報(bào)。

財(cái)務(wù)監(jiān)控是機(jī)器學(xué)習(xí)在金融領(lǐng)域的另一個(gè)安全用例。數(shù)據(jù)科學(xué)家可以訓(xùn)練一個(gè)可以檢測(cè)大量小額支付記錄的機(jī)器學(xué)習(xí)模型，用來(lái)標(biāo)記可疑的洗錢行為。

此外，算法也可以顯著增強(qiáng)網(wǎng)絡(luò)安全性。由于機(jī)器學(xué)習(xí)在實(shí)時(shí)分析大量參數(shù)上的能力是首屈一指的，數(shù)據(jù)科學(xué)家有望利用它的這個(gè)優(yōu)勢(shì)發(fā)現(xiàn)、隔離網(wǎng)絡(luò)威脅。這也是網(wǎng)絡(luò)安全公司開(kāi)始對(duì)這項(xiàng)技術(shù)產(chǎn)生興趣的一大原因。

Adyen、Payoneer、Paypal、Stripe和Skrill，這些金融科技公司已經(jīng)在機(jī)器學(xué)習(xí)網(wǎng)絡(luò)安全上投入了巨資。

承保和信用評(píng)分

機(jī)器學(xué)習(xí)算法完全適合被用于金融和保險(xiǎn)中常見(jiàn)的承保任務(wù)。

數(shù)據(jù)科學(xué)家在數(shù)千個(gè)客戶檔案中訓(xùn)練模型，每個(gè)檔案都包含有關(guān)客戶信用評(píng)分高低的數(shù)百個(gè)數(shù)據(jù)條目。這之后，完成訓(xùn)練的模型就可以在現(xiàn)實(shí)環(huán)境中執(zhí)行相同的承保和信用評(píng)分任務(wù)。這種評(píng)分系統(tǒng)可以幫助人類員工更快、更準(zhǔn)確地工作。

銀行和保險(xiǎn)公司都擁有大量歷史消費(fèi)者數(shù)據(jù)，因此他們可以用這些數(shù)據(jù)，或者用大型電信或公用事業(yè)公司生成的數(shù)據(jù)集來(lái)為客戶評(píng)分。

例如，墨西哥最大銀行BBVA Bancomer正與另一個(gè)信用評(píng)分平臺(tái)Destacame合作，為拉丁美洲客戶開(kāi)發(fā)信貸準(zhǔn)入機(jī)制。Destacame可以通過(guò)開(kāi)放API訪問(wèn)公用事業(yè)公司的賬單支付信息，利用這些歷史支付行為數(shù)據(jù)，他們可以為客戶生成信用評(píng)分并將結(jié)果發(fā)送給銀行。

股票交易

在股票交易中，機(jī)器學(xué)習(xí)有助于做出更好的交易決策。數(shù)學(xué)模型可以通過(guò)實(shí)時(shí)監(jiān)控新聞和交易結(jié)果，檢測(cè)可能迫使股價(jià)上漲或下跌的事件，然后根據(jù)預(yù)測(cè)自動(dòng)售出、持有或購(gòu)入股票。

要知道，算法可以同時(shí)分析數(shù)千個(gè)數(shù)據(jù)源，這是人類交易員無(wú)法做到的。雖然機(jī)器學(xué)習(xí)模型不具備人類的“冒險(xiǎn)”精神，始終在追逐小利，但鑒于大量的交易操作，這種小優(yōu)勢(shì)到最后通常會(huì)轉(zhuǎn)化為巨額利潤(rùn)。

機(jī)器人顧問(wèn)

機(jī)器人顧問(wèn)，也稱智能投顧，現(xiàn)在在金融領(lǐng)域已經(jīng)是司空見(jiàn)慣的了。目前，這類機(jī)器學(xué)習(xí)應(yīng)用的用途主要有兩個(gè)：

投資組合管理。這是一種在線財(cái)富管理服務(wù)，它使用算法和統(tǒng)計(jì)數(shù)據(jù)來(lái)分配、管理和優(yōu)化客戶的資產(chǎn)。當(dāng)用戶輸入自己的當(dāng)前資產(chǎn)和預(yù)期目標(biāo)后，比如到50歲時(shí)擁有100萬(wàn)美元，智能投顧會(huì)根據(jù)用戶的風(fēng)險(xiǎn)偏好和期望目標(biāo)把資產(chǎn)按比例分配到各投資產(chǎn)品中。

金融產(chǎn)品推薦。許多在線保險(xiǎn)服務(wù)會(huì)用智能投顧向特定用戶推薦個(gè)性化保險(xiǎn)計(jì)劃。由于費(fèi)用較低，個(gè)性化定制更準(zhǔn)確，客戶也一般也更傾向于選擇機(jī)器人顧問(wèn)，而不是個(gè)人理財(cái)顧問(wèn)。

如何利用機(jī)器學(xué)習(xí)？

盡管人工智能和機(jī)器學(xué)習(xí)擁有極大優(yōu)勢(shì)，但事實(shí)上，即便是擁有雄厚財(cái)力的公司，他們也無(wú)法從這項(xiàng)技術(shù)中提煉出真正的價(jià)值。金融服務(wù)公司正迫切希望能抓住它帶來(lái)的獨(dú)特機(jī)會(huì)，但他們對(duì)這個(gè)技術(shù)的運(yùn)作原理和應(yīng)用方式還只停留在一個(gè)模糊的概念上。

當(dāng)部署機(jī)器學(xué)習(xí)模式時(shí)，他們會(huì)覺(jué)得缺少業(yè)務(wù)KPI，沒(méi)法衡量改變；如果制定了KPI，他們就會(huì)對(duì)模型產(chǎn)生各種不切實(shí)際的期望，并導(dǎo)致預(yù)算耗盡。對(duì)于企業(yè)來(lái)說(shuō)，擁有適合的軟件基礎(chǔ)設(shè)施是不過(guò)的（盡管這是個(gè)良好開(kāi)端），他們需要一個(gè)清晰愿景、扎實(shí)的技術(shù)人才資源，以及開(kāi)發(fā)有價(jià)值的機(jī)器學(xué)習(xí)項(xiàng)目的決心。

一旦你充分了解這項(xiàng)技術(shù)將如何幫助公司實(shí)現(xiàn)業(yè)務(wù)目標(biāo)，之后才是構(gòu)思、驗(yàn)證。這是數(shù)據(jù)科學(xué)家的任務(wù)：調(diào)研想法的可行性，幫助制定可行的KPI，并做出切合實(shí)際的估算。

請(qǐng)注意，如果企業(yè)要使用機(jī)器學(xué)習(xí)技術(shù)，請(qǐng)務(wù)必收集所有需要的數(shù)據(jù)。

放棄機(jī)器學(xué)習(xí)，轉(zhuǎn)向大數(shù)據(jù)工程

通常情況下，如果一家金融公司突然覺(jué)得自己有必要開(kāi)發(fā)機(jī)器學(xué)習(xí)服務(wù)，那么這有很大的概率是他們只是需要數(shù)據(jù)工程建設(shè)。高級(jí)數(shù)據(jù)科學(xué)家Max Nechepurenko曾分享自己的經(jīng)驗(yàn)：

在開(kāi)發(fā)[數(shù)據(jù)科學(xué)]解決方案時(shí)，我建議使用奧卡姆剃刀法則，越簡(jiǎn)單越好。大多數(shù)以機(jī)器學(xué)習(xí)為目標(biāo)的公司實(shí)際上只需要數(shù)據(jù)工程，只要統(tǒng)計(jì)數(shù)據(jù)、分析數(shù)據(jù)，再把結(jié)果可視化，他們的問(wèn)題就迎刃而解了。

最基礎(chǔ)的數(shù)據(jù)分析工作足以讓銀行擺脫其運(yùn)營(yíng)中的各種瓶頸和低效率，比如消除重復(fù)性任務(wù)、提高人力資源調(diào)配效率、移動(dòng)客戶端缺陷篩查等。

更重要的是，任何數(shù)據(jù)科學(xué)項(xiàng)目的一個(gè)最重要的組成部分是構(gòu)建協(xié)調(diào)的平臺(tái)生態(tài)系統(tǒng)，讓它能從數(shù)百個(gè)來(lái)源（如CEM、Excel等）中收集孤立數(shù)據(jù)。在應(yīng)用算法前，首先，你要有數(shù)據(jù)，其次，你要對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)念A(yù)處理，這通常占項(xiàng)目總用時(shí)的80%。

使用第三方機(jī)器學(xué)習(xí)解決方案

即便公司決定在項(xiàng)目中部署機(jī)器學(xué)習(xí)，你也沒(méi)有必要真的去自己開(kāi)發(fā)新的算法和模型。

大多數(shù)機(jī)器學(xué)習(xí)工具都已經(jīng)被制作出來(lái)了，谷歌、微軟、亞馬遜和IBM等科技巨頭也將機(jī)器學(xué)習(xí)軟件作為一種服務(wù)出售。只要經(jīng)過(guò)訓(xùn)練，這些即用型解決方案可以解決公司所需的各種業(yè)務(wù)。如果公司自己開(kāi)發(fā)，你能確保最終成果會(huì)比這些巨頭的好用？

一個(gè)很好的例子是谷歌最近發(fā)布的AutoML，這類工具允許完全不懂機(jī)器學(xué)習(xí)的人根據(jù)任務(wù)目標(biāo)定制機(jī)器學(xué)習(xí)模型，企業(yè)只要提供相關(guān)數(shù)據(jù)就可以了。雖然研究界內(nèi)部對(duì)此爭(zhēng)論不斷，但對(duì)于工業(yè)應(yīng)用來(lái)說(shuō)，實(shí)用、方便、有效就行。

此外，現(xiàn)有機(jī)器學(xué)習(xí)算法并不適合所有問(wèn)題，所以權(quán)衡取舍非常重要。

創(chuàng)新與整合

從頭開(kāi)始開(kāi)發(fā)機(jī)器學(xué)習(xí)解決方案是風(fēng)險(xiǎn)最大、成本最高且耗時(shí)最久的選擇之一。但對(duì)于某些特殊商業(yè)應(yīng)用，自己開(kāi)發(fā)是唯一的方法。

需要注意的是，如果是研究和開(kāi)發(fā)針對(duì)特定利基市場(chǎng)的機(jī)器學(xué)習(xí)模型，你必須對(duì)該市場(chǎng)進(jìn)行深入調(diào)查。如果沒(méi)有為解決這些特定問(wèn)題而開(kāi)發(fā)的現(xiàn)成解決方案，那么第三方機(jī)器學(xué)習(xí)軟件很可能會(huì)產(chǎn)生不準(zhǔn)確的結(jié)果。

為了降低難度，你會(huì)不可避免地要用到谷歌等公司的開(kāi)源機(jī)器學(xué)習(xí)資源。那么企業(yè)該怎么成功推進(jìn)機(jī)器學(xué)習(xí)研發(fā)項(xiàng)目呢？以下是我們總結(jié)的7個(gè)特征：

一個(gè)明確的目標(biāo)。在收集數(shù)據(jù)前，你首先要對(duì)AI、ML實(shí)現(xiàn)的結(jié)果有大致了解。

機(jī)器學(xué)習(xí)解決方案的強(qiáng)大架構(gòu)設(shè)計(jì)。您需要經(jīng)驗(yàn)豐富的軟件架構(gòu)師來(lái)執(zhí)行此任務(wù)。

適當(dāng)?shù)拇髷?shù)據(jù)工程生態(tài)系統(tǒng) （基于Apache Hadoop或Spark）是必不可少的。它可以從金融服務(wù)公司的眾多孤立數(shù)據(jù)源中收集、集成、存儲(chǔ)和處理大量數(shù)據(jù)，對(duì)于這個(gè)任務(wù)，大數(shù)據(jù)架構(gòu)師和大數(shù)據(jù)工程師可以全權(quán)負(fù)責(zé)。

在新創(chuàng)建的生態(tài)系統(tǒng)上運(yùn)行ETL過(guò)程。大數(shù)據(jù)架構(gòu)師或機(jī)器學(xué)習(xí)工程師可以執(zhí)行此任務(wù)。

最后的數(shù)據(jù)準(zhǔn)備。完成數(shù)據(jù)預(yù)處理后，數(shù)據(jù)科學(xué)家還要進(jìn)一步優(yōu)化數(shù)據(jù)分析，使其適用于特定的業(yè)務(wù)案例。

使用適當(dāng)?shù)乃惴?，基于這些算法創(chuàng)建模型，微調(diào)模型以及使用新數(shù)據(jù)重新訓(xùn)練模型。

洞察力。除了智能領(lǐng)域?qū)＜遥氵€需要一個(gè)好的前端來(lái)構(gòu)建易于使用的UI儀表板。