透過神經(jīng)網(wǎng)絡(luò)硬件平臺(tái)發(fā)展史，看這場(chǎng)從GPU、TPU蔓延到FPGA的戰(zhàn)爭(zhēng)

在如今深度學(xué)習(xí)大爆發(fā)的時(shí)代，相關(guān)的硬件平臺(tái)也在百花齊放，既有英偉達(dá)和谷歌這樣的科技巨頭，也有地平線機(jī)器人和 Graphcore 等創(chuàng)業(yè)公司——它們都各自提出了自己的解決方案。近日，多家公司的技術(shù)顧問 Matt Hurd 在其博客上發(fā)表了一篇全面評(píng)點(diǎn)各種神經(jīng)網(wǎng)絡(luò)硬件平臺(tái)的長文，機(jī)器之心對(duì)本文進(jìn)行了編譯介紹。
　　這是我?guī)字芮白龅囊粋€(gè)傳統(tǒng)的 90 年代風(fēng)格的性別識(shí)別神經(jīng)網(wǎng)絡(luò)的很好的隱藏節(jié)點(diǎn)。
　　
　　一個(gè)簡(jiǎn)單的性別識(shí)別器網(wǎng)絡(luò)中的 90 年代風(fēng)格的隱藏節(jié)點(diǎn)圖像
　　我的碩士項(xiàng)目是一種類似級(jí)聯(lián)相關(guān)（cascade correlation）的神經(jīng)網(wǎng)絡(luò) Multi-rate Optimising Order Statistic Equaliser（MOOSE：多速率優(yōu)化順序統(tǒng)計(jì)均衡器），可用于日內(nèi)的 Bund（國庫債券產(chǎn)品）交易。MOOSE 曾經(jīng)是為獲取高速的 LEO 衛(wèi)星信號(hào)（McCaw 的 Teledesic）而設(shè)計(jì)的一點(diǎn)成果，后來在從 LIFFE 遷移到 DTB 時(shí)將目標(biāo)轉(zhuǎn)向了 Bund。作為一家投資銀行的職業(yè)交易員，我可以購買很好的工具。我有那時(shí)候世界上最快的計(jì)算機(jī)：一個(gè) IBM MicroChannel dual Pentium Pro 200MHz 處理器外加帶有幾 MB RAM 的 SCSI。在 1994 年那會(huì)兒，將 800，000 個(gè)數(shù)據(jù)點(diǎn)輸入到我的 C++ stream/dag 處理器中看上去就像是黑魔法。有限差分方法讓我可以做許多 O（1） 增量線性回歸這樣的運(yùn)算，以獲得 1000 倍的加速。那時(shí)候這看起來已經(jīng)很好了?，F(xiàn)在，你的手機(jī)都能嘲笑我的大方向。
　　那時(shí)候，在神經(jīng)網(wǎng)絡(luò)領(lǐng)域有很多研究。倒不是說它有過人的生產(chǎn)力，只是因?yàn)橛杏?。讀到 Lindsay Fortado 和 Robin Wigglesworth 的 FT 文章《Machine learning set to shake up equity hedge funds》中 Eric Schmidt 關(guān)于機(jī)器學(xué)習(xí)和交易的看法，還真有點(diǎn)讓人高興：
　　Eric Schmidt 是谷歌母公司 Alphabet 的執(zhí)行董事長，他上周對(duì)一眾對(duì)沖基金經(jīng)理說他相信在 50 年內(nèi)，所有交易都會(huì)有計(jì)算機(jī)解讀數(shù)據(jù)和市場(chǎng)信號(hào)。
　　「我期待出現(xiàn)在交易方面做機(jī)器學(xué)習(xí)的創(chuàng)業(yè)公司，看看我描述的這種模式識(shí)別能否比數(shù)據(jù)分析專家的傳統(tǒng)線性回歸算法做得更好?！顾a(bǔ)充說，「我這個(gè)行業(yè)內(nèi)的許多人都認(rèn)為這注定將成為一種新的交易形式?！?br />