騰訊大數(shù)據(jù)十年發(fā)展歷程

騰訊大數(shù)據(jù)團隊詳細披露了騰訊大數(shù)據(jù)十年發(fā)展歷程，并全面展示了騰訊第三代全棧機器學習平臺Angel在大模型數(shù)據(jù)訓練、深度學習、圖計算等方面的技術能力。

據(jù)騰訊大數(shù)據(jù)負責人劉煜宏介紹，騰訊大數(shù)據(jù)從2009年開始， 經(jīng)歷離線計算、實時計算與機器學習三個階段，2009年之前，騰訊主要使用傳統(tǒng)的關系型數(shù)據(jù)庫。2009年開始，傳統(tǒng)的單機數(shù)據(jù)庫所提供的服務，在系統(tǒng)可擴展性、性價比方面已不再適用騰訊業(yè)務爆發(fā)式的增長。面對這種變化，騰訊大數(shù)據(jù)轉向分布式，基于開源的Hadoop體系，構建了騰訊第一代大數(shù)據(jù)平臺，并建設離線計算平臺，主要發(fā)力規(guī)?；ｒv訊大數(shù)據(jù)由此進入第一階段。三年里，騰訊實現(xiàn)了從關系型數(shù)據(jù)庫到自建大數(shù)據(jù)平臺的全面遷移，到2012年，騰訊大數(shù)據(jù)的單集群規(guī)模突破了4400臺。

2012年，移動互聯(lián)網(wǎng)爆發(fā)，應對業(yè)務數(shù)據(jù)統(tǒng)計及時性、快速性的需求，騰訊大數(shù)據(jù)從Hadoop轉向Spark和Storm體系，在吸收開源技術的基礎上，結合騰訊自身的需求進行重寫，探索流式計算、秒級采集系統(tǒng)的建設，構建企業(yè)級的實時數(shù)據(jù)分析體系，騰訊大數(shù)據(jù)發(fā)展進入第二階段。

2015年至今，騰訊大數(shù)據(jù)邁入了第三階段。隨著數(shù)據(jù)挖掘、數(shù)據(jù)應用的深入，騰訊大數(shù)據(jù)再次自我迭代，于2016年推出了自研機器學習平臺Angel，專攻復雜計算場景，可進行大規(guī)模的數(shù)據(jù)訓練，支撐內(nèi)容推薦、廣告推薦等AI應用場景。它由騰訊與北京大學聯(lián)合研發(fā)，兼顧了工業(yè)界的高可用性和學術界的創(chuàng)新性。

據(jù)騰訊Angel開發(fā)負責人肖品介紹，騰訊Angel從騰訊海量業(yè)務場景中而來，是超大樣本和超高維度的機器學習平臺。如今，Angel已在QQ、微信支付、騰訊廣告、騰訊視頻等騰訊旗下產(chǎn)品中廣泛應用，并向微眾銀行等行業(yè)合作伙伴全面開放，普遍適用于智能推薦、金融風險評估等圖計算業(yè)務場景。

2017年，騰訊Angel就正式開源。2018年8月，騰訊將Angel捐贈給Linux旗下專注人工智能的LF AI基金會，結合基金會成熟的運營，全面升級的 Angel與國際開源社區(qū)深入互動，致力于讓機器學習技術更易于上手研究及應用。