淺談攜程在大數(shù)據(jù)平臺構建中遭遇的挑戰(zhàn)

2016年4月22日-23日，由CSDN重磅打造的數(shù)據(jù)庫核心技術與實戰(zhàn)應用峰會、互聯(lián)網(wǎng)應用架構實戰(zhàn)峰會將在深圳舉行。
　　這是繼3月中旬，SDCC之架構&數(shù)據(jù)庫峰會在上海圓滿收官后的再一次相聚。上海站上，18位技術講師給超過500名的現(xiàn)場參會者帶來了精彩分享，火爆程度超出主辦方想象。
　　即將到來的SDCC深圳技術峰會講師陣容強大，主辦方邀請了來自于百度、阿里、騰訊、滴滴出行、攜程、平安科技、AdMaster、華為、京東、唯品會、一號店、中國電信、閱文集團等公司的技術骨干、首席架構師來為與會者分享演講和交流，必定是一場技術人的饕餮盛宴?！灸壳跋迺r6折，點擊這里搶票】
　　在即將到來的SDCC深圳技術峰會召開之際，由CSDN負責數(shù)據(jù)庫技術領域的小編采訪了一些參會講師，談談他們將在本次活動所分享的內(nèi)容。
　　
　　攜程大數(shù)據(jù)平臺負責人 張翼
　　本期我們采訪的講師是來自攜程大數(shù)據(jù)平臺負責人 張翼，主要負責的是大數(shù)據(jù)平臺。進入互聯(lián)網(wǎng)行業(yè)近10年，從事大數(shù)據(jù)平臺和架構的工作超過6年。對大數(shù)據(jù)的底層平臺的構建和相關的技術有較為深入的研究，對于數(shù)據(jù)倉庫和機器學習相關的技術也有所涉獵。
　　張翼將在SDCC 2016 深圳站之數(shù)據(jù)庫峰會上分享的主題是 《攜程實時大數(shù)據(jù)處理平臺和實踐 》，想要知道全部數(shù)據(jù)庫技術峰會講師情況和議題可參見：SDCC深圳站數(shù)據(jù)庫/大數(shù)據(jù)專場講師議題全公布。
　　以下是專訪內(nèi)容：
　　CSDN：首先請簡單介紹下您和您所在的公司，以及目前所負責的領域。
　　張翼：我叫張翼，浙江大學畢業(yè)，最初的專業(yè)是信息管理，屬于管理學院，由于喜歡在電腦上搗鼓些東西，也想比較系統(tǒng)地學習相關的知識，所以在大二下半學期的時候就轉到了軟件工程，真是“一入空門深似?！卑?，研究生畢業(yè)之后在Ebay中國研發(fā)中心和大眾點評工作過，目前擔任攜程大數(shù)據(jù)平臺的負責人，現(xiàn)在看來在互聯(lián)網(wǎng)行業(yè)打拼也有近十年時間了。
　　攜程大家應該是蠻熟悉了吧，全國領先的OTA平臺，旅游出行相關的都可以在上面一站式的完成，從酒店和機票的預訂到火車票和汽車票，租車等，只要你能想到的和旅行相關的所有東西，在攜程上都可以輕松實現(xiàn)。
　　目前我在攜程主要負責的是大數(shù)據(jù)平臺，是攜程數(shù)據(jù)的基礎架構和工具；包括底層計算和存儲平臺，也包括上層數(shù)據(jù)應用相關的平臺和工具。
　　CSDN：您有將近10年的互聯(lián)網(wǎng)從業(yè)經(jīng)驗，想問下您是如何走上這條技術之路的？
　　張翼：前面也提到了，大學時比較喜歡計算機，所以就選擇了軟件工程這個專業(yè)。最后就沿著這條路一直走下來了，可能源于本身對于互聯(lián)網(wǎng)和技術比較感興趣吧。
　　CSDN：作為攜程大數(shù)據(jù)平臺的負責人，你帶領的團隊在對大數(shù)據(jù)平臺的構建過程中，遇到了哪些技術難點和挑戰(zhàn)呢？
　　張翼：在整個平臺構建的不同階段，遇到的挑戰(zhàn)是不同的，最初的階段是平臺的穩(wěn)定性，包括底層計算和存儲平臺（Hadoop / Hive / HBase）的穩(wěn)定性以及上層自研發(fā)系統(tǒng)，如調(diào)度平臺，報表平臺的穩(wěn)定性；對于前者需要有技術投入，對開源系統(tǒng)要有源碼級的理解，至少能夠在解決遇到的問題時做到臨危不亂，有路可循；另外就是一個好的運維自動化和監(jiān)控的體系和工具是非常有幫助的；對于自研的系統(tǒng)，一開始的設計一定要做好，一個正確的假設，好的設計對穩(wěn)定性至關重要。
　　在穩(wěn)定性的問題初步解決之后，我們面臨的挑戰(zhàn)就是如何緊密結合業(yè)界的發(fā)展和公司實際的需求，真正將一些好用的框架落地下去，支持公司數(shù)據(jù)分析和挖掘的需求是一個很大的挑戰(zhàn)，我的經(jīng)驗是一開始的時候面不能鋪的太開，想要面面俱到往往各個方向的效果都不是那么理想，結合目前技術大的趨勢和公司最迫切的需求，選擇1-2個方面，以實際業(yè)務能落地的例子開始嘗試，往往能夠取得比較好的效果。
　　CSDN：我們都知道，攜程是國內(nèi)領先的在線票務服務公司，能否介紹下大數(shù)據(jù)的平臺構建給攜程帶來了哪些好處？
　　張翼：大數(shù)據(jù)的應用現(xiàn)在已經(jīng)深入攜程的方方面面，從最為普通的數(shù)據(jù)報表到結合業(yè)務的復雜的機器學習的應用；數(shù)據(jù)已經(jīng)深入到公司運行的方方面面；統(tǒng)一的大數(shù)據(jù)平臺的構建給各個業(yè)務部門開發(fā)自己相關的數(shù)據(jù)應用提供了堅實的技術的保證，他們更多只需要關系于業(yè)務的邏輯的處理和分析，提高了整體數(shù)據(jù)開發(fā)的效率。
　　CSDN：那么，能否簡單介紹下，攜程大數(shù)據(jù)平臺在未來的規(guī)劃和發(fā)展方向又是什么呢？
　　張翼：在技術上，首先我們準備更多地擁抱Spark，目前Spark主要的使用場景還是集中在機器學習相關的方面，未來我們會嘗試在ETL等方面嘗試使用Spark（或是Hive on Spark），以獲得更高的計算效率，另外，在實時方面Spark 2.0之后，它的實時模型得到了很大的進化，我們會考慮將它作為實時計算引擎之一引入我們的實時計算平臺；其次，我們會關注一下其他開源的“新”項目，如Kudo，F(xiàn)link，希望和現(xiàn)在的平臺結合給攜程的數(shù)據(jù)使用和分析的同學提供更多可能。
　　除了在技術上的提升，我們也希望在一些特定的領域把一些經(jīng)驗和知識通過程序固化下來，開發(fā)相對通用的業(yè)務支持的平臺和數(shù)據(jù)產(chǎn)品，更好地服務公司的業(yè)務。
　　CSDN：回顧您在互聯(lián)網(wǎng)這個行業(yè)從業(yè)以來，有哪些心得和體會可和我們分享的？
　　張翼：和大家分享一下一點我的體會吧，就是不滿足現(xiàn)狀，不斷嘗試新的東西，提高自己各方面的能力；工作進行了一段時間之后，大家總會進入一個舒適區(qū)，在這些時候你可以考慮下，這是不是你所追求的，你是否還能做得更好或是更多，這樣你就會嘗試去學習新的東西，嘗試新的領域，開始去尋找新的挑戰(zhàn)，不需要把自己逼得太急，可以按照自己的節(jié)奏去進行，只要這樣做一段時間之后就一定會有收獲，不滿足的初心非常重要。
　　CSDN：您認為要想成為一名優(yōu)秀的技術人員身上該具備哪些素質？
　　張翼：首先最重要的是對技術要有激情，有熱情，能夠主動去學習自己感興趣的技術，做深做透。
　　其次是基礎需要過硬，如掌握至少的語言，對于計算機學科的相關知識，如操作系統(tǒng)，數(shù)據(jù)結構與算法，設計模式等能夠熟練掌握。
　　再次就是溝通協(xié)調(diào)，項目管理等軟性能力，以及個人管理的一些技能，如時間管理的能力
　　哈哈，有點說的像是招聘的JD。
　　CSDN：在本次SDCC 2016（深圳站）數(shù)據(jù)庫峰會上，您分享的話題是？
　　張翼：在本次的數(shù)據(jù)庫峰會上，我分享的話題是攜程實時計算平臺的實踐；我將會和大家分享一下我們是如何一步一步構建起實時分析的平臺，我們現(xiàn)在調(diào)研的方向和工作，以及未來的方向。
　　CSDN：您最期待在SDCC 2016（深圳站）峰會上看到哪些內(nèi)容？
　　張翼：非常高興能夠有幸被邀請參加這次的峰會，第一天大數(shù)據(jù)相關的內(nèi)容也是干貨滿滿，希望和廣大同行多多交流，互相學習。
?