探索性大數(shù)據(jù)分析系統(tǒng)對(duì)基因組醫(yī)學(xué)研究的幫助

??基于高性能計(jì)算集群這樣的新一代測(cè)序器和快速演化分析平臺(tái)，基因研究領(lǐng)域已經(jīng)被海量數(shù)據(jù)淹沒。眾多基因、癌癥、醫(yī)學(xué)研究機(jī)構(gòu)和制藥公司不斷產(chǎn)生的海量數(shù)據(jù)，已不再能被及時(shí)的處理并恰當(dāng)?shù)拇鎯?chǔ)，甚至通過常規(guī)通訊線路進(jìn)行傳輸都變得困難。而通常情況下，這些數(shù)據(jù)必須能被快速存儲(chǔ)、分析、共享和歸檔，以適應(yīng)基因研究的需要。于是他們不得不訴諸于磁盤驅(qū)動(dòng)器及運(yùn)輸公司，來轉(zhuǎn)移原始數(shù)據(jù)到國外的計(jì)算中心，這為快速訪問和分析數(shù)據(jù)帶來了巨大障礙。與規(guī)模和速度同等重要的是，所有基因組信息都能基于數(shù)據(jù)模型和類別被鏈接，并以機(jī)器或人類語言進(jìn)行標(biāo)注，這樣智能化的數(shù)據(jù)就能被分解成方程式，在處理基因、臨床和環(huán)境數(shù)據(jù)時(shí)應(yīng)用于普通分析平臺(tái)。
　　概述
　　機(jī)遇與挑戰(zhàn)并存的基因組醫(yī)學(xué)革命
　　自人類啟動(dòng)基因組計(jì)劃以來，各項(xiàng)工程已逐步開始揭示人類基因組與疾病間關(guān)聯(lián)的奧秘。隨著測(cè)序技術(shù)的不斷進(jìn)步，僅用1000美元即可識(shí)別出基因組。
　　
　　圖1 基因組醫(yī)學(xué)技術(shù)進(jìn)步的十年
　　人類基因組計(jì)劃是首個(gè)用來確定人類基因組序列的科研項(xiàng)目。該項(xiàng)目歷時(shí)13年，耗費(fèi)近30億美元，于2003年完成，是目前為止最大的生物學(xué)合作項(xiàng)目。從那時(shí)起，一系列的技術(shù)進(jìn)步在DNA測(cè)序和大規(guī)?；蚪M數(shù)據(jù)分析中展露頭腳，對(duì)單個(gè)人類全基因組進(jìn)行測(cè)序的時(shí)間和成本隨之急劇下降，下降速度甚至超過了摩爾定律。
　　
　　圖2 DNA測(cè)序成本的快速下降
　?。ㄗ?001年以來，美國國家人類基因組研究所（NHGRI）對(duì)由美國國立衛(wèi)生研究院（NIH）資助的測(cè)序中心所進(jìn)行的所有DNA測(cè)序工作進(jìn)行了跟蹤，并統(tǒng)計(jì)了相關(guān)費(fèi)用，這些信息已作為DNA測(cè)序的重要改進(jìn)評(píng)估基準(zhǔn)。圖中展現(xiàn)出近年來DNA測(cè)序技術(shù)和數(shù)據(jù)產(chǎn)生流程的顯著改善。來源：NHGRI，http://www.genome.gov/sequencingcosts/）
　　作為測(cè)序技術(shù)進(jìn)步的一個(gè)例子，Illumina公司在2014年發(fā)布了新一代測(cè)序器HiSeq X10，它以每個(gè)基因組僅1000美元的成本，一年可解密18000個(gè)人類全基因組。這個(gè)所謂的“千元基因組技術(shù)”使人類全基因組測(cè)序比以往任何時(shí)候更廉價(jià)可行，并有望對(duì)醫(yī)療保健和生命科學(xué)行業(yè)產(chǎn)生巨大影響。
　　新技術(shù)和研究方法的成功同樣帶來了相當(dāng)大的成本，海量數(shù)據(jù)成為亟待解決的難題：
　　基因組數(shù)據(jù)在過去的8年中，每5個(gè)月翻一番?；蚓幋a項(xiàng)目為80％的基因組賦予了明確的含義，所以獲取全基因組序列變得尤為重要。癌癥基因組研究揭示了一組不同的癌細(xì)胞基因變體，通過全基因組測(cè)序的跟蹤和監(jiān)控，每次分析都會(huì)產(chǎn)生約1TB的數(shù)據(jù)。已有越來越多的國家啟動(dòng)了基因組測(cè)序項(xiàng)目，如美國、英國、中國和卡塔爾。這些項(xiàng)目動(dòng)輒就會(huì)產(chǎn)生數(shù)以百PB級(jí)的測(cè)序數(shù)據(jù)。
　　對(duì)端到端架構(gòu)的要求
　　為了滿足基因醫(yī)藥研究對(duì)于速度、規(guī)模和智能化的苛刻要求，需要端到端參考架構(gòu)涵蓋基因計(jì)算的關(guān)鍵功能，如數(shù)據(jù)管理（數(shù)據(jù)集線器），負(fù)載編排（負(fù)載編排器）和企業(yè)接入（應(yīng)用中心）等。為了確定參考架構(gòu)（能力與功能）和映射解決方案（硬件與軟件）的內(nèi)容和優(yōu)先級(jí)，需要遵循以下三個(gè)主要原則：
　　軟件定義：即基于軟件的抽象層進(jìn)行計(jì)算、存儲(chǔ)和云服務(wù)，以此定義基礎(chǔ)架構(gòu)和部署模式，以便在未來通過數(shù)據(jù)量和計(jì)算負(fù)載的積累進(jìn)行基因組基礎(chǔ)設(shè)施的增長和擴(kuò)展。數(shù)據(jù)中心：以數(shù)據(jù)管理功能面向基因組研究、成像和臨床數(shù)據(jù)的爆炸式增長。應(yīng)用就緒：整合多種應(yīng)用到一致的環(huán)境，提供數(shù)據(jù)管理、版本控制、負(fù)載管理、工作流編排，以及通過訪問執(zhí)行和監(jiān)控等多種功能。