基于MapReduce數(shù)據(jù)流相似性搜索并行算法

　　設(shè)計(jì)時(shí)間序列數(shù)據(jù)在Hadoop分布式文件系統(tǒng)（HDFS）中的有效存儲(chǔ)方式，利用分布式緩存工具Distributed Cache將各子序列分發(fā)到Hadoop集群的計(jì)算節(jié)點(diǎn)上，將動(dòng)態(tài)時(shí)間彎曲距離矩陣劃分成多個(gè)子矩陣，采取并行迭代計(jì)算每條反對(duì)角線上子矩陣的方法，基于MapReduce編程模型，實(shí)現(xiàn)高效并行計(jì)算時(shí)間序列動(dòng)態(tài)彎曲距離，通過(guò)改進(jìn)剪裁冗余計(jì)算方法，設(shè)計(jì)實(shí)現(xiàn)一種數(shù)據(jù)流多模式相似性搜索并行算法。中國(guó)雪深長(zhǎng)時(shí)間序列數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，當(dāng)每條時(shí)間序列的長(zhǎng)度達(dá)到5000以上時(shí)，并行計(jì)算動(dòng)態(tài)彎曲距離所需時(shí)間少于串行計(jì)算所需時(shí)間，當(dāng)每條時(shí)間序列的長(zhǎng)度達(dá)到9000以上時(shí)，參與計(jì)算的集群節(jié)點(diǎn)越多，并行計(jì)算所需時(shí)間越少；當(dāng)模式長(zhǎng)度達(dá)到4000、參與計(jì)算的集群節(jié)點(diǎn)數(shù)達(dá)5個(gè)以上時(shí)，從數(shù)據(jù)流中并行搜索出與模式匹配的相似子序列所需時(shí)間約為串行搜索所需時(shí)間的20%。
?