電子發(fā)燒友App

硬聲App

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線(xiàn)課程
      • 觀(guān)看技術(shù)視頻
      • 寫(xiě)文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示
      創(chuàng)作
      電子發(fā)燒友網(wǎng)>電子資料下載>通信網(wǎng)絡(luò)>一種面向MapReduce的中間數(shù)據(jù)傳輸流水線(xiàn)優(yōu)化機(jī)制

      一種面向MapReduce的中間數(shù)據(jù)傳輸流水線(xiàn)優(yōu)化機(jī)制

      2021-04-13 | pdf | 2.31 MB | 次下載 | 免費(fèi)

      資料介紹

      　　Mapreduce是一種適用于大數(shù)據(jù)處理的重要并行計(jì)算框架，通過(guò)在大量集群節(jié)點(diǎn)上并行執(zhí)行多個(gè)任務(wù)，極大地提高了數(shù)據(jù)的處理性能。然而，由于中間數(shù)據(jù)需要等到 Mapper任務(wù)完成之后才能被發(fā)送給 Reducer任務(wù)，由此導(dǎo)致的大量傳輸延遲成為 Mapreduce框架性能的重要瓶頸。為此，文中提出了一種面向 Mapreduce的中間數(shù)據(jù)傳輸流水線(xiàn)優(yōu)化機(jī)制，將有效計(jì)算與中間數(shù)據(jù)傳輸解耦，以流水線(xiàn)的方式重疊執(zhí)行各個(gè)階段，有效隱藏?cái)?shù)據(jù)傳輸開(kāi)銷(xiāo)。文中還給岀了中間數(shù)據(jù)傳輸流水線(xiàn)執(zhí)行機(jī)制和實(shí)現(xiàn)策略，包括流水線(xiàn)劃分、數(shù)據(jù)細(xì)分、數(shù)據(jù)歸并和數(shù)據(jù)傳輸粒度等。在公開(kāi)數(shù)據(jù)集上對(duì)所提中間數(shù)據(jù)傳輸流水線(xiàn)優(yōu)化機(jī)制進(jìn)行了評(píng)價(jià)，當(dāng) Shuffle數(shù)據(jù)量較大時(shí)，該優(yōu)化機(jī)制比默認(rèn)框架的整體性能提高了60.2%。

      下載該資料的人也在下載 下載該資料的人還在閱讀
      更多 >

      評(píng)論

      查看更多

      下載排行

      本周

      1. 1電子電路原理第七版PDF電子教材免費(fèi)下載
      2. 0.00 MB  |  1489次下載  |  免費(fèi)
      3. 2單片機(jī)典型實(shí)例介紹
      4. 18.19 MB  |  91次下載  |  1 積分
      5. 3S7-200PLC編程實(shí)例詳細(xì)資料
      6. 1.17 MB  |  27次下載  |  1 積分
      7. 4筆記本電腦主板的元件識(shí)別和講解說(shuō)明
      8. 4.28 MB  |  18次下載  |  4 積分
      9. 5開(kāi)關(guān)電源原理及各功能電路詳解
      10. 0.38 MB  |  9次下載  |  免費(fèi)
      11. 6基于AT89C2051/4051單片機(jī)編程器的實(shí)驗(yàn)
      12. 0.11 MB  |  4次下載  |  免費(fèi)
      13. 7基于單片機(jī)和 SG3525的程控開(kāi)關(guān)電源設(shè)計(jì)
      14. 0.23 MB  |  3次下載  |  免費(fèi)
      15. 8基于單片機(jī)的紅外風(fēng)扇遙控
      16. 0.23 MB  |  3次下載  |  免費(fèi)

      本月

      1. 1OrCAD10.5下載OrCAD10.5中文版軟件
      2. 0.00 MB  |  234313次下載  |  免費(fèi)
      3. 2PADS 9.0 2009最新版 -下載
      4. 0.00 MB  |  66304次下載  |  免費(fèi)
      5. 3protel99下載protel99軟件下載(中文版)
      6. 0.00 MB  |  51209次下載  |  免費(fèi)
      7. 4LabView 8.0 專(zhuān)業(yè)版下載 (3CD完整版)
      8. 0.00 MB  |  51043次下載  |  免費(fèi)
      9. 5555集成電路應(yīng)用800例(新編版)
      10. 0.00 MB  |  33562次下載  |  免費(fèi)
      11. 6接口電路圖大全
      12. 未知  |  30319次下載  |  免費(fèi)
      13. 7Multisim 10下載Multisim 10 中文版
      14. 0.00 MB  |  28588次下載  |  免費(fèi)
      15. 8開(kāi)關(guān)電源設(shè)計(jì)實(shí)例指南
      16. 未知  |  21539次下載  |  免費(fèi)

      總榜

      1. 1matlab軟件下載入口
      2. 未知  |  935053次下載  |  免費(fèi)
      3. 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
      4. 78.1 MB  |  537791次下載  |  免費(fèi)
      5. 3MATLAB 7.1 下載 (含軟件介紹)
      6. 未知  |  420026次下載  |  免費(fèi)
      7. 4OrCAD10.5下載OrCAD10.5中文版軟件
      8. 0.00 MB  |  234313次下載  |  免費(fèi)
      9. 5Altium DXP2002下載入口
      10. 未知  |  233045次下載  |  免費(fèi)
      11. 6電路仿真軟件multisim 10.0免費(fèi)下載
      12. 340992  |  191183次下載  |  免費(fèi)
      13. 7十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
      14. 158M  |  183277次下載  |  免費(fèi)
      15. 8proe5.0野火版下載(中文版免費(fèi)下載)
      16. 未知  |  138039次下載  |  免費(fèi)