資料介紹
Mapreduce是一種適用于大數據處理的重要并行計算框架,通過在大量集群節點上并行執行多個任務,極大地提高了數據的處理性能。然而,由于中間數據需要等到 Mapper任務完成之后才能被發送給 Reducer任務,由此導致的大量傳輸延遲成為 Mapreduce框架性能的重要瓶頸。為此,文中提出了一種面向 Mapreduce的中間數據傳輸流水線優化機制,將有效計算與中間數據傳輸解耦,以流水線的方式重疊執行各個階段,有效隱藏數據傳輸開銷。文中還給岀了中間數據傳輸流水線執行機制和實現策略,包括流水線劃分、數據細分、數據歸并和數據傳輸粒度等。在公開數據集上對所提中間數據傳輸流水線優化機制進行了評價,當 Shuffle數據量較大時,該優化機制比默認框架的整體性能提高了60.2%。
下載該資料的人也在下載
下載該資料的人還在閱讀
更多 >
- 嵌入式_流水線
- 使用FPGA設計流水線的資料和程序詳細概述 3次下載
- 關于ARM流水線的資料和分析 5次下載
- 一種基于混合社區的移動機會網絡數據傳輸機制 0次下載
- DSP設計中的流水線數據相關問題解析 0次下載
- 一種系統化流水線控制方法_章其富 0次下載
- 一種基于流水線DA算法的數字下變頻器_周云 2次下載
- 一種針對可重構處理器流水線簡化編程的設計范式 0次下載
- 一種改進運放共享結構的11位流水線ADC設計 3次下載
- 一種基于40nmCMOS工藝12位60MHz流水線模數轉換器 3次下載
- 電鍍流水線的PLC控制 37次下載
- 基于流水線結構的多級數字混沌編碼方案 32次下載
- 一種流水線存儲的數據采集系統 36次下載
- 基于消息中間件的農電數據傳輸系統
- 一種流水線結構AD轉換器的速度分析方法
- 網絡數據傳輸速率的單位是什么 9.4k次閱讀
- 以太網接口的數據傳輸原理詳解 3.9k次閱讀
- 新版本Jenkins推薦使用聲明式流水線 1.2k次閱讀
- Google GPipe為代表的流水線并行范式 1.9k次閱讀
- 一個典型的流水線設計 2.2k次閱讀
- 報文解析規則定義 流水線劃分提取方案 1.7k次閱讀
- CPU流水線優缺點 5.6k次閱讀
- 一文詳細了解流水線設計 5.9k次閱讀
- FPGA中流水線的原因和方式 7.4k次閱讀
- IEEE802.15.4協議的數據傳輸模型解析 5k次閱讀
- 流水線設計的思想介紹與設計實例 8.9k次閱讀
- 差分數據傳輸有什么優勢? 1.1w次閱讀
- 新專利介紹--一種基于超聲波測量和GPRS數據傳輸的水表系統 1.4k次閱讀
- 淺談GPU的渲染流水線實現 4.1k次閱讀
- 一文讀懂處理器流水線 2.4w次閱讀
下載排行
本周
- 1MCU模塊原理圖資料
- 0.37 MB | 次下載 | 1 積分
- 2LoRa1121 FCC&CE認證 多頻段LoRa無線通訊模塊規格書
- 997.05 KB | 次下載 | 免費
- 3CSMD1&TR3A 6 C00 模組-CN-V1
- 960.13 KB | 次下載 | 免費
- 4SC92F8463B/8462B/8461B技術手冊
- 1.67 MB | 次下載 | 5 積分
- 5基于單片機的額溫槍設計
- 4.82 MB | 次下載 | 10 積分
- 6AT817晶體管光耦系列
- 1.86 MB | 次下載 | 免費
- 7國產千兆網口芯片PT153S中文資料
- 1.35 MB | 次下載 | 免費
- 8FP7135V060-G1/FP7125替代物料pin to pin
- 495.40 KB | 次下載 | 免費
本月
- 1美的電磁爐電路原理圖資料
- 4.39 MB | 16次下載 | 10 積分
- 2冷柜-電氣控制系統講解
- 13.68 MB | 7次下載 | 10 積分
- 3SDFM 激光測距模塊模組手冊
- 0.54 MB | 7次下載 | 免費
- 4SW6238V ACCC 三 PD 四口多協議移動電源 SOC規格書
- 0.59 MB | 5次下載 | 1 積分
- 5直流電路的組成和基本定律
- 1.67 MB | 4次下載 | 免費
- 6反激式開關電源設計解析
- 0.89 MB | 4次下載 | 5 積分
- 7IP6742_datasheet_100V8A 同步 BUCK 控制器
- 2.16 MB | 3次下載 | 免費
- 8SDM02 激光測距模塊產品手冊
- 0.43 MB | 2次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935137次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233094次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191448次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183360次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81605次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73829次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
電子發燒友App





創作
發文章
發帖
提問
發資料
發視頻
上傳資料賺積分
評論