前言

　　MapReduce是Google提出的一個軟件架構，用于大規模數據集（大于1TB）的并行運算。概念“Map（映射）”和“Reduce（規約）”，和它們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。MapReduce極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統上。當前的軟件實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce（規約）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

　　關于mapreduce的應用開發

　　第一步：清楚問題是什么，確定解決問題的算法思路。

　　第二步：設計和實現mapreduce程序中的Mapper接口，Reducer接口。它們是MapReduce作業的核心。 （0.20.2以后的API使用Mapper和Reducer抽象類，這樣便于擴展）

　　Mapper Mapper 將輸入一個的key/value映射到0個或者多個中間格式的key/value形式。 用戶需要實現map（WritableComparble，Writalbe，OutputCollector，Reporter）方法完成輸入到輸出的處理。同時可以選擇重寫JobConfigurable.configure（JobConf）方法完成Mapper的初始化工作；重寫Closeable.close（ ）方法執行Mapper的清理工作。因為MapReduceBase實現了JobConfigurable和Closeable接口，因此程序只要繼承MapReduceBase就可以。 程序通過調用OutputCollector.collect（WritableComparable，Writable）

　　方法收集輸出的鍵值對（Mapper輸出鍵值對不需要與輸入鍵值對的類型一致），通Reporter報告進度，更新Counters表明自己正常運行。 至此Mapper過程結束，下面進入Sort&Shuffle過程。

　　Sort&Shuffle

　　得到mapper輸出的中間結果后，傳遞給Reducer執行前會經歷一個分組-》合并-》分配的過程。

　　1. 框架會按照key值，把所有中間結果的進行分成組。用戶可以通過 JobConf.setOutputKeyComparatorClass（Class）來指

　　定具體負

　　責分組的Comparator。

　　2. 用戶可以通過JobConf.setCombinerClass（Class）指定一個combiner，它負責對 中間過程的輸出進行本地的聚集，這會有助于降低從Mapper到Reducer數

　　據傳輸量。（如WordCount會把key值相同的次數累加）

　　3. 用戶可以指定或者自定義實現Partitioner來控制具體的key被分配到那個Reducer。Partitioner通常使用的是Hash函數。HashPartitioner是默認的Partitioner。Partitioner分塊的總數目和一個作業的reduce任務的數目是一樣的。

　　Sort&Shuffle的過程至此結束，Reducer過程開始。

　　Reducer Reducer會把Mapper的輸出作為輸入，因此Reducer的輸入類型需要與Mapper的輸出類型一致，Reducer任務會將輸入的key/value歸并為一個更小的結果集。用戶需要實現 reduce（WritableComparable， Iterator， OutputCollector， Reporter）方法來對輸入的key/value進行處理，同Mapper過程一樣，用戶可以選擇重寫JobConfigurable.configure（JobConf）方法完成Mapper的初始化工作，重寫Closeable.close（）

　　方法執行Mapper的清理工作。 用戶可以通過JobConf.setNumReduceTasks（int）來設定一個作業中reduce任務的數 目。 Reduce任務調用OutputCollector.collect（WritableComparable， Writable）將處理結果寫入HDFS。任務通過Reporter報告進度，至此MapReduce任務結束。

　　OutputCollector

　　OutputCollector是一個MapReduce框架提供的用于收集Mapper或Reducer輸出數據的通用機制 （包括中間輸出結果和作業的輸出結果）。同時hadoop類庫提供了豐富的outputFormat以供選擇，支持文本輸出，二進制輸出，序列化輸出，數據庫輸出等等。

　　Writable

　　Hadoop中，節點之間的進程通信通過RPC（remote procedures call）來實現。RPC中將消息序列化為二進制流，此后，將二進制流反序列化為消息，是進程間通信的靈魂所在，因此可用的RPC具有，緊湊，快速，可擴展，互操作等特點。 Hadoop實現了自己的序列化機制，相比于java自帶的序列化java object serialization，Hadoop的序列化更加緊湊，快速。同時Hadoop封裝了java中的基本類型，便于進程間的通信，用戶也可以自定義Writable類，只要實現Writable接口即可。

　　JobConf

　　JobConf代表一個MapReduce作業的配置。框架會按照指定的配置信息去完成MapReduce任務，其中的配置信息比較多，有興趣的可以去官網了解http://hadoop.apache.org/。通常，JobConf會指明Mapper、Combiner、Partitioner、Reducer、InputFormat和OutputFormat的具體實現，一組輸入文件，以及輸出文件的目錄。

　　第三步：設置作業調度。

　　mapreduce程序與很多編程有所不同，它是一種函數型編程，完全地展現了“分而治之”的哲學思想，是分布式系統下一種強有力的處理工具。

　　因而，用戶編寫mapreduce程序時，一方面要具備mapreduce程序思想；另一方面要符合mapreduce程序開發流程。同時，通過多寫mapreduce程序，掌握并熟悉這種編程模型。