mapreduce二次排序_ mapreduce二次排序原理

關(guān)于什么是二次排序

在mapreduce操作時(shí)，shuffle階段會(huì)多次根據(jù)key值排序。但是在shuffle分組后，相同key值的values序列的順序是不確定的（如下圖）。如果想要此時(shí)value值也是排序好的，這種需求就是二次排序。

默認(rèn)情況下，Map輸出的結(jié)果會(huì)對(duì)Key進(jìn)行默認(rèn)的排序，但是有時(shí)候需要對(duì)Key排序的同時(shí)還需要對(duì)Value進(jìn)行排序，這時(shí)候就要用到二次排序了。

?mapreduce二次排序分析

我們把二次排序分為以下幾個(gè)階段

Map起始階段

在Map階段，使用job.setInputFormatClass（）定義的InputFormat，將輸入的數(shù)據(jù)集分割成小數(shù)據(jù)塊split，同時(shí)InputFormat提供一個(gè)RecordReader的實(shí)現(xiàn)。在這里我們使用的是TextInputFormat，它提供的RecordReader會(huì)將文本的行號(hào)作為Key，這一行的文本作為Value。這就是自定 Mapper的輸入是《LongWritable，Text》 的原因。然后調(diào)用自定義Mapper的map方法，將一個(gè)個(gè)《LongWritable，Text》鍵值對(duì)輸入給Mapper的map方法

Map最后階段

在Map階段的最后，會(huì)先調(diào)用job.setPartitionerClass（）對(duì)這個(gè)Mapper的輸出結(jié)果進(jìn)行分區(qū)，每個(gè)分區(qū)映射到一個(gè)Reducer。每個(gè)分區(qū)內(nèi)又調(diào)用job.setSortComparatorClass（）設(shè)置的Key比較函數(shù)類排序?？梢钥吹剑@本身就是一個(gè)二次排序。如果沒有通過job.setSortComparatorClass（）設(shè)置 Key比較函數(shù)類，則使用Key實(shí)現(xiàn)的compareTo（）方法

Reduce階段

在Reduce階段，reduce（）方法接受所有映射到這個(gè)Reduce的map輸出后，也會(huì)調(diào)用job.setSortComparatorClass（）方法設(shè)置的Key比較函數(shù)類，對(duì)所有數(shù)據(jù)進(jìn)行排序。然后開始構(gòu)造一個(gè)Key對(duì)應(yīng)的Value迭代器。這時(shí)就要用到分組，使用 job.setGroupingComparatorClass（）方法設(shè)置分組函數(shù)類。只要這個(gè)比較器比較的兩個(gè)Key相同，它們就屬于同一組，它們的 Value放在一個(gè)Value迭代器，而這個(gè)迭代器的Key使用屬于同一個(gè)組的所有Key的第一個(gè)Key。最后就是進(jìn)入Reducer的 reduce（）方法，reduce（）方法的輸入是所有的Key和它的Value迭代器，同樣注意輸入與輸出的類型必須與自定義的Reducer中聲明的一致。

、