mapreduce設(shè)置map個(gè)數(shù)_mapreduce設(shè)置map內(nèi)存

　　摘要

　　在map階段讀取數(shù)據(jù)前，F(xiàn)ileInputFormat會(huì)將輸入文件分割成split。split的個(gè)數(shù)決定了map的個(gè)數(shù)。

　　影響map個(gè)數(shù)，即split個(gè)數(shù)的因素主要有：

　　1）HDFS塊的大小，即HDFS中dfs.block.size的值。如果有一個(gè)輸入文件為1024m，當(dāng)塊為

　　256m時(shí)，會(huì)被劃分為4個(gè)split；當(dāng)塊為128m時(shí)，會(huì)被劃分為8個(gè)split。

　　2）文件的大小。當(dāng)塊為128m時(shí)，如果輸入文件為128m，會(huì)被劃分為1個(gè)split；當(dāng)塊為256m，

　　會(huì)被劃分為2個(gè)split。

　　3）文件的個(gè)數(shù)。FileInputFormat按照文件分割split，并且只會(huì)分割大文件，即那些大小超過

　　HDFS塊的大小的文件。如果HDFS中dfs.block.size設(shè)置為64m，而輸入的目錄中文件有100個(gè)，則

　　劃分后的split個(gè)數(shù)至少為100個(gè)。

　　4）splitsize的大小。分片是按照splitszie的大小進(jìn)行分割的，一個(gè)split的大小在沒有設(shè)置的情況下，

　　默認(rèn)等于hdfs block的大小。但應(yīng)用程序可以通過兩個(gè)參數(shù)來對(duì)splitsize進(jìn)行調(diào)節(jié)。

　　map個(gè)數(shù)的計(jì)算公式如下：

　　1，splitsize=max（minimumsize，min（maximumsize，blocksize））。

　　如果沒有設(shè)置minimumsize和maximumsize，splitsize的大小默認(rèn)等于blocksize

　　2、計(jì)算公式

　　計(jì)算過程可以簡(jiǎn)化為如下的公式，詳細(xì)算法可以參照FileInputSplit類中的getSplits方法

　　total_split ;

　　for（file ：輸入目錄中的每個(gè)文件）

　　{

　　file_split = 1;

　　if（file.size》splitsize）

　　{

　　file_split=file_size/splitsize;

　　}

　　total_split+=file_split;

　　}

　　關(guān)于配置MapReduce內(nèi)存

　　1. Container內(nèi)存使用的監(jiān)控

　　NodeManager作為Yarn運(yùn)行中的一個(gè)守護(hù)進(jìn)程，其中一個(gè)職責(zé)是監(jiān)控運(yùn)行在節(jié)點(diǎn)上的container，通常包含每個(gè)容器的內(nèi)存使用。

　　為監(jiān)控容器的內(nèi)存使用情況，在Yarn的配置文件yarn-site.xml中配置yarn.nodemanager.container-monitor.interval-ms屬性遍歷當(dāng)前正在運(yùn)行的容器，計(jì)算進(jìn)程樹（process tree，即每個(gè)容器中所有的子進(jìn)程），對(duì)于每個(gè)進(jìn)程檢查/proc/《pid》/stat文件（其中pid為容器的進(jìn)程ID），抽取出物理內(nèi)存（又稱RSS）和虛擬內(nèi)存（又稱VSZ或VSIZE）。

　　配置yarn-nodemanager.vmem-check-enabled控制虛擬檢查是否要求打開，然后Yarn將抽取出來的容器及其子進(jìn)程的VSIZE加起來和容器最大允許使用的虛擬內(nèi)存進(jìn)行比較。最大允許使用的虛擬內(nèi)存是容器最大可使用的物理內(nèi)存×yarn.nodemanager.vmem-pmem-ratio（默認(rèn)值為2.1）。所以，如果Yarn容器配置的最大可用物理內(nèi)存為2GB，然后乘以2.1即為容器最大可用的虛擬內(nèi)存4.2G。

　　配置yarn.nodemanager.pmem-check-enabled屬性控制物理內(nèi)存檢查是否被打開，然后Yarn將抽取出來的容器及其子進(jìn)程的加起來和容器最大允許使用的物理內(nèi)存進(jìn)行比較。

　　如果物理內(nèi)存或者虛擬內(nèi)存其中一個(gè)使用大于最大允許使用情況，Yarn會(huì)將kill該容器。并在日志打印以下日志：

　　Application application_1409135750325_48141 failed 2 times due to AM Container for

　　appattempt_1409135750325_48141_000002 exited with exitCode： 143 due to： Container

　　［pid=4733，containerID=container_1409135750325_48141_02_000001］ is running beyond physical memory limits.

　　Current usage： 2.0 GB of 2 GB physical memory used; 6.0 GB of 4.2 GB virtual memory used. Killing container.

　　2. 增加MapReduce作業(yè)可使用的內(nèi)存

　　對(duì)于MapReduce作業(yè)來說，可通過以下兩種方式對(duì)作業(yè)運(yùn)行的內(nèi)存進(jìn)行配置：

　　1）設(shè)置Map和Reduce進(jìn)程的物理內(nèi)存；

　　2.） 設(shè)置Map和Reduce進(jìn)程JVM堆大小。

　　3）設(shè)置Map和Reduce進(jìn)程的物理內(nèi)存

　　在map-site.xml文件中配置以下屬性限制Map和Reduce進(jìn)程的內(nèi)存大小：

　　《property》

　　《name》mapreduce.map.memory.mb《/name》

　　《value》2048《/value》

　　《/property》

　　《property》

　　《name》mapreduce.reduce.memory.mb《/name》

　　《value》4096《/value》

　　《/property》

　　上例中說明：配置Map進(jìn)程為2G，Reduce進(jìn)程為4G。

　　注意：為作業(yè)配置的物理內(nèi)存必須落在集群中容器允許的最小和最大內(nèi)存范圍中，參考：yarn.scheduler.maximum-allocation-mb和yarn.scheduler.minimum-allocation-mb兩個(gè)參數(shù)。

　　4）設(shè)置Map和Reduce進(jìn)程的JVM堆大小

　　JVM堆大小需要小于進(jìn)程的物理內(nèi)存，一般設(shè)置為物理內(nèi)存的80%.

　　《property》

　　《name》mapreduce.map.java.opts《/name》

　　《value》-Xmx1638m《/value》

　　《/property》

　　《property》

　　《name》mapreduce.reduce.java.opts《/name》

　　《value》-Xmx3278m《/value》

　　《/property》

　　上例說明：Map的堆設(shè)置為2G，Reduce的堆大小設(shè)置為4G。