如何改变JVM的map默认的大小HEAP大小

点击联系发帖人 时间：2017-01-22 02:54
怎么设置相片的大小

每个map任务处理大于12M（几百万记录）的数据效率肯定会好很多。       看上去貌似这两种有些矛盾，一个是要合并小文件一个是要把大文件拆成小文件，这点正是重点需要關注的地方   根据实际情况，控制map数量需要遵循两个原则：使大数据量利用合适的map数；使单个map任务处理合适的数据量；


同map一样启动和初始化reduce也会消耗时间和资源；
另外，有多少个reduce,就会有多少个输出文件如果生成了很多个小文件，那么如果这些小文件作为下一个任务的输叺则也会出现小文件过多的问题；

    同样的，在设置reduce个数的时候也需要考虑这两个原则：使大数据量利用合适的reduce数；使单个reduce任务处理合适嘚数据量；

}

我要回帖

更多关于 怎么设置相片的大小 的文章

更多推荐

版权声明：文章内容来源于网络，版权归原作者所有，如有侵权请点击这里与我们联系，我们将及时删除。

点击添加站长微信