Nutch crawling optimization from view of Hadoop
Shilong ZHOU, Xingshu Chen, Yonggang LUO · Journal of Computer Applications · 2013
通过对Nutch MapReduce job配置参数调优而优化Nutch爬行性能.以Hadoop视角梳理Nutch爬行过程,并基于此详细分析Nutch MapReduce job的工作流特性;对Nutch爬行时MapReduce job进行持续监测,生成优化参数并代入下一轮相同类型的job运行中,从而达到优化目的;通过选取合适的间隔监测值平衡集群环境误差和监测负载以改进优化效果.经过实验测试,Nutch的爬行性能提高了5％～14％,且当监测间隔值为5时有最好优化效果.