分布式部署的优点
- 成倍提高系统承载能力并降低成本
当单机遇到资源瓶颈时,要想支持庞大的业务抓取,一般是优化业务和增加服务器配置,但这么做只能是杯水车薪,成本巨大且效果非常有限。爬山虎支持分布式部署,你可以利用多台价格低廉的普通服务器,组成一个庞大的服务器集群,成倍的增加系统承载能力,这不管在资金成本上还是人力成本上都是最划算的方案。
- 提高系统高稳定性和服务高可用性
生产环境若采用单机提供服务,则风险很大,服务器任何故障都可能引起整个服务不可用,稳定性差。 爬山虎分布式部署可以有效的降低这个风险,如果一台服务器故障宕机,还有其它服务器可以继续工作,可以做到对服务无影响或者影响最小化。假如PHPCreeper中某一台Downloader服务器宕机,可以利用LVS健康探测等技术立刻踢掉故障IP,集群立刻恢复服务,做到服务平滑运行,提高系统稳定性。