第四步:进行业务配置
01、首先切换到应用配置目录
cd Application/Spider/Weather/Config/
02、关于全局配置文件 global.php
注意:这个文件一般无需改动,除非你要引入新的全局子配置文件。
03、关于数据库配置文件 database.php
最终配置好的样板代码如下:
<?php
return array(
'redis' => array(
'prefix' => 'Weather',
'host' => '127.0.0.1',
'port' => 6379,
'database' => 0,
),
);
04、关于全局子配置文件 main.php:
最终配置好的样板代码如下:
<?php
return array(
'language' => 'zh',
'multi_worker' => true,
'start' => array(
'WeatherProducer' => true,
'WeatherDownloader' => true,
'WeatherParser' => true,
),
//全局任务配置参数:每条任务也可以单独配置自己的context成员,最终采用merge合并覆盖策略
'task' => array(
'crawl_interval' => 1,
'max_number' => 0,
'max_connections' => 1,
'max_request' => 0,
'compress' => array(
'enabled' => true,
'algorithm' => 'gzip',
),
'limit_domains' => [],
),
);
05、关于生产器实例配置文件 AppProducer.php
最终配置好的样板代码如下:
<?php
return array(
'name' => 'producer1',
'count' => 1,
'interval' => 1,
);
06、关于下载器实例配置文件 AppDownloader.php
最终配置好的样板代码如下:
<?php
return array(
'name' => 'downloader1',
'count' => 2,
'socket' => array(
'client' => array(
'parser' => array(
'scheme' => 'ws',
'host' => '127.0.0.1',
'port' => 8888,
),
),
),
);
07、关于解析器实例配置文件 AppParser.php
最终配置好的样板代码如下:
<?php
return array(
'name' => 'parser1',
'count' => 3,
'socket' => array(
'server' => array(
'scheme' => 'websocket',
'host' => '0.0.0.0',
'port' => 8888,
),
),
);