|
@@ -2,7 +2,7 @@
|
|
|
脚本由crontab服务进行定时运行
|
|
|
|
|
|
#### 脚本用途
|
|
|
- 1、back_fill_task.py -> 错误任务回填采集队列
|
|
|
- 2、monitor_summary.py -> 监控信息汇总
|
|
|
+ 1、backfill_task.py -> 错误任务回填采集队列
|
|
|
+ 2、monitor.py -> 爬虫运行监控
|
|
|
3、send_data.py -> feapder爬虫采集数据同步爬虫库(爬虫将数据推送RedisDB存放,同步服务从RedisDB间隔5分钟推送至爬虫MongoDB生产库)
|
|
|
- 4、summary_data.py -> 心跳数据统计汇总
|
|
|
+ 4、summary.py -> 爬虫心跳数据汇总统计
|