spider_task/src

爬虫编辑器建任务流程

一、定时任务：
1、1点开始统计前一天爬虫的下载量
2、6点开始流程
3、8点关闭最迟完成时间在两天前的任务

二、流程：
1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
2、统计regatherdata前一天重采失败的爬虫数据
3、统计spider_warn异常数据(发布时间异常、乱码)
4、统计spider_sitecheck 站点异常爬虫(404)
5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量，目前统计完成需要1个小时)