data_processing/spider_task: 编辑器分发任务 @ 25e9736079507ba797fbafbedca2a402c2f79db4

maxiaoshan 25e9736079 xg		3 år sedan
..
logs	04b9400750 xg	4 år sedan
code.go	f1703fdbe6 新版任务新建流程	3 år sedan
config.json	04b9400750 xg	4 år sedan
downloadnum.go	7f6208c1d8 xg	3 år sedan
main.go	2878e06fb2 xg	4 år sedan
readme.txt	e8e07770d7 first commit	4 år sedan
summary.go	2878e06fb2 xg	4 år sedan
task.go	25e9736079 xg	3 år sedan
user.json	e8e07770d7 first commit	4 år sedan
util.go	e8e07770d7 first commit	4 år sedan
work.go	e8e07770d7 first commit	4 år sedan
worktime.json	e8e07770d7 first commit	4 år sedan

		
				readme.txt
			
				爬虫编辑器建任务流程

一、定时任务：
1、1点开始统计前一天爬虫的下载量
2、6点开始流程
3、8点关闭最迟完成时间在两天前的任务

二、流程：
1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
2、统计regatherdata前一天重采失败的爬虫数据
3、统计spider_warn异常数据(发布时间异常、乱码)
4、统计spider_sitecheck 站点异常爬虫(404)
5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量，目前统计完成需要1个小时)