data_processing/spider_task: 编辑器分发任务 @ 25e9736079507ba797fbafbedca2a402c2f79db4

maxiaoshan 25e9736079 xg		před 3 roky
..
logs	04b9400750 xg	před 4 roky
code.go	f1703fdbe6 新版任务新建流程	před 3 roky
config.json	04b9400750 xg	před 4 roky
downloadnum.go	7f6208c1d8 xg	před 3 roky
main.go	2878e06fb2 xg	před 4 roky
readme.txt	e8e07770d7 first commit	před 4 roky
summary.go	2878e06fb2 xg	před 4 roky
task.go	25e9736079 xg	před 3 roky
user.json	e8e07770d7 first commit	před 4 roky
util.go	e8e07770d7 first commit	před 4 roky
work.go	e8e07770d7 first commit	před 4 roky
worktime.json	e8e07770d7 first commit	před 4 roky

		
				readme.txt
			
				爬虫编辑器建任务流程

一、定时任务：
1、1点开始统计前一天爬虫的下载量
2、6点开始流程
3、8点关闭最迟完成时间在两天前的任务

二、流程：
1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
2、统计regatherdata前一天重采失败的爬虫数据
3、统计spider_warn异常数据(发布时间异常、乱码)
4、统计spider_sitecheck 站点异常爬虫(404)
5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量，目前统计完成需要1个小时)