data_processing/spider_task: 编辑器分发任务 @ 3bae26e822bd3ca2d83dd7b84b3f5d0f607c7c53

maxiaoshan 3bae26e822 xg		%!s(int64=3) %!d(string=hai) anos
..
logs	d153bb3ee1 新版任务新建流程	%!s(int64=3) %!d(string=hai) anos
luatask	3bae26e822 xg	%!s(int64=3) %!d(string=hai) anos
timetask	d153bb3ee1 新版任务新建流程	%!s(int64=3) %!d(string=hai) anos
util	7a47d8ed05 xg	%!s(int64=3) %!d(string=hai) anos
config.json	7a47d8ed05 xg	%!s(int64=3) %!d(string=hai) anos
main.go	7a47d8ed05 xg	%!s(int64=3) %!d(string=hai) anos
readme.txt	e8e07770d7 first commit	%!s(int64=4) %!d(string=hai) anos
user.json	d153bb3ee1 新版任务新建流程	%!s(int64=3) %!d(string=hai) anos
worktime.json	d153bb3ee1 新版任务新建流程	%!s(int64=3) %!d(string=hai) anos

		
				readme.txt
			
				爬虫编辑器建任务流程

一、定时任务：
1、1点开始统计前一天爬虫的下载量
2、6点开始流程
3、8点关闭最迟完成时间在两天前的任务

二、流程：
1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
2、统计regatherdata前一天重采失败的爬虫数据
3、统计spider_warn异常数据(发布时间异常、乱码)
4、统计spider_sitecheck 站点异常爬虫(404)
5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量，目前统计完成需要1个小时)