maxiaoshan
25e9736079
xg
|
3 年之前 | |
|---|---|---|
| .. | ||
| logs | 4 年之前 | |
| code.go | 3 年之前 | |
| config.json | 4 年之前 | |
| downloadnum.go | 3 年之前 | |
| main.go | 4 年之前 | |
| readme.txt | 4 年之前 | |
| summary.go | 4 年之前 | |
| task.go | 3 年之前 | |
| user.json | 4 年之前 | |
| util.go | 4 年之前 | |
| work.go | 4 年之前 | |
| worktime.json | 4 年之前 | |
readme.txt
爬虫编辑器建任务流程
一、定时任务：
1、1点开始统计前一天爬虫的下载量
2、6点开始流程
3、8点关闭最迟完成时间在两天前的任务
二、流程：
1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
2、统计regatherdata前一天重采失败的爬虫数据
3、统计spider_warn异常数据(发布时间异常、乱码)
4、统计spider_sitecheck 站点异常爬虫(404)
5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量，目前统计完成需要1个小时)
一、定时任务：
1、1点开始统计前一天爬虫的下载量
2、6点开始流程
3、8点关闭最迟完成时间在两天前的任务
二、流程：
1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
2、统计regatherdata前一天重采失败的爬虫数据
3、统计spider_warn异常数据(发布时间异常、乱码)
4、统计spider_sitecheck 站点异常爬虫(404)
5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量，目前统计完成需要1个小时)