|
@@ -35,15 +35,16 @@ var (
|
|
|
|
|
|
//创建任务
|
|
|
func CreateTaskProcess() {
|
|
|
- InitInfo() //初始化
|
|
|
- GetDownloadFailedData() //1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
|
|
|
- GetRegatherFailedData() //2、统计regatherdata前一天重采失败的爬虫数据
|
|
|
- GetDTPErrData() //3、统计spider_warn异常数据(发布时间异常、乱码)
|
|
|
- GetStatusCodeErrorData() //4、统计spider_sitecheck 站点异常爬虫(404)
|
|
|
- GetDownloadNumErrData() //5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量,目前统计完成需要1个小时)
|
|
|
- SaveResult() //保存统计信息
|
|
|
- CreateLuaTask() //创建任务
|
|
|
- SaveUserCreateTaskNum() //保存每人创建的任务量
|
|
|
+ InitInfo() //初始化
|
|
|
+ GetSpiderDownloadRateData() //统计spider_downloadrate前一天采集异常爬虫
|
|
|
+ GetDownloadFailedData() //1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
|
|
|
+ GetRegatherFailedData() //2、统计regatherdata前一天重采失败的爬虫数据
|
|
|
+ GetDTPErrData() //3、统计spider_warn异常数据(发布时间异常、乱码)
|
|
|
+ GetStatusCodeErrorData() //4、统计spider_sitecheck 站点异常爬虫(404)
|
|
|
+ GetDownloadNumErrData() //5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量,目前统计完成需要1个小时)
|
|
|
+ SaveResult() //保存统计信息
|
|
|
+ CreateLuaTask() //创建任务
|
|
|
+ SaveUserCreateTaskNum() //保存每人创建的任务量
|
|
|
}
|
|
|
|
|
|
//初始化
|
|
@@ -92,6 +93,11 @@ func CloseTask() {
|
|
|
logger.Debug("---清理未更新任务完毕---")
|
|
|
}
|
|
|
|
|
|
+//
|
|
|
+func GetSpiderDownloadRateData() {
|
|
|
+
|
|
|
+}
|
|
|
+
|
|
|
//1、统计三级页下载失败数据(放到ResetDataState后是因为不会影响统计)
|
|
|
func GetDownloadFailedData() {
|
|
|
defer qu.Catch()
|