Explorar o código

新增spider_downloadrate统计

maxiaoshan %!s(int64=3) %!d(string=hai) anos
pai
achega
66bebcc5ee
Modificáronse 1 ficheiros con 15 adicións e 9 borrados
  1. 15 9
      src/task.go

+ 15 - 9
src/task.go

@@ -35,15 +35,16 @@ var (
 
 //创建任务
 func CreateTaskProcess() {
-	InitInfo()               //初始化
-	GetDownloadFailedData()  //1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
-	GetRegatherFailedData()  //2、统计regatherdata前一天重采失败的爬虫数据
-	GetDTPErrData()          //3、统计spider_warn异常数据(发布时间异常、乱码)
-	GetStatusCodeErrorData() //4、统计spider_sitecheck 站点异常爬虫(404)
-	GetDownloadNumErrData()  //5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量,目前统计完成需要1个小时)
-	SaveResult()             //保存统计信息
-	CreateLuaTask()          //创建任务
-	SaveUserCreateTaskNum()  //保存每人创建的任务量
+	InitInfo()                  //初始化
+	GetSpiderDownloadRateData() //统计spider_downloadrate前一天采集异常爬虫
+	GetDownloadFailedData()     //1、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
+	GetRegatherFailedData()     //2、统计regatherdata前一天重采失败的爬虫数据
+	GetDTPErrData()             //3、统计spider_warn异常数据(发布时间异常、乱码)
+	GetStatusCodeErrorData()    //4、统计spider_sitecheck 站点异常爬虫(404)
+	GetDownloadNumErrData()     //5、统计download前一天下载量异常的爬虫数据(每天1点统计下载量,目前统计完成需要1个小时)
+	SaveResult()                //保存统计信息
+	CreateLuaTask()             //创建任务
+	SaveUserCreateTaskNum()     //保存每人创建的任务量
 }
 
 //初始化
@@ -92,6 +93,11 @@ func CloseTask() {
 	logger.Debug("---清理未更新任务完毕---")
 }
 
+//
+func GetSpiderDownloadRateData() {
+
+}
+
 //1、统计三级页下载失败数据(放到ResetDataState后是因为不会影响统计)
 func GetDownloadFailedData() {
 	defer qu.Catch()