xg

src/config.json

@@ -9,10 +9,8 @@
 		"db": "editor",
 		"size": 15
     },
-    "everydaydownload": "0 0 1 ? * MON-FRI",
-    "updatestatecron": "0 0 6 ? * *",
-	"createtaskcron": "0 0 8 ? * MON-FRI",
-	"closetaskcron": "0 0 9 ? * MON-FRI",
+    "startaskcron": "0 0 1 ? * MON-FRI",
+    "updatestatecron": "0 0 1 ? * SAT-SUN",
 	"codesummarycron": "0 30 8 ? * *",
 	"closenum": 2,
 	"daynum": 6,

src/downloadnum.go

@@ -12,8 +12,7 @@ import (
 )
 
 var (
-	EveryDayDownloadTime string //每天统计下载量的时间
-	DownloadCheck        map[string]*DC
+	DownloadCheck map[string]*DC
 )
 
 type DC struct {
@@ -41,7 +40,7 @@ func GetDownloadNumber() {
 		logger.Debug(timeStr, "上架的爬虫个数：", len(spiders))
 		lock := &sync.Mutex{}
 		wg := &sync.WaitGroup{}
-		ch := make(chan bool, 3)
+		ch := make(chan bool, 5)
 		arr := [][]map[string]interface{}{}
 		for code, reps := range spiders {
 			ch <- true

src/main.go

@@ -59,10 +59,8 @@ func init() {
 			}
 		}
 	}
-	EveryDayDownloadTime = qu.ObjToString(Config["everydaydownload"])
+	StartTaskCron = qu.ObjToString(Config["startaskcron"])
 	UpdateStateCron = qu.ObjToString(Config["updatestatecron"])
-	CreateTaskCron = qu.ObjToString(Config["createtaskcron"])
-	CloseTaskCron = qu.ObjToString(Config["closetaskcron"])
 	CodeSummaryCron = qu.ObjToString(Config["codesummarycron"])
 	CloseNum = qu.IntAll(Config["closenum"])
 	DayNum = qu.IntAll(Config["daynum"])
@@ -76,11 +74,9 @@ func main() {
 	LuaYearMinCodeCreateTask()
 	c := cron.New()
 	c.Start()
-	c.AddFunc(EveryDayDownloadTime, GetDownloadNumber) //统计下载量
-	c.AddFunc(CreateTaskCron, CreateTaskProcess)       //创建任务
-	c.AddFunc(CodeSummaryCron, SummaryCode)            //上架爬虫信息汇总
-	c.AddFunc(UpdateStateCron, ResetDataState)         //更新数据状态
-	c.AddFunc(CloseTaskCron, CloseTask)                //关闭任务
+	c.AddFunc(StartTaskCron, StartTask)        //开始任务
+	c.AddFunc(CodeSummaryCron, SummaryCode)    //上架爬虫信息汇总
+	c.AddFunc(UpdateStateCron, ResetDataState) //更新数据状态
 	//统计爬虫历史下载量制定任务周期
 	// GetSpidercode()
 	// TagCode()

src/task.go

@@ -25,27 +25,33 @@ var (
 	StartTime       int64                     //上一个工作日的起始时间
 	EndTime         int64                     //上一个工作日的结束时间
 	TaskMap         map[string]*Task          //任务集合
+	StartTaskCron   string                    //任务开始
 	UpdateStateCron string                    //每天关闭任务的时间
-	CreateTaskCron  string                    //每天创建任务的时间
-	CloseTaskCron   string                    //每天关闭任务的时间
 	CodeSummaryCron string                    //每天统计爬虫信息
 	CloseNum        int                       //关闭几天的任务
 	DayNum          int                       //更新数据天数
 	UserTaskNum     map[string]map[string]int //记录每人每天新建任务量
 )
 
+func StartTask() {
+	GetDownloadNumber() //统计下载量
+	CreateTaskProcess() //创建任务
+	ResetDataState()    //更新数据状态
+	CloseTask()         //关闭任务
+}
+
 //创建任务
 func CreateTaskProcess() {
-	InitInfo()                  //初始化
-	GetSpiderDownloadRateData() //1、统计spider_downloadrate前一天列表页采集异常爬虫
-	GetStatusCodeErrorData()    //2、统计spider_sitecheck 站点异常爬虫(404)
-	GetDownloadFailedData()     //3、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
-	GetRegatherFailedData()     //4、统计regatherdata前一天重采失败的爬虫数据
-	GetDTPErrData()             //5、统计spider_warn异常数据(发布时间异常、乱码)
-	GetDownloadNumErrData()     //6、统计download前一天下载量异常的爬虫数据(每天1点统计下载量，目前统计完成需要1个小时)
-	SaveResult()                //保存统计信息
-	CreateLuaTask()             //创建任务
-	SaveUserCreateTaskNum()     //保存每人创建的任务量
+	InitInfo() //初始化
+	//GetSpiderDownloadRateData() //1、统计spider_downloadrate前一天列表页采集异常爬虫
+	GetStatusCodeErrorData() //2、统计spider_sitecheck 站点异常爬虫(404)
+	GetDownloadFailedData()  //3、统计spider_highlistdata前一天下载失败的爬虫数据(统计完成后修改状态state:0)
+	GetRegatherFailedData()  //4、统计regatherdata前一天重采失败的爬虫数据
+	GetDTPErrData()          //5、统计spider_warn异常数据(发布时间异常、乱码)
+	GetDownloadNumErrData()  //6、统计download前一天下载量异常的爬虫数据(每天1点统计下载量，目前统计完成需要1个小时)
+	SaveResult()             //保存统计信息
+	CreateLuaTask()          //创建任务
+	SaveUserCreateTaskNum()  //保存每人创建的任务量
 }
 
 //初始化