爬虫任务调整

src/luatask/newtask.go

@@ -8,6 +8,7 @@ import (
 	"strconv"
 	"sync"
 	"time"
+	"timetask"
 	"util"
 )
 
@@ -107,6 +108,7 @@ func NewStartTask() {
 	saveCodeInfo()         //汇总异常信息，产出任务
 	updateLuaconfig()      //更新爬虫信息
 	closeTask()
+	timetask.CountLuaPythonNumEveryDay() //每日采集量统计
 }
 
 func getCodeBaseInfo() {
@@ -123,6 +125,9 @@ func getCodeBaseInfo() {
 				"state": map[string]interface{}{
 					"$in": []int{5, 11}, //上架、上线爬虫
 				},
+				"platform": map[string]interface{}{
+					"$in": []string{"golua平台", "chrome", "python"},
+				},
 			},
 			//lua正在被维护的爬虫和上架爬虫
 			map[string]interface{}{

src/luatask/task.go

@@ -233,6 +233,9 @@ func GetCodeBaseInfo() {
 				"state": map[string]interface{}{
 					"$in": []int{5, 11}, //上架、上线爬虫
 				},
+				"platform": map[string]interface{}{
+					"$in": []string{"golua平台", "chrome", "python"},
+				},
 			},
 			//lua正在被维护的爬虫和上架爬虫
 			map[string]interface{}{

src/main.go

@@ -46,15 +46,15 @@ func main() {
 	//
 	//c.AddFunc(util.FileWarnCron, timetask.GetFileWarn) //异常附件数据警告
 	//
-	c.AddFunc(util.QyworkRemindModifyuserCron, timetask.SendInfoToWxWork_Tomodifyuser) //企业微信日常警告,爬虫开发人员告警信息
-	c.AddFunc(util.QyworkRemindAuditorCron, timetask.SendInfoToWxWork_ToAuditor)       //企业微信日常警告,审核人员告警信息
+	//c.AddFunc(util.QyworkRemindModifyuserCron, timetask.SendInfoToWxWork_Tomodifyuser) //企业微信日常警告,爬虫开发人员告警信息
+	c.AddFunc(util.QyworkRemindAuditorCron, timetask.SendInfoToWxWork_ToAuditor) //企业微信日常警告,审核人员告警信息
 	//c.AddFunc(util.UpdateLuaUserCron, timetask.UpdateLuaUser)                          //更新外包爬虫所属人
 	c.AddFunc(util.MoveListDataCron, timetask.MoveListData) //列表页数据迁移
 	c.AddFunc(util.UpdateSiteCron, timetask.UpdateSiteInfo) //站点信息更新
 	//爬虫任务
 	c.AddFunc(util.ResetDataStateCron, luatask.ResetDataState) //重置数据
-	c.AddFunc(util.StartTaskCron, luatask.StartTask)           //爬虫维护任务
 	c.AddFunc(util.NewStarTaskCron, luatask.NewStartTask)      //新版爬虫维护任务
+	//c.AddFunc(util.StartTaskCron, luatask.StartTask)           //爬虫维护任务
 	//爬虫相关周报统计
 	c.AddFunc(util.SpiderWeeklyReportCron, timetask.SpiderWeeklyReport)
 	//lua小组周报

src/timetask/summary.go

@@ -121,8 +121,8 @@ func GetBiddingCount() {
 			} else if platform == "python" {
 				atomic.AddInt64(&PythonBiddingDownloadAllNum, 1)
 			} else {
-				atomic.AddInt64(&PythonBiddingDownloadAllNum, 1)
-				qu.Debug(code)
+				atomic.AddInt64(&LuaBiddingDownloadAllNum, 1)
+				//qu.Debug(code)
 			}
 		}(tmp)
 		if n%10000 == 0 {