|
@@ -417,7 +417,7 @@ func UpdateSpiderByCodeState(code, state string) (bool, error) {
|
|
err = nil
|
|
err = nil
|
|
} else if state == "-1" { //爬虫重采更新线上爬虫
|
|
} else if state == "-1" { //爬虫重采更新线上爬虫
|
|
scriptMap := getSpiderScriptDB(code)
|
|
scriptMap := getSpiderScriptDB(code)
|
|
- logger.Info("更新线上脚本,库中是否已存在该脚本:", code, len(scriptMap) > 0)
|
|
|
|
|
|
+ logger.Info("更新线上脚本,库中是否已存在该脚本:", code, len(scriptMap) > 0, scriptMap[code] != nil)
|
|
if util.Config.Working == 1 { //排队模式
|
|
if util.Config.Working == 1 { //排队模式
|
|
for _, v := range scriptMap {
|
|
for _, v := range scriptMap {
|
|
listsize := 0
|
|
listsize := 0
|
|
@@ -498,7 +498,7 @@ func UpdateSpiderByCodeState(code, state string) (bool, error) {
|
|
}
|
|
}
|
|
} else { //脚本上架
|
|
} else { //脚本上架
|
|
scriptMap := getSpiderScriptDB(code)
|
|
scriptMap := getSpiderScriptDB(code)
|
|
- logger.Info("上架新增脚本,库中是否已存在该脚本:", code, len(scriptMap) > 0)
|
|
|
|
|
|
+ logger.Info("上架新增脚本,库中是否已存在该脚本:", code, len(scriptMap) > 0, scriptMap[code] != nil)
|
|
if util.Config.Working == 1 { //排队模式
|
|
if util.Config.Working == 1 { //排队模式
|
|
for _, v := range scriptMap {
|
|
for _, v := range scriptMap {
|
|
listsize := 0
|
|
listsize := 0
|
|
@@ -534,7 +534,22 @@ func UpdateSpiderByCodeState(code, state string) (bool, error) {
|
|
}
|
|
}
|
|
} else {
|
|
} else {
|
|
logger.Info("上架新增脚本,新增队列中位置", listsize)
|
|
logger.Info("上架新增脚本,新增队列中位置", listsize)
|
|
- LoopListPath.Store(listsize, v)
|
|
|
|
|
|
+ LoopListPath.Store(listsize, v) //上架
|
|
|
|
+ //校验是否上架成功
|
|
|
|
+ listsize, count_ok, count_no = 0, 0, 0
|
|
|
|
+ LoopListPath.Range(func(key, val interface{}) bool {
|
|
|
|
+ listsize++
|
|
|
|
+ if tmp, ok := val.(map[string]string); ok {
|
|
|
|
+ count_ok++
|
|
|
|
+ if tmp["code"] == code { //队列存在
|
|
|
|
+ logger.Info("上架脚本成功", code, "队列中位置", key)
|
|
|
|
+ }
|
|
|
|
+ } else {
|
|
|
|
+ count_no++
|
|
|
|
+ }
|
|
|
|
+ return true
|
|
|
|
+ })
|
|
|
|
+ logger.Info("上架爬虫后队列中共有爬虫", listsize, "当前在线数量:", count_ok, "下线数量:", count_no)
|
|
}
|
|
}
|
|
}
|
|
}
|
|
logger.Info("上架新增脚本", code)
|
|
logger.Info("上架新增脚本", code)
|