数据推送后不再将保存服务过滤的异常数据存redis

src/spider/msgservice.go

@@ -286,9 +286,9 @@ func SaveObj(event int, checkAtrr string, data map[string]interface{}, saveredis
 				data["biddingcoll"] = arr[1]
 			}
 			MgoS.Save("data_bak", data)
-			if !isExists {
-				util.RedisClusterSet(hashHref, "", -1)
-			}
+			//if !isExists {
+			//	util.RedisClusterSet(hashHref, "", -1)//保存服务过滤掉的异常数据href不再存全量redis,会造成后期无法重采数据
+			//}
 			//id := mgu.Save("data_bak", "spider", "spider", data)
 			////保存服务未接收成功的数据会存入data_bak中，确保数据不丢失依赖补发程序
 			//if id != "" && !flag { //保存服务发送成功

src/spider/spider.go

@@ -287,7 +287,7 @@ func (s *Spider) DownListPageItem() (errs interface{}) {
 		if !s.Stop { //在下载详情页时爬虫下架，此时不再存心跳信息
 			UpdateHeart(s.Name, s.Channel, s.Code, s.MUserName, "list") //记录所有节点列表页心跳
 		}
-		logger.Info("重复页：", repeatPageNum, "	配置最大页：", tmpMax, "	最终最大页：", max, "	当前页：", start, "重复次数：", repeatPageTimes)
+		//logger.Info("爬虫：", s.Code, "重复页：", repeatPageNum, "	配置最大页：", tmpMax, "	最终最大页：", max, "	当前页：", start, "重复次数：", repeatPageTimes)
 		//if start > tmpMax && isRunRepeatList && repeatPageTimes >= 5 { //重复次数超过5次，不再翻页
 		//	break
 		//}