Browse Source

采集后保存异常数据redis

maxiaoshan 2 năm trước cách đây
mục cha
commit
aab948e30b
1 tập tin đã thay đổi với 3 bổ sung3 xóa
  1. 3 3
      src/spider/msgservice.go

+ 3 - 3
src/spider/msgservice.go

@@ -286,9 +286,9 @@ func SaveObj(event int, checkAtrr string, data map[string]interface{}, saveredis
 				data["biddingcoll"] = arr[1]
 			}
 			MgoS.Save("data_bak", data)
-			//if !isExists {
-			//	util.RedisClusterSet(hashHref, "", -1)//保存服务过滤掉的异常数据href不再存全量redis,会造成后期无法重采数据
-			//}
+			if !isExists {
+				util.RedisClusterSet(hashHref, "", -1)
+			}
 			//id := mgu.Save("data_bak", "spider", "spider", data)
 			////保存服务未接收成功的数据会存入data_bak中,确保数据不丢失依赖补发程序
 			//if id != "" && !flag { //保存服务发送成功