保存服务过滤掉的异常数据加入redis

src/spider/msgservice.go

@@ -277,8 +277,12 @@ func SaveObj(event int, checkAtrr string, data map[string]interface{}, saveredis
 		href := fmt.Sprint(data["href"])
 		if len(href) > 5 && saveredis { //有效数据
 			hashHref := HexText(href)
-			data["redisexists"] = util.RedisClusterExists(hashHref)
+			isExists := util.RedisClusterExists(hashHref)
+			data["redisexists"] = isExists
 			mgu.Save("data_bak", "spider", "spider", data)
+			if !isExists {
+				util.RedisClusterSet(hashHref, "", -1)
+			}
 			//id := mgu.Save("data_bak", "spider", "spider", data)
 			////保存服务未接收成功的数据会存入data_bak中，确保数据不丢失依赖补发程序
 			//if id != "" && !flag { //保存服务发送成功