支持测试版本 -不同id的更新

udpfilterdup/src/datamap.go

@@ -11,7 +11,7 @@ import (
 )
 
 type Info struct {
-	id          string
+	id          string	//id
 	title       string  //标题
 	area        string  //省份
 	city        string  //城市
@@ -28,6 +28,7 @@ type Info struct {
 	agencyaddr  string  //开标地点
 	site        string  //站点
 	href        string  //正文的url
+
 	repeatid    string  //重复id
 	titleSpecialWord bool                   //标题特殊词
 	specialWord      bool                   //再次判断的特殊词
@@ -38,7 +39,7 @@ type Info struct {
 var datelimit = float64(432000) //五天
 var sitelock sync.Mutex         //锁
 
-//判重数据
+//一般数据判重
 type datamap struct {
 	lock   sync.Mutex //锁
 	days   int        //保留几天数据
@@ -173,7 +174,6 @@ func NewHistorymap(startid string, lastid string, startTime int64, lastTime int6
 	}
 
 	log.Println("load history 后:", m)
-
 	return hm
 }
 

udpfilterdup/src/main.go

@@ -99,17 +99,11 @@ func main() {
 	udpclient = mu.UdpClient{Local: updport, BufSize: 1024}
 	udpclient.Listen(processUdpMsg)
 	log.Println("Udp服务监听", updport)
-
 	time.Sleep(99999 * time.Hour)
 }
 
 //测试组人员使用
 func mainT() {
-	//ObjectId("5df8c03ee9d1f601e4ea5ffc")
-	//ObjectId("5e0d4cb40cf41612e063fc2d")
-
-	//ObjectId("5dfbd43ce9d1f601e43fa402")
-	//ObjectId("5e0954b30cf41612e061d0c8")
 	//sid = "5dfbd43ce9d1f601e43fa402"
 	//eid = "5e0954b30cf41612e061d0c8"
 	mapinfo := map[string]interface{}{}
@@ -229,7 +223,11 @@ func task(data []byte, mapInfo map[string]interface{}) {
 					var newData = &Info{}    //更换新的数据池数据
 					var id_map = map[string]interface{}{}
 					repeat_id := source.id
-					id_map["_id"] = util.StringTOBsonId(info.id)
+					if idtype == "1" {
+						id_map["_id"] = info.id
+					} else {
+						id_map["_id"] = util.StringTOBsonId(info.id)
+					}
 					if isMerger {
 						//需要合并相关操作-合并操作--评功权重打分-合并完替换原始数据池
 						basic_bool := basicDataScore(source, info)
@@ -237,13 +235,23 @@ func task(data []byte, mapInfo map[string]interface{}) {
 							//已原始数据为标准-对比数据打判重标签
 							newData, mergeArr = mergeDataFields(source, info)
 							DM.replaceSourceData(newData, source.id) //替换
-							id_map["_id"] = util.StringTOBsonId(source.id)
+							if idtype == "1" {
+								id_map["_id"] = source.id
+							} else {
+								id_map["_id"] = util.StringTOBsonId(source.id)
+							}
+
 							repeat_id = source.id
 						} else {
 							//已对比数据为标准 ，数据池的数据打判重标签
 							newData, mergeArr = mergeDataFields(info, source)
 							DM.replaceSourceData(newData, source.id) //替换
-							id_map["_id"] = util.StringTOBsonId(info.id)
+							if idtype == "1" {
+								id_map["_id"] = info.id
+							} else {
+								id_map["_id"] = util.StringTOBsonId(info.id)
+							}
+
 							repeat_id = info.id
 						}
 					}
@@ -460,8 +468,11 @@ func historyTask(data []byte, mapInfo map[string]interface{}) {
 						var newData = &Info{}    //更换新的数据池数据
 						var id_map = map[string]interface{}{}
 						repeat_id := source.id
-						id_map["_id"] = util.StringTOBsonId(info.id)
-
+						if idtype == "1" {
+							id_map["_id"] = info.id
+						} else {
+							id_map["_id"] = util.StringTOBsonId(info.id)
+						}
 						if isMerger {
 							//需要合并相关操作-合并操作--评功权重打分-合并完替换原始数据池
 							basic_bool := basicDataScore(source, info)
@@ -469,13 +480,21 @@ func historyTask(data []byte, mapInfo map[string]interface{}) {
 								//已原始数据为标准-对比数据打判重标签
 								newData, mergeArr = mergeDataFields(source, info)
 								DM.replaceSourceData(newData, source.id) //替换
-								id_map["_id"] = util.StringTOBsonId(source.id)
+								if idtype == "1" {
+									id_map["_id"] = source.id
+								} else {
+									id_map["_id"] = util.StringTOBsonId(source.id)
+								}
 								repeat_id = source.id
 							} else {
 								//已对比数据为标准 ，数据池的数据打判重标签
 								newData, mergeArr = mergeDataFields(info, source)
 								DM.replaceSourceData(newData, source.id) //替换
-								id_map["_id"] = util.StringTOBsonId(info.id)
+								if idtype == "1" {
+									id_map["_id"] = info.id
+								} else {
+									id_map["_id"] = util.StringTOBsonId(info.id)
+								}
 								repeat_id = info.id
 							}
 						}