备份

src/jy/extract/extractudp.go

@@ -288,6 +288,7 @@ func ExtractByUdp(sid, eid string, ra *net.UDPAddr, instanceId ...string) {
 					continue
 				}
 				_id := qu.BsonIdToSId(v["_id"])
+				//......
 				var j, jf *ju.Job
 				var isSite bool
 				if ext.IsFileField && (v["projectinfo"] != nil || v["attach_text"] != nil) {
@@ -298,11 +299,10 @@ func ExtractByUdp(sid, eid string, ra *net.UDPAddr, instanceId ...string) {
 				}
 				ext.TaskInfo.ProcessPool <- true
 				wg.Add(1)
-				go func(wg *sync.WaitGroup, j, jf *ju.Job) {
+				go func(wg *sync.WaitGroup) {
 					defer wg.Done()
-					//log.Debug(index,j.SourceMid,)
 					ext.ExtractProcess(j, jf, isSite)
-				}(&wg, j, jf)
+				}(&wg)
 				index++
 				if index%1000 == 0 {
 					log.Debug("index：", index, ",页码：", i+1, ",_id：", _id)

src/main.go

@@ -43,6 +43,13 @@ func testMain() {
 	con := `2134576`
 	text := con[1:2]
 	log.Debug(text)
+	/*
+		相同机器，相同线程，同批次的数据1w条，调整前67分钟，调整后57分钟的耗时区别
+		主要耗时还是在处理数据上，目前抽取的对象等构建，开启线程提升不是很大，还是扩充节点效果更明显
+
+
+	*/
+
 }
 
 func testPostDfa() {