保存es 更改为单协程

createEsIndex/main.go

@@ -103,8 +103,9 @@ func main() {
 		go task_index()  //定时同步更新winner_enterprise、buyer_enterprise ES索引;这个功能很少变动，几乎不需要维护
 	}
 
-	go UpdateBidding()        //更新bidding表数据
-	go SaveBiddingEsMethod()  //保存es bidding数据
+	go UpdateBidding() //更新bidding表数据
+	go SaveEsMethod()  //保存es bidding数据
+	//go SaveBiddingEsMethod()  //保存es bidding数据
 	go SaveAllEsMethod()      // 保存爬虫采集临时数据
 	go SaveProjectEs()        //保存项目索引数据
 	go SaveBiddingAllDataEs() //保存stype=bidding_all_data 数据
@@ -398,10 +399,8 @@ func SaveBidErr() {
 	}
 }
 
-// SaveEsMethod 保存bidding数据到es
+// SaveEsMethod 保存bidding数据到es；单携程保存
 func SaveEsMethod() {
-	//arru := make([]map[string]interface{}, EsBulkSize)
-	//indexu := 0
 	for {
 		select {
 		case v := <-saveEsPool:
@@ -420,47 +419,6 @@ func SaveEsMethod() {
 				v["_id"] = ids
 				Es3.Save(config.Conf.DB.Es.Indexb3, v)
 			}
-
-			//arru[indexu] = v
-			//indexu++
-			//if indexu == EsBulkSize {
-			//	saveEsSp <- true
-			//go func(arru []map[string]interface{}) {
-			//	defer func() {
-			//<-saveEsSp
-			//}()
-			//if config.Conf.DB.Es.IndexTmp != "" {
-			//	if config.Conf.DB.Es.Addr2 != "" {
-			//		Es2.BulkSave(config.Conf.DB.Es.IndexTmp, arru) // 新集群
-			//	}
-			//	Es.BulkSave(config.Conf.DB.Es.IndexTmp, arru) //老集群
-			//}
-
-			//}(arru)
-			//arru = make([]map[string]interface{}, EsBulkSize)
-			//indexu = 0
-			//}
-			//case <-time.After(1000 * time.Millisecond):
-			//	if indexu > 0 {
-			//		saveEsSp <- true
-			//		go func(arru []map[string]interface{}) {
-			//			defer func() {
-			//				<-saveEsSp
-			//			}()
-			//			Es.BulkSave(config.Conf.DB.Es.IndexB, arru)
-			//if config.Conf.DB.Es.IndexTmp != "" {
-			//	if config.Conf.DB.Es.Addr2 != "" {
-			//		Es2.BulkSave(config.Conf.DB.Es.IndexTmp, arru) // 新集群
-			//	}
-			//	Es.BulkSave(config.Conf.DB.Es.IndexTmp, arru)
-			//}
-			//		if config.Conf.DB.Es.Addr2 != "" {
-			//			Es2.BulkSave(config.Conf.DB.Es.Indexb2, arru)
-			//		}
-			//	}(arru[:indexu])
-			//	arru = make([]map[string]interface{}, EsBulkSize)
-			//	indexu = 0
-			//}
 		}
 	}
 }
@@ -599,8 +557,8 @@ func SaveBiddingAllDataEs() {
 	}
 }
 
-// SaveProjectEs 保存项目索引数据
-func SaveProjectEs() {
+// SaveProjectEsMethod 保存项目索引数据
+func SaveProjectEsMethod() {
 	arru := make([]map[string]interface{}, EsBulkSize)
 	indexu := 0
 	for {
@@ -643,6 +601,24 @@ func SaveProjectEs() {
 	}
 }
 
+// SaveProjectEs 保存项目索引数据,但携程保存
+func SaveProjectEs() {
+	for {
+		select {
+		case v := <-saveProjectEsPool:
+			id := v["id"]
+			ids := v["_id"]
+			Es.Save(config.Conf.DB.Es.IndexP, v)
+			// 华为云新集群，存储标讯、项目、凭安数据
+			if config.Conf.DB.Es.Addr3 != "" {
+				v["id"] = id
+				v["_id"] = ids
+				Es3.Save(config.Conf.DB.Es.IndexP, v)
+			}
+		}
+	}
+}
+
 func checkMapJob() {
 	if config.Conf.Mail.Send {
 		log.Info("checkMapJob", zap.String("to:", config.Conf.Mail.To))