更新数据采集 索引，已迁移到华为云

createEsIndex/common.toml

@@ -58,12 +58,12 @@
 [db.es]
 #    addr = "http://127.0.0.1:19805"      ## 正常bidding 链接
     addr = "http://192.168.3.149:9201"      ## 正常bidding 链接
-    addrp = "http://192.168.3.149:9201"    ##  采集使用的单机版地址
+#    addrp = "http://192.168.3.149:9201"    ##  采集使用的单机版地址
     username = "es_all"
     password = "TopJkO2E_d1x"
     size = 5
     indexb = "bidding"
-    indextmp = "bidding_temporary"       ## 临时索引，其他程序需要
+#    indextmp = "bidding_temporary"       ## 临时索引，其他程序需要；目前已不需要
     indexp = "projectset_v1"
     indexwinner = "winner_v1"
     indexbuyer = "buyer_v2"

createEsIndex/init.go

@@ -151,9 +151,9 @@ func InitEs() {
 		log.Debug("InitEs", zap.String("IndexP", config.Conf.DB.Es.IndexP))
 	}
 
-	if config.Conf.DB.Es.IndexTmp == "" {
-		log.Error("InitEs", zap.String("IndexTmp 为空", "请检查是否需要配置；该配置主要生产环境需要"))
-	}
+	//if config.Conf.DB.Es.IndexTmp == "" {
+	//	log.Error("InitEs", zap.String("IndexTmp 为空", "请检查是否需要配置；该配置主要生产环境需要"))
+	//}
 	if config.Conf.DB.Es.IndexWinner == "" {
 		log.Error("InitEs", zap.String("IndexWinner", "中标单位 索引为空，请检查"))
 	} else {
@@ -165,14 +165,14 @@ func InitEs() {
 		log.Debug("InitEs", zap.String("IndexBuyer", config.Conf.DB.Es.IndexBuyer))
 	}
 
-	//采集爬虫  单服务器部署的es
-	Es1 = &elastic.Elastic{
-		S_esurl:  config.Conf.DB.Es.AddrP,
-		I_size:   config.Conf.DB.Es.Size,
-		Username: config.Conf.DB.Es.Username,
-		Password: config.Conf.DB.Es.Password,
-	}
-	Es1.InitElasticSize()
+	////采集爬虫  单服务器部署的es;目前已使用华为云
+	//Es1 = &elastic.Elastic{
+	//	S_esurl:  config.Conf.DB.Es.AddrP,
+	//	I_size:   config.Conf.DB.Es.Size,
+	//	Username: config.Conf.DB.Es.Username,
+	//	Password: config.Conf.DB.Es.Password,
+	//}
+	//Es1.InitElasticSize()
 
 	//华为云 部署的es
 	if config.Conf.DB.Es.Addr2 != "" {

createEsIndex/main.go

@@ -27,8 +27,8 @@ var (
 	MgoS  *mongodb.MongodbSim
 	Mysql *mysqldb.Mysql
 
-	Es, Es1, Es2 *elastic.Elastic
-	PreEs        = make(map[string]*elastic.Elastic, 0) //预处理 索引客户端
+	Es, Es2 *elastic.Elastic
+	PreEs   = make(map[string]*elastic.Elastic, 0) //预处理 索引客户端
 
 	UdpClient  udp.UdpClient
 	UdpTaskMap = &sync.Map{}
@@ -394,12 +394,12 @@ func SaveEsMethod() {
 						<-saveEsSp
 					}()
 					Es.BulkSave(config.Conf.DB.Es.IndexB, arru)
-					if config.Conf.DB.Es.IndexTmp != "" {
-						if config.Conf.DB.Es.Addr2 != "" {
-							Es2.BulkSave(config.Conf.DB.Es.IndexTmp, arru) // 新集群
-						}
-						Es.BulkSave(config.Conf.DB.Es.IndexTmp, arru) //老集群
-					}
+					//if config.Conf.DB.Es.IndexTmp != "" {
+					//	if config.Conf.DB.Es.Addr2 != "" {
+					//		Es2.BulkSave(config.Conf.DB.Es.IndexTmp, arru) // 新集群
+					//	}
+					//	Es.BulkSave(config.Conf.DB.Es.IndexTmp, arru) //老集群
+					//}
 					if config.Conf.DB.Es.Addr2 != "" {
 						Es2.BulkSave(config.Conf.DB.Es.Indexb2, arru)
 					}
@@ -416,12 +416,12 @@ func SaveEsMethod() {
 						<-saveEsSp
 					}()
 					Es.BulkSave(config.Conf.DB.Es.IndexB, arru)
-					if config.Conf.DB.Es.IndexTmp != "" {
-						if config.Conf.DB.Es.Addr2 != "" {
-							Es2.BulkSave(config.Conf.DB.Es.IndexTmp, arru) // 新集群
-						}
-						Es.BulkSave(config.Conf.DB.Es.IndexTmp, arru)
-					}
+					//if config.Conf.DB.Es.IndexTmp != "" {
+					//	if config.Conf.DB.Es.Addr2 != "" {
+					//		Es2.BulkSave(config.Conf.DB.Es.IndexTmp, arru) // 新集群
+					//	}
+					//	Es.BulkSave(config.Conf.DB.Es.IndexTmp, arru)
+					//}
 					if config.Conf.DB.Es.Addr2 != "" {
 						Es2.BulkSave(config.Conf.DB.Es.Indexb2, arru)
 					}
@@ -433,6 +433,7 @@ func SaveEsMethod() {
 	}
 }
 
+//SaveAllEsMethod 保存爬虫采集临时数据，保存在华为云上
 func SaveAllEsMethod() {
 	arru := make([]map[string]interface{}, EsBulkSize)
 	indexu := 0
@@ -447,7 +448,9 @@ func SaveAllEsMethod() {
 					defer func() {
 						<-saveEsAllSp
 					}()
-					Es1.BulkSave("biddingall", arru)
+					if config.Conf.DB.Es.Addr2 != "" {
+						Es2.BulkSave("biddingall", arru)
+					}
 				}(arru)
 				arru = make([]map[string]interface{}, EsBulkSize)
 				indexu = 0
@@ -459,7 +462,9 @@ func SaveAllEsMethod() {
 					defer func() {
 						<-saveEsAllSp
 					}()
-					Es1.BulkSave("biddingall", arru)
+					if config.Conf.DB.Es.Addr2 != "" {
+						Es2.BulkSave("biddingall", arru)
+					}
 				}(arru[:indexu])
 				arru = make([]map[string]interface{}, EsBulkSize)
 				indexu = 0