Переглянути джерело

更新 预处理 索引存在判断

wcc 1 рік тому
батько
коміт
4f6aa448e4
4 змінених файлів з 9 додано та 6 видалено
  1. 5 4
      escheck/es_test.go
  2. 1 1
      escheck/main.go
  3. 2 0
      pre_extract/es.go
  4. 1 1
      pre_extract/pre_test.go

+ 5 - 4
escheck/es_test.go

@@ -17,6 +17,9 @@ import (
 
 //日报程序
 func TestR(t *testing.T) {
+	start := -2
+	end := -1
+
 	esQ := `{"query": {"range": {"id": {"gte": "%s","lt": "%s"}}}}`
 	esQ1 := `{"query": {"bool": {"must": [{"range": {"id": {"gte": "%s","lt": "%s"}}},{"terms": {"bidding.site": ["元博网(采购与招标网)","中国招标与采购网"]}}]}}}`
 
@@ -48,8 +51,6 @@ func TestR(t *testing.T) {
 		log.Fatalf("创建 Elasticsearch 客户端失败:%s", err)
 	}
 
-	start := -1
-	end := 0
 	st := util.GetDayStartSecond(start) //
 	et := util.GetDayStartSecond(end)   //
 	st1 := fmt.Sprintf("%x0000000000000000", st)
@@ -247,11 +248,11 @@ func TestR(t *testing.T) {
 		"pc_diff15":                pc_diff15,
 		"pc_diff30":                pc_diff30,
 		"pc_diff301":               pc_diff301,
-		"timeCount;":               timeCount,
+		"timeCount":                timeCount,
 	}
 
 	fmt.Println(insert)
-	//Mgo.Save("bidding_ribao", insert)
+	Mgo.Save("bidding_ribao", insert)
 
 	fmt.Println("success")
 }

+ 1 - 1
escheck/main.go

@@ -296,7 +296,7 @@ func (t *T) task() {
 				"pc_diff15":                pc_diff15,
 				"pc_diff30":                pc_diff30,
 				"pc_diff301":               pc_diff301,
-				"timeCount;":               timeCount,
+				"timeCount":                timeCount,
 			}
 			fmgo.Save("bidding_ribao", insert)
 

+ 2 - 0
pre_extract/es.go

@@ -134,6 +134,7 @@ func CreateIndex(clients map[string]*elastic.Client, PreBiddingIndex string) err
 		exist, err := client.IndexExists(PreBiddingIndex).Do(context.Background())
 		if exist {
 			log.Info("CreateIndex", zap.String(PreBiddingIndex, "已经存在了"))
+			continue
 		}
 
 		setting := fmt.Sprintf(`    "settings": {
@@ -280,6 +281,7 @@ func deleteIndex(clients map[string]*elastic.Client, index string) error {
 		exist, err := client.IndexExists(index).Do(context.Background())
 		if !exist {
 			log.Info("deleteIndex", zap.String(k, index+" 索引文件不存在"))
+			continue
 		}
 		if err != nil {
 			return err

+ 1 - 1
pre_extract/pre_test.go

@@ -60,7 +60,7 @@ func TestCreateIndex(t *testing.T) {
 		clients[k] = client
 	}
 
-	err := CreateIndex(clients, "bidding_2023112213")
+	err := CreateIndex(clients, "bidding_2023112214")
 	fmt.Println(err)
 
 }