增量处理并发数 支持配置

project_portrait/config.go

@@ -22,6 +22,7 @@ type EnvConf struct {
 	PortraitMgo   string
 	Days          int
 	Spec          string
+	Curs          int
 }
 
 type EsConf struct {

project_portrait/config.toml

@@ -28,3 +28,4 @@
     portraitMgo = "project_portrait" ## 存储在MongoDB 数据表
     days = -1 ## 默认取一天前的数据，
     spec = "0 00 01 * * *"  ## 定时任务，每天凌晨1点执行
+    curs = 1     ## 增量数据并发数

project_portrait/main.go

@@ -110,6 +110,11 @@ func Init() {
 	if portraitIndex == "" || portraitMgo == "" {
 		log.Fatalln("画像索引或者MongoDB数据表为空")
 	}
+	if GF.Env.Curs < 1 {
+		log.Fatalln("参数 curs 并发数不能低于1")
+	} else {
+		log.Println("参数 curs 并发数", GF.Env.Curs)
+	}
 
 }
 func main() {
@@ -164,7 +169,7 @@ func dealIncData() {
 	ch := make(chan map[string]interface{}, 10000)
 
 	// 并行处理结果
-	for i := 0; i < 2; i++ {
+	for i := 0; i < GF.Env.Curs; i++ {
 		wg.Add(1)
 		go func() {
 			defer wg.Done()