es_index_data/createEsIndex/init.go

package main

import (
	"context"
	"esindex/config"
	"flag"
	"fmt"
	"github.com/RoaringBitmap/roaring"
	es7 "github.com/olivere/elastic/v7"
	"go.uber.org/zap"
	"io/ioutil"
	util "jygit.jydev.jianyu360.cn/data_processing/common_utils"
	"jygit.jydev.jianyu360.cn/data_processing/common_utils/elastic"
	"jygit.jydev.jianyu360.cn/data_processing/common_utils/log"
	"jygit.jydev.jianyu360.cn/data_processing/common_utils/mongodb"
	"jygit.jydev.jianyu360.cn/data_processing/common_utils/mysqldb"
	"os"
	"path/filepath"
	"strings"
	"sync"
	"time"
)

var (
	ProjectField      = make(map[string]string, 500) //项目字段
	ProjectListF      = make(map[string]string, 200)
	BiddingField      = make(map[string]string, 200)       //bidding_processing_field, level=1 最外层字段，
	BiddingLevelField = make(map[string]map[string]string) //level=2 的第二层字段
	PreProcessField   = make(map[string]string, 500)       //预处理流程 bidding字段
	dbfile            = flag.String("dbfile", "./db", "数据库文件")
	cache             = roaring.NewBitmap()
	cacheModify       = false                  //控制10秒 定时写入文件
	mutex             sync.Mutex               // 互斥锁，用于保护 cache 的并发写入操作
	MatchArr          = make([]TagMatching, 0) // 存放移动标签规则
	globalRegs        = make([]TagMatching, 0) //移动标签关键词规则，是标签规则大前提
)

// InitLog @Description
// @Author J 2022/7/26 15:30
func InitLog() {
	now := time.Now()
	logcfg := config.Conf.Log

	err := log.InitLog(
		log.Path(logcfg.LogPath),
		log.Level(logcfg.LogLevel),
		log.Compress(logcfg.Compress),
		log.MaxSize(logcfg.MaxSize),
		log.MaxBackups(logcfg.MaxBackups),
		log.MaxAge(logcfg.MaxAge),
		log.Format(logcfg.Format),
	)
	if err != nil {
		fmt.Printf("InitLog failed: %v\n", err)
		os.Exit(1)
	}

	log.Info("InitLog", zap.Any("duration", time.Since(now).Seconds()))
	log.Info("InitLog", zap.Any("config.db", config.Conf.DB))
}

func InitMgo() {
	now := time.Now()
	MgoB = &mongodb.MongodbSim{
		MongodbAddr: config.Conf.DB.MongoB.Addr,
		DbName:      config.Conf.DB.MongoB.Dbname,
		Size:        config.Conf.DB.MongoB.Size,
		UserName:    config.Conf.DB.MongoB.User,
		Password:    config.Conf.DB.MongoB.Password,
		Direct:      config.Conf.DB.MongoB.Direct,
	}
	MgoB.InitPool()
	if config.Conf.DB.MongoB.Addr == "" || config.Conf.DB.MongoB.Dbname == "" {
		log.Error("InitMgo", zap.String("MgoB", "地址或者数据库为空"))
	}
	if config.Conf.DB.MongoB.Coll == "" {
		log.Error("InitMgo", zap.String("MgoB", "查询表为空"))
	}
	log.Info("InitMgo", zap.Any("MgoB duration", time.Since(now).Seconds()))
	// 判断是否接入大模型
	if config.Conf.Env.Ai {
		MgoBOld = &mongodb.MongodbSim{
			MongodbAddr: config.Conf.DB.MongoB.Addr,
			DbName:      "qfw",
			Size:        config.Conf.DB.MongoB.Size,
			UserName:    config.Conf.DB.MongoB.User,
			Password:    config.Conf.DB.MongoB.Password,
			Direct:      config.Conf.DB.MongoB.Direct,
		}
		MgoBOld.InitPool()
		log.Info("InitMgo", zap.Any("MgoBOLD duration", time.Since(now).Seconds()))
	}
	//项目信息
	MgoP = &mongodb.MongodbSim{
		MongodbAddr: config.Conf.DB.MongoP.Addr,
		DbName:      config.Conf.DB.MongoP.Dbname,
		Size:        config.Conf.DB.MongoP.Size,
		UserName:    config.Conf.DB.MongoP.User,
		Password:    config.Conf.DB.MongoP.Password,
		Direct:      config.Conf.DB.MongoP.Direct,
	}
	MgoP.InitPool()
	if config.Conf.DB.MongoP.Addr == "" || config.Conf.DB.MongoP.Dbname == "" {
		log.Error("InitMgo", zap.String("MongoP", "地址或者数据库为空"))
	}
	if config.Conf.DB.MongoP.Coll == "" {
		log.Error("InitMgo", zap.String("MongoP", "查询表为空"))
	}
	log.Info("InitMgo", zap.Any("MgoP duration", time.Since(now).Seconds()))

	//中标单位定时同步
	MgoQ = &mongodb.MongodbSim{
		MongodbAddr: config.Conf.DB.MongoQ.Addr,
		DbName:      config.Conf.DB.MongoQ.Dbname,
		Size:        config.Conf.DB.MongoQ.Size,
		UserName:    config.Conf.DB.MongoQ.User,
		Password:    config.Conf.DB.MongoQ.Password,
		Direct:      config.Conf.DB.MongoQ.Direct,
	}
	MgoQ.InitPool()
	if config.Conf.DB.MongoQ.Addr == "" || config.Conf.DB.MongoQ.Dbname == "" {
		log.Error("InitMgo", zap.String("MongoQ", "地址或者数据库为空"))
	}
	log.Info("InitMgo", zap.Any("MgoQ duration", time.Since(now).Seconds()))

	//181 特殊企业，采购单位验证
	MgoS = &mongodb.MongodbSim{
		MongodbAddr: config.Conf.DB.MongoS.Addr,
		DbName:      config.Conf.DB.MongoS.Dbname,
		Size:        config.Conf.DB.MongoS.Size,
		UserName:    config.Conf.DB.MongoS.User,
		Password:    config.Conf.DB.MongoS.Password,
		Direct:      config.Conf.DB.MongoS.Direct,
	}
	MgoS.InitPool()
	if config.Conf.DB.MongoS.Addr == "" || config.Conf.DB.MongoS.Dbname == "" {
		log.Error("InitMgo", zap.String("MongoS", "地址或者数据库为空"))
	}
	log.Info("InitMgo", zap.Any("MgoS duration", time.Since(now).Seconds()))
}

func InitMysql() {
	//采购单位
	now := time.Now()
	Mysql = &mysqldb.Mysql{
		Address:  config.Conf.DB.MysqlB.Addr,
		DBName:   config.Conf.DB.MysqlB.Dbname,
		UserName: config.Conf.DB.MysqlB.Username,
		PassWord: config.Conf.DB.MysqlB.Password,
	}
	Mysql.Init()
	if config.Conf.DB.MysqlB.Addr == "" || config.Conf.DB.MysqlB.Dbname == "" {
		log.Error("InitMysql", zap.String("Mysql", "地址或者数据库为空"))
	}
	log.Info("InitMysql", zap.Any("MysqlB duration", time.Since(now).Seconds()))
}

func InitEs() {
	now := time.Now()
	Es = &elastic.Elastic{
		S_esurl:  config.Conf.DB.Es.Addr,
		I_size:   config.Conf.DB.Es.Size,
		Username: config.Conf.DB.Es.Username,
		Password: config.Conf.DB.Es.Password,
	}
	Es.InitElasticSize()
	log.Info("InitEs", zap.String("阿里云", config.Conf.DB.Es.Addr))

	if config.Conf.DB.Es.Addr == "" {
		log.Error("InitEs", zap.String("ES", "地址或者数据库为空"))
	}
	if config.Conf.DB.Es.IndexB == "" {
		log.Error("InitEs", zap.String("IndexB", "indexb  bidding 索引为空，请检查"))
	} else {
		log.Debug("InitEs", zap.String("IndexB", config.Conf.DB.Es.IndexB))
	}
	if config.Conf.DB.Es.IndexP == "" {
		log.Error("InitEs", zap.String("IndexB", "projectset 项目索引为空，请检查"))
	} else {
		log.Debug("InitEs", zap.String("IndexP", config.Conf.DB.Es.IndexP))
	}

	if config.Conf.DB.Es.IndexTmp == "" {
		log.Error("InitEs", zap.String("IndexTmp 为空", "请检查是否需要配置；该配置主要生产环境需要"))
	}
	if config.Conf.DB.Es.IndexWinner == "" {
		log.Error("InitEs", zap.String("IndexWinner", "中标单位 索引为空，请检查"))
	} else {
		log.Debug("InitEs", zap.String("IndexWinner", config.Conf.DB.Es.IndexWinner))
	}
	if config.Conf.DB.Es.IndexBuyer == "" {
		log.Error("InitEs", zap.String("IndexBuyer", "采购单位 索引为空，请检查"))
	} else {
		log.Debug("InitEs", zap.String("IndexBuyer", config.Conf.DB.Es.IndexBuyer))
	}

	////采集爬虫  单服务器部署的es;目前已使用华为云
	//Es1 = &elastic.Elastic{
	//	S_esurl:  config.Conf.DB.Es.AddrP,
	//	I_size:   config.Conf.DB.Es.Size,
	//	Username: config.Conf.DB.Es.Username,
	//	Password: config.Conf.DB.Es.Password,
	//}
	//Es1.InitElasticSize()

	//华为云 部署的es
	if config.Conf.DB.Es.Addr2 != "" {
		Es2 = &elastic.Elastic{
			S_esurl:  config.Conf.DB.Es.Addr2,
			I_size:   config.Conf.DB.Es.Size,
			Username: config.Conf.DB.Es.Username2,
			Password: config.Conf.DB.Es.Password2,
		}
		Es2.InitElasticSize()
		log.Info("InitEs", zap.String("华为云Addr2", config.Conf.DB.Es.Addr2))
	}
	// 华为云新集群，迁移原来阿里云集群数据，标讯、项目、凭安
	if config.Conf.DB.Es.Addr3 != "" {
		Es3 = &elastic.Elastic{
			S_esurl:  config.Conf.DB.Es.Addr3,
			I_size:   config.Conf.DB.Es.Size,
			Username: config.Conf.DB.Es.Username3,
			Password: config.Conf.DB.Es.Password3,
		}
		Es3.InitElasticSize()
		log.Info("InitEs", zap.String("华为云Addr3", config.Conf.DB.Es.Addr3))
	}

	if config.Conf.DB.Es.IndexPD == "" {
		log.Warn("InitEs", zap.String("项目详情索引 ", "缺少项目详情索引配置，请检查是否需要配置项目详情"))
	}

	// 详情字段，默认设置50000汉字长度限制
	if config.Conf.DB.Es.DetailCount == 0 {
		config.Conf.DB.Es.DetailCount = 50000
	}
	log.Info("InitEs", zap.Any("duration", time.Since(now).Seconds()))
}

func InitField() {
	now := time.Now()
	info, _ := MgoB.Find("bidding_processing_field", `{"stype": "project"}`, nil, nil, false, -1, -1)
	if len(*info) > 0 {
		for _, m := range *info {
			if util.IntAll(m["level"]) == 1 {
				ProjectField[util.ObjToString(m["field"])] = util.ObjToString(m["ftype"])
			} else if util.IntAll(m["level"]) == 2 {
				ProjectListF[util.ObjToString(m["field"])] = util.ObjToString(m["ftype"])
			}
		}
	}
	log.Info("InitField", zap.Int("ProjectField", len(ProjectField)), zap.Int("ProjectListF", len(ProjectListF)))
	log.Info("InitField", zap.Any("duration", time.Since(now).Seconds()))
}

// InitPreProcessField 预处理阶段字段
func InitPreProcessField() {
	now := time.Now()
	info, _ := MgoB.Find("bidding_processing_field", `{"stype": "pre_process"}`, nil, nil, false, -1, -1)
	if len(*info) > 0 {
		for _, m := range *info {
			if util.IntAll(m["level"]) == 1 {
				PreProcessField[util.ObjToString(m["field"])] = util.ObjToString(m["ftype"])
			}
		}
	}
	log.Info("InitPreProcessField", zap.Int("PreProcessField", len(ProjectField)))
	log.Info("InitPreProcessField", zap.Any("duration", time.Since(now).Seconds()))
}

// InitPreEsClient 实例化预处理 索引客户端
//func InitPreEsClient() {
//	if len(config.Conf.Pre) > 0 {
//		for k, v := range config.Conf.Pre {
//			cli := &elastic.Elastic{
//				S_esurl:  v.Addr,
//				I_size:   30,
//				Username: v.Username,
//				Password: v.Password,
//			}
//			cli.InitElasticSize()
//			PreEs[k] = cli
//		}
//	}
//}

// InitEsBiddingField 初始化 bidding 索引字段
func InitEsBiddingField() {
	now := time.Now()
	info, _ := MgoB.Find("bidding_processing_field", `{"stype": "bidding"}`, nil, nil, false, -1, -1)
	if len(*info) > 0 {
		for _, m := range *info {
			if util.IntAll(m["level"]) == 1 {
				BiddingField[util.ObjToString(m["field"])] = util.ObjToString(m["ftype"])
			} else if util.IntAll(m["level"]) == 2 {
				pfield := util.ObjToString(m["pfield"])
				pfieldMap := BiddingLevelField[pfield]
				if pfieldMap == nil {
					pfieldMap = make(map[string]string, 0)
				}
				pfieldMap[util.ObjToString(m["field"])] = util.ObjToString(m["ftype"])
				BiddingLevelField[pfield] = pfieldMap
			}
		}
	}
	log.Info("InitEsBiddingField", zap.Int("BiddingField es 一级字段数量", len(BiddingField)))
	log.Info("InitEsBiddingField", zap.Int("BiddingLevelField es 二级字段数量", len(BiddingLevelField)))
	log.Info("InitEsBiddingField", zap.Any("duration", time.Since(now).Seconds()))
}

// verifyESFields 验证es 定义字段类型和 MongoDB 数据字段
func verifyESFields() {
	now := time.Now()
	log.Info("verifyESFields", zap.String("开始类型检测", ""))
	client, _ := es7.NewClient(
		es7.SetURL(config.Conf.DB.Es.Addr),
		es7.SetBasicAuth(config.Conf.DB.Es.Username, config.Conf.DB.Es.Password),
		es7.SetSniff(false),
	)
	index := config.Conf.DB.Es.IndexB //索引表 bidding
	// 获取 Elasticsearch 索引的 mapping 信息
	mapping, err := client.GetMapping().Index(index).Do(context.Background())
	if err != nil {
		log.Error("verifyESFields", zap.Any("getting Elasticsearch mapping:", err))
	}

	indexName, _ := GetIndexName(client, index)

	if indexName == "" || mapping == nil {
		log.Error("verifyESFields", zap.String("索引不存在，请检查索引", index))
		os.Exit(-1)
		return
	}
	if mapping[indexName].(map[string]interface{})["mappings"] == nil || mapping[indexName].(map[string]interface{})["mappings"].(map[string]interface{})["properties"] == nil {
		log.Error("verifyESFields", zap.String("索引不存在或状态不对，请检查索引", index))
		os.Exit(-1)
		return
	}
	properties := mapping[indexName].(map[string]interface{})["mappings"].(map[string]interface{})["properties"].(map[string]interface{})

	var errField = make([]string, 0)
	var okField = make([]string, 0)
	var analyzerMap = make(map[string]string) // 分词信息
	var esMap = make(map[string]string)       //存储es 字段类型
	//
	for field, ftype := range BiddingField {
		eftypeMap, _ := properties[field].(map[string]interface{})
		var etype string
		var analyzer string
		if fftype, ok := eftypeMap["type"]; ok {
			etype = fftype.(string)
			esMap[field] = etype
		}
		if ffanalyzer, ok := eftypeMap["analyzer"]; ok {
			analyzer = ffanalyzer.(string)
			analyzerMap[field] = analyzer
		}

		if ftype != "" {
			if chargeType(ftype, etype) {
				okField = append(okField, field)
			} else {
				errField = append(errField, field)
			}
		} else {
			if field == "_id" {
				continue
			} else if field == "purchasinglist" || field == "package" || field == "winnerorder" || field == "procurementlist" {
				if eproperties, ok := eftypeMap["properties"]; ok {
					if eproMap, ok := eproperties.(map[string]interface{}); ok {
						for k, v := range eproMap {
							if innerMap, ok := v.(map[string]interface{}); ok {
								if innerType, ok := innerMap["type"]; ok {
									innerLevel := BiddingLevelField[field]
									esMap[fmt.Sprintf("%s.%s", field, k)] = innerType.(string)
									if chargeType(innerLevel[k], innerType.(string)) {
										okField = append(okField, fmt.Sprintf("%s.%s", field, k))
									} else {
										errField = append(errField, fmt.Sprintf("%s.%s", field, k))
									}
								}
							}
						}
					}
				}
			}
		}
	}

	if len(errField) > 0 {
		log.Error("verifyESFields", zap.Int("错误字段数量", len(errField)))
		for _, field := range errField {
			if strings.Contains(field, ".") {
				fe := strings.Split(field, ".")
				log.Error(fmt.Sprintf("%s 字段类型错误", field), zap.String(fmt.Sprintf("数据库类型为:%s,但是es字段类型是:", BiddingLevelField[fe[0]][fe[1]]), esMap[field]))
			} else {
				log.Error(fmt.Sprintf("%s 字段类型错误", field), zap.String(fmt.Sprintf("数据库类型为:%s,但是es字段类型是:", BiddingField[field]), esMap[field]))
			}
		}
		os.Exit(-1)
	} else {
		log.Info("es 字段类型检测结束，", zap.Int("所有字段都符合,检测字段数量为:", len(okField)))
	}
	log.Info("verifyESFields", zap.Any("duration", time.Since(now).Seconds()))
}

func GetIndexName(client *es7.Client, name string) (string, error) {
	// 判断 name 是否为一个别名
	res, err := client.Aliases().Alias(name).Do(context.Background())
	if err != nil {
		// 错误处理
		if err.(*es7.Error).Status != 404 && err.(*es7.Error).Details != nil {
			return "", err
		}
	}

	if res != nil {
		for k, v := range res.Indices {
			for _, vv := range v.Aliases {
				if vv.AliasName == name {
					return k, nil
				}
			}
		}
	}

	// 判断 name 是否为一个正式索引名称
	resa, err := client.IndexExists(name).Do(context.Background())
	if err != nil {
		// 错误处理
		return "", err
	}
	if resa {
		return name, nil
	}

	// 如果 name 既不是别名，也不是正式索引名称，则返回空字符串
	return "", nil
}

// InitBitmap 初始化项目名称副标题 bitmap
func InitBitmap2() {
	if config.Conf.Env.Dbfile != "" {
		dbfile = &config.Conf.Env.Dbfile
	}
	_, err := os.Stat(*dbfile)
	log.Info("InitBitmap", zap.String("dbfile", *dbfile))
	if !os.IsNotExist(err) {
		bs, err := ioutil.ReadFile(*dbfile)
		if err != nil {
			log.Info("InitBitmap", zap.Error(err))
		}
		if len(bs) > 0 {
			_, err := cache.FromBuffer(bs)
			if err != nil {
				log.Info("InitBitmap", zap.Any("cache.FromBuffer", err))
			}
		}
	} else {
		log.Info("InitBitmap", zap.Any(*dbfile, "文件不存在"))
	}
	log.Info("InitBitmap", zap.Any("cache.FromBuffer", "success"))
	//监听，写入文件保存
	go func() {
		for {
			time.Sleep(10 * time.Second)
			if cacheModify {
				saveDb()
				cacheModify = false
			}
		}
	}()
}

func InitBitmap() {
	if config.Conf.Env.Dbfile != "" {
		dbfile = &config.Conf.Env.Dbfile
	}
	log.Info("InitBitmap", zap.String("dbfile", *dbfile))

	// 1. 尝试加载主文件
	if tryLoadBitmapFile(*dbfile) {
		log.Info("InitBitmap", zap.String("状态", "主文件加载成功"))
	} else if tryLoadBitmapFile(*dbfile + ".bak") {
		log.Warn("InitBitmap", zap.String("警告", "主文件加载失败，已回退至备份文件"))
	} else {
		// 2. 两个文件都失败，删除旧文件并加载指定备份文件
		log.Error("InitBitmap", zap.String("错误", "主文件和备份文件都无法加载，使用手动备份恢复"))
		// 删除损坏的文件
		os.Remove(*dbfile)
		os.Remove(*dbfile + ".bak")

		// 3. 加载你指定的备份文件 db_0730
		backupFile := strings.TrimSuffix(*dbfile, filepath.Ext(*dbfile)) + "_0730"
		if tryLoadBitmapFile(backupFile) {
			log.Info("InitBitmap", zap.String("恢复状态", "成功加载手动备份 "+backupFile))
		} else {
			log.Error("InitBitmap", zap.String("恢复状态", "手动备份文件也加载失败，将初始化空缓存"))
			cache = roaring.NewBitmap()
		}
	}

	// 后台保存逻辑保持不变
	go func() {
		for {
			time.Sleep(10 * time.Second)
			if cacheModify {
				saveDb()
				cacheModify = false
			}
		}
	}()
}

// tryLoadBitmapFile 读取并尝试解析到 cache（不 panic，返回是否成功）
func tryLoadBitmapFile(path string) bool {
	bs, err := ioutil.ReadFile(path)
	if err != nil {
		log.Warn("读取失败", zap.String("文件", path), zap.Error(err))
		return false
	}
	if len(bs) == 0 {
		log.Warn("文件内容为空", zap.String("文件", path))
		return false
	}
	_, err = cache.FromBuffer(bs)
	if err != nil {
		log.Warn("文件解析失败（可能损坏）", zap.String("文件", path), zap.Error(err))
		return false
	}
	return true
}

// InitRule  初始化移动标签规则
func InitRule() {
	//关键词
	globalKeys := "X 型,指挥控制系统,指控系统,指挥信息系统,信息基础设施,基础信息设施,基础设施,信息化,动员大数据,动员潜力,动员信息系统,动员指挥系统军事职业教育,职业教育条件,教学条件建设,训练条件建设,电子对抗,职教条件,教室条件,在线学习室,智慧保卫,智慧政工,智慧靶场,智慧训练场,智慧基地,智慧边疆,边境管控,戍边,训练场,训练室,体育锻炼,体能训练,图传光缆支线建设及传输系统扩容,通信电缆,裸纤,电路租赁,电路租用,互联网接入,互联网出口,无人机,北斗指挥调度,情报保障,气象服务信息共享平台,机动通信,数据中心,云,5G 专网,基础通信业务,专线业务,信息基础设施,增值服务,训练管理,军事职业教育,模拟训练,体育训练,体能训练,实验室,科研建设,智慧校园,智慧党建,宣传工作,保卫工作,智慧监察,管,后勤战勤,智慧财务,智慧军需,智慧营房,智慧军交,智慧卫勤,智慧仓储,装备战勤,枪弹管理,通装管理,战备值勤,日常办公,会议系统,会议室,日常管理,智慧安防,保密管理,心理攻防,野战管理,智能终端管控,网络安全,智慧磐石,国防动员,民兵管理,智慧人防,退役军人服务平台,退役系统创新应用,智慧融通,智慧融办,边海防管控,AICDE,设备采购,综合信息化指挥控制系统,气象服务信息共享平台,应急通信,应急车,应急基站,应急平台,IDC,数据中心,5G 专网,语音系统,话音,裸光纤,机房建设,机房改造,机房运维,体能考核,在线学习室,模拟训练中心,体能考核,无人系统实验平台,智慧教室,智慧党建,红色教育基地,智慧保卫,智慧监察,智慧监管,后勤管理,财务系统,油料保障,营房管理,智慧物流,智慧卫勤,智慧医疗,智慧仓储,装备大数据,枪弹库安防,器材管理,值班系统,办公系统,办公平台,视频,音频会议,会议系统,会议室,门禁,道闸系统,闸机,视频监控,人脸识别,车辆识别,AI 执法巡逻,密集柜管理,心理辅导,野战安防,手机管控,终端管控,网络防御,疫情防控,智慧磐石,国防动员,人防信息化,人防数字化,人防指挥信息系统,退役军人服务平台,云资源租赁,智慧酒店,智慧园区,边海防管控,人工智能,信息化设备,无人机,短波电台,短波台站,私有云,5G 基站,物联网,数据专线,综合网管,智慧靶场,靶机,报靶,桌面云,云桌面,战术模拟,操扬训练条件,智慧课堂,AR 党建,军史场馆,舆情监控,舆情监测,后勤大数据,军粮信息化,营房信息化,智慧运输,医院信息化,装备战备值班,智能枪弹柜,器材库建设,联动报警,网上办公,车辆管理,安防建设,安防设备,安防设施,安防系统,资料管理,心理攻防训练,野战枪弹管理,账外机,流量监测,行程码,一室一站,动员大数据,人防通信及网络,智慧 J 休所,智慧文旅,J 民融合创业园区,J 警民联防,云计算,其他设备,视频指挥,动中通,公有云,5G,专网,局域网,互联网专线,动环监控,训练计划,推门听课,训练辅助,射击仿真,投弹仿真,军体考核,智慧图书馆,VR 党建,数字史馆,智慧监狱,资产管理,智慧食堂,水电信息化,铁路输送,体检管理,装备保障信息系统,装备维修,执勤信息化,档案室,会议设备,警戒系统,报警系统,电子围栏,SM 载体管理,反无人机,信号侦测,信息安全,体温登记,一室两站,国防教育,智慧 J 供站,智慧地产,信息化服务平台,党政军警民联防,大数据,集群指挥,指挥所,自组网,5G 核心网,无线覆盖,光缆支线及设备采购,综合布线,训练档案,在线课程,在线开放课程,AR训练,VR 训练,XR 训练,新闻媒体,物品管理,车辆管理,数字化装备场,执法仪,档案系统,人员管理,枪弹管理,反红外侦查,网上行为监管,安全保密,测温系统,一平台三系统,Z兵系统,退役军人培训,智慧展示平台,边防基础设施建设,数据库,数据采集,数据分析,应急指挥,北斗,卫星通信,VPN,二三级网,弱电工程,训练资源,慕课制作,电子沙盘,演播大厅,智慧养老,接运服务,LED,大屏,显示屏,档案管理,访客管理,周界防护,野外驻训营区管控,黑白名单,量子加密,外来人员判断,反恐,征兵平台,烈士纪念设施保护,海防基础设施建设,CDN,CDN软件,防护工程,可移动基站,4G 网络,传输网,容灾,DICT 实训,JY 网吧,虚拟仿真,融媒体中心,视频通信,网站建设,广播通报,电子巡更,手机智能管控,特安通,重大问题应急处置,维稳,民兵管理,智慧光荣院,可编程企业网关键技术研究与应用验证,辅助决策系统,车载通信,程控交换机,通信服务,训练大数据,训练条件,数字展厅,动态勤务管控,台式机,服务器,军营广播,学习园地,在线考试,油库管理,天幕信息管控,5G网络安全,警务通,智慧武装部,地球通终端,通信车辆,线路整修,训练场,训练基地,训练设备,条件建设,网络中心,智慧小区,智慧消防,灵控辅助定位,导调中心,梯队通联,课程制作,移动旗舰,LED,大屏,显示屏,智慧管理系统,无人机巡检,绿盾痕迹点验,地理信息系统,对讲机,动中通,训练系统,训练软件,J 史场馆,演播大厅,机器人巡逻,低慢小,态势感知,战术机动网络,电视广播,雷达监控,指挥中心,卫星通信,监控系统,监控设施,监控设备,电子对抗,通信设备,大屏系统"
	//关键词的规则
	global := TagMatching{
		tagName: "关键词",
		//标题、详情、项目名称、标的物、附件
		matchField:    []string{"title", "detail", "projectname", "purchasing", "filetext"},
		matchKey:      globalKeys,
		matchKeyReg:   GetRegex(globalKeys),
		addField:      []string{"title", "detail", "projectname", "purchasing", "filetext"},
		addKey:        "军队,军队采购网,全军武器装备采购信息网,装备科研生产单位,保密二级,保密一级,涉密信息系统集成,参谋,助理,干事",
		addKeyReg:     GetRegex("军队,军队采购网,全军武器装备采购信息网,装备科研生产单位,保密二级,保密一级,涉密信息系统集成,参谋,助理,干事"),
		excludeField:  []string{"title", "detail", "projectname", "purchasing", "filetext"},
		excludeKey:    "网上超市",
		excludeKeyReg: GetRegex("网上超市"),
	}
	globalRegs = append(globalRegs, global)

	//军队类
	jundui := "解放军,军队,部队,国防,国防部,军委,军事,战争,军用,军史,军营,野战,后勤保障部,武器装备,装备发展部,战区,陆军,海军,空军,火箭军,战略支援部队,联勤保障,军事法院,军事检察院,军事法庭,卫生勤务,卫勤,运输投送,军需,卫戍区,集团军,训练基地," +
		"卫星发射中心,试训基地,试验训练基地,国防教育,舰,舰队,舰载,航空兵,雷达兵,电子对抗,军装备研究院,炮兵,空降兵,烈士,舟桥,边海防," +
		"人民防空,人防,防空,边海空防,海防,边疆,边防团,国防动员,省军区,军分区,警备区,武装部,人武部,军区&!点军区,经济动员," +
		"科技动员,信息动员,交通动员,卫生动员,征兵,民兵,预备役,转业,军人招待所,军休所,兵员,战争院,军事科学院,国防大学,国防科技大学,国防科大,陆军指挥学院,陆军工程大学,步兵学院,装甲兵学院,炮兵防空兵学院,航空兵学院,陆军特种作战学院,边海防学院,防化学院,陆军勤务学院,陆军军事交通学院,海军指挥学院,海军工程大学,海军大连舰艇学院,海军潜艇学院,海军航空大学,海军勤务学院,海军士官学校,空军指挥学院,空军工程大学,空军航空大学,空军预警学院,空军哈尔滨飞行学院,空军石家庄飞行学院,空军西安飞行学院,空军勤务学院,空军通信士官学校,火箭军指挥学院,火箭军工程大学,火箭军士官学校,战略支援军航天工程大学,战略支援军信息工程大学,武装警察部队指挥学院,武警指挥学院,武装警察部队工程大学,武警工程大学,武装警察部队警官学院,武警警官学院,武装警察部队特种警察学院,武警特种警察学院,武装警察部队后勤学院,武警后勤学院,武装警察部队士官学校,武警士官学校,中国人民解放军国际关系学院,国际关系学院,国防信息学院,解放军西安通信学院,解放军电子工程学院,中国人民解放军理工大学,国防大学政法学院,国防大学政治学院,参谋学院,军事文化学院,后装保障学院,气象海洋学院,军医大学," +
		"军&&医院,部队&&医院,军医大学附属&&医院,安庆医院,武警&&医院,医学中心&&军"
	tagJ1 := TagMatching{
		tagName:     "军队类",
		tagCode:     "001",
		matchField:  []string{"buyer"},
		matchKey:    jundui,
		matchKeyReg: GetRegex(jundui),
	}

	MatchArr = append(MatchArr, tagJ1)
	tagJ2 := TagMatching{
		tagName:     "军队类",
		tagCode:     "001",
		matchField:  []string{"buyer"},
		matchKey:    "第一采购服务站,第二采购服务站,第三采购服务站,第四采购服务站,第五采购服务站",
		matchKeyReg: GetRegex("第一采购服务站,第二采购服务站,第三采购服务站,第四采购服务站,第五采购服务站"),
		addField:    []string{"site"},
		addKey:      "军队,军队采购网",
		addKeyReg:   GetRegex("军队,军队采购网"),
	}
	MatchArr = append(MatchArr, tagJ2)

	//武警类
	tagW1 := TagMatching{
		tagName:     "武警类",
		matchField:  []string{"buyer"},
		matchKey:    "海警,水警,军警",
		matchKeyReg: GetRegex("海警,水警,军警"),
	}
	MatchArr = append(MatchArr, tagW1)

	tagW2 := TagMatching{
		tagName:       "武警类",
		matchField:    []string{"buyer"},
		matchKey:      "武警,武装警察",
		matchKeyReg:   GetRegex("武警,武装警察"),
		excludeField:  []string{"title", "detail", "filetext"},
		excludeKey:    "黄金,森林,水电",
		excludeKeyReg: GetRegex("黄金,森林,水电"),
	}
	MatchArr = append(MatchArr, tagW2)
	tagW3 := TagMatching{
		tagName:     "武警类",
		matchField:  []string{"title", "projectname"},
		matchKey:    "反恐,维稳,军警民,一室一站,一室两站,海警工作站",
		matchKeyReg: GetRegex("反恐,维稳,军警民,一室一站,一室两站,海警工作站"),
	}
	MatchArr = append(MatchArr, tagW3)

	//融通类
	trong := "融通房地产集团,融通地产,兰州君达中山宾馆,三亚君达大东海壹号酒店,太原长安饭店,北京融通远望楼宾馆,合肥君达徽尚酒店,厦门君联天成宾馆," +
		"九江君联庐山酒店,南京君通华江饭店,天津君联京津宾馆,南京融通华山饭店,南京君达金宇饭店,沈阳君达蓝鹰宾馆,成都融通望江宾馆,济南融通联勤宾馆," +
		"武汉君通珞珈山宾馆,武汉君通梅园宾馆,南平君达九峰宾馆,上海君通云峰宾馆,三亚君达海景酒店,西安君达桃园宾馆,昆明君通南疆宾馆,黄山君通翡翠度假村," +
		"湛江君达南疆宾馆,融旅在线（北京）旅游科技,北京融通西直门宾馆,广州君达华海宾馆,拉萨融通珠峰宾馆,烟台君达毓璜顶宾馆,无锡君联飞鸿宾馆,重庆融通红楼宾馆," +
		"济南君达鲁中酒店,青岛君达山海酒店,烟台融通新时代酒店,烟台君通蓝天宾馆,石家庄君达盛华宾馆,郑州君达豫鹰宾馆,海口君联宏翔宾馆,武汉君达蓝天宾馆," +
		"三亚融通海棠湾 9 号度假酒店,怀化君达怀荣宾馆,广州君达金城酒店,泰安君达山海酒店,郑州融通紫荆山宾馆,上海君达天鹅宾馆,广州融通天河宾馆,南宁君通桃源饭店," +
		"北京融通天泰宾馆,天津君联长城宾馆,广州君通荔圃温泉酒店,广州君达金鹰宾馆,济南融通燕子山庄,天津君通津卫酒店,呼和浩特君达凯盛酒店,广州融通东山宾馆,成都融通新华宾馆," +
		"广州君达东风宾馆,成都融通祥宇宾馆,北京融通京海大厦,上海君通蓝天宾馆,秦皇岛君达长城酒店,兰州君通长城宾馆,泰安君通东都宾馆,福州融通梅峰宾馆,成都融通金河宾馆,上海融通延安饭店," +
		"乌鲁木齐君达鸿雁宾馆,昆明融通西南宾馆,杭州融通华北饭店,贵阳君通南天宾馆,北京融通华北宾馆,南京君达华达宾馆,海口君联京航酒店,南京融通华东饭店,南京君通九华饭店,南京君达东宫酒店," +
		"济南君达长城宾馆,长春君达北煦宾馆,北京君达赵家楼饭店,北京君达京通宾馆,南京君达高楼门饭店,广州君通华泰宾馆,广州融通珠江宾馆,南京融通中央饭店,济南君达黄河宾馆,厦门融通白鹭宾馆," +
		"长沙融通长城宾馆,兰州融通西北宾馆,武汉融通中南花园酒店,井冈山君达长城宾馆,杭州君联东海宾馆,西安君达长城宾馆,西宁君联西陲宾馆,济南君达汇源宾馆,中国融通财产保险,融通财险,融寓旅家（北京）公寓管理," +
		"融通农业发展（北京）,融通农业发展（沈阳）,融通农业发展（南京）,融通农业发展（乌鲁木齐）,融通农业发展（济南）,融通农业发展（成都）,融通农业发展（昆明）,融通农业发展（武汉）,融通农业发展（广州）," +
		"融通农业发展（杭州）,融通农发惠君（青岛）,融通粮食产业发展,中国融通财产保险,融通特种物流,融通安保服务,融通安防,融通安保,融通物流,融发能源,融通运输,融通被装发展,陕西融通军民服务社," +
		"融通海油能源,融通运输（上海）,融通运输（广州）,宜宾五商股权投资基金（有限合伙）,中海油山东销售,中化物产（青岛）,莱州市中海油销售,东营中海油交发油品,淄博赛福橡塑,总参谋部第六十研究所," +
		"中国融通科学研究院集团,融通科学院,融通科学研究院,融通资源（海南）,融通资源安徽,融通传媒,北京君通银轮宾馆,新华工程咨询,中国融通安庆医院,上海411医院,安庆116医院,淮安82医院,莆田95医院,鹰潭184医院,镇江359医院,苏州100医院,连云港149医院,马鞍山86医院,宁德442医院,郴州198医院,柳州158医院,曲靖69医院,成都81骨科医院,新疆474医院,临夏7医院,泰安88医院,淄博148医院,包头291医院,沈阳121医院,开封155医院,郑州460医院,信阳154医院,天津272医院,正定256医院,邯郸285医院"
	tagT1 := TagMatching{
		tagName:     "融通类",
		matchField:  []string{"buyer"},
		matchKey:    trong,
		matchKeyReg: GetRegex(trong),
	}

	MatchArr = append(MatchArr, tagT1)
	//退役类
	tagTY := TagMatching{
		tagName:     "退役类",
		matchField:  []string{"buyer"},
		matchKey:    "退役,军事供应站,军供站,转业军官培训中心,光荣医院,优抚医院,军粮,军休所,离退休干部休养所,军事休养所,烈士陵园,烈士纪念设施保护中心",
		matchKeyReg: GetRegex("退役,军事供应站,军供站,转业军官培训中心,光荣医院,优抚医院,军粮,军休所,离退休干部休养所,军事休养所,烈士陵园,烈士纪念设施保护中心"),
	}
	MatchArr = append(MatchArr, tagTY)
	//融办类
	tagRB := TagMatching{
		tagName:     "融办类",
		matchField:  []string{"buyer"},
		matchKey:    "军民融合发展,军民融合发展委员会办公室,军民融合办,军融办,边海防委员会,边防委员会,海防委员会,国防动员委员会,核工业地质局,国防科工局",
		matchKeyReg: GetRegex("军民融合发展,军民融合发展委员会办公室,军民融合办,军融办,边海防委员会,边防委员会,海防委员会,国防动员委员会,核工业地质局,国防科工局"),
	}
	MatchArr = append(MatchArr, tagRB)
	//某某类
	tagMM := TagMatching{
		tagName:     "某某类",
		matchField:  []string{"title", "detail", "filetext"},
		matchKey:    "某部,某部队,某单位,某校,某学院,某大学,某院",
		matchKeyReg: GetRegex("某部,某部队,某单位,某校,某学院,某大学,某院"),
		addField:    []string{"title", "detail", "filetext"},
		addKey:      "军队采购网,全军武器装备采购信息网,军队,装备科研生产单位,保密二级,保密一级,涉密信息系统集成",
		addKeyReg:   GetRegex("军队采购网,全军武器装备采购信息网,军队,装备科研生产单位,保密二级,保密一级,涉密信息系统集成"),
	}
	MatchArr = append(MatchArr, tagMM)
	log.Info("InitRule", zap.Any("globalRegs", len(globalRegs)))
	log.Info("InitRule", zap.Any("MatchArr", len(MatchArr)))
}