package main import ( "encoding/json" "esindex/config" "fmt" "go.mongodb.org/mongo-driver/bson" "go.uber.org/zap" "jygit.jydev.jianyu360.cn/data_processing/common_utils/log" "jygit.jydev.jianyu360.cn/data_processing/common_utils/mongodb" "jygit.jydev.jianyu360.cn/data_processing/common_utils/udp" "math" "net" "regexp" "sort" "strconv" "strings" "time" "unicode" "unicode/utf8" ) //convertToMongoID convertToMongoID func convertToMongoID(query map[string]interface{}) map[string]interface{} { result := make(map[string]interface{}) if query == nil { return result } idMap := query["_id"].(map[string]interface{}) if idMap != nil { tmpQ := map[string]interface{}{} for c, id := range idMap { if idStr, ok := id.(string); ok && id != "" { tmpQ[c] = mongodb.StringTOBsonId(idStr) } } result["_id"] = tmpQ } return result } //StringSliceValuesEqual 判断切片相等 func StringSliceValuesEqual(a, b []string) bool { if len(a) != len(b) { return false } sort.Strings(a) sort.Strings(b) for i := range a { if a[i] != b[i] { return false } } return true } //Float64SliceSum float64 数据求和 func Float64SliceSum(nums []float64) float64 { sum := 0.0 for _, num := range nums { sum += num } return sum } func Float64Equal1Precision(a, b float64) bool { return int(math.Round(a*10)) == int(math.Round(b*10)) } //chargeType 判断mongo 字段类型和 es 字段类型相匹配 func chargeType(ftype, etype string) bool { if ftype != "" { switch ftype { case "string": if etype == "keyword" || etype == "text" { return true } else { return false } case "bool": if etype == "boolean" { return true } else { return false } case "int64", "int32", "int": if etype == "long" || etype == "integer" { return true } else { return false } case "float64", "float32": if etype == "double" || etype == "float" { return true } else { return false } } } return false } //IsHanStart 判断字符串是否以汉字开头或者以字母开头 func IsHanStart(s string) bool { if s == "" { return false } return unicode.Is(unicode.Scripts["Han"], []rune(s)[0]) || unicode.IsLetter([]rune(s)[0]) } // 判断字符是否为汉字 func IsHan(c rune) bool { return unicode.Is(unicode.Scripts["Han"], c) } // 判断公司名称是否以圆括号开头且括号内汉字开头 func IsBracketStartWithHan(s string) bool { if len(s) == 0 || s[0] != '(' { return false } // 索引 i 和 j 分别是左右圆括号的位置,如果找不到右圆括号则返回 false i, j := 0, 0 for j = i + 1; j < len(s); j++ { if s[j] == ')' { break } } if j >= len(s) { return false } // 检查圆括号内是否以汉字或字母开头 bracketContent := s[i+1 : j] if len(bracketContent) == 0 || (!unicode.IsLetter(rune(bracketContent[0])) && !IsHan([]rune(bracketContent)[0])) { return false } return true } //IsCompanyName 判断字符串是否以汉字开头、以括号开头并且括号里面是汉字、以"公司"结尾,其中一个条件符合即返回true,否则返回false func IsCompanyName(s string) bool { r := []rune(s) //if len(r) >= 6 && (string(r[len(r)-6:]) == "有限公司" || string(r[len(r)-6:]) == "股份有限公司") { // return (IsHanStart(s) || IsBracketStartWithHan(s)) //} else if len(r) >= 2 && string(r[len(r)-2:]) == "公司" { // return (IsHanStart(s) || IsBracketStartWithHan(s)) //} if len(r) > 2 { return (IsHanStart(s) || IsBracketStartWithHan(s)) } return false } //GetChineseCharacters 提取字符串中的汉字 func GetChineseCharacters(s string) string { re := regexp.MustCompile(`[\p{Han}]+`) return re.FindString(s) } func getCompanyName(name string) string { if IsCompanyName(name) { return name } return GetChineseCharacters(name) } func IsUnicodeStart(s string) bool { if len(s) == 0 { return false } _, size := utf8.DecodeRuneInString(s) return size > 0 } //RemoveDuplicateSuffix 去除字符串末尾的重复字词 func RemoveDuplicateSuffix(str string, suffix string) string { // 构建正则表达式:^(.*?)(重复的结尾词)+$ re := regexp.MustCompile(fmt.Sprintf(`^(.*?)(%s)+$`, suffix)) matches := re.FindStringSubmatch(str) if len(matches) == 3 { return matches[1] + matches[2] } return str } func findName(name string) []map[string]interface{} { filter := bson.M{"name": name, "status": 1} info, _ := MgoB.Find("wcc_buyer", filter, nil, nil, false, -1, -1) return *info } func findNameID(id string) []map[string]interface{} { filter := bson.M{"name_id": id, "status": 1} info, _ := MgoB.Find("wcc_buyer", filter, nil, nil, false, -1, -1) return *info } //isStringRepeating 判断字符串内字符完全重复,例如:山东大学山东大学 func isStringRepeating(str string) bool { for i := 0; i < len(str); i++ { for j := i + 1; j < len(str); j++ { if str[i] != str[j] { return false } } } return true } //IsInStringArray 判断数组中是否存在字符串 func IsInStringArray(str string, arr []string) bool { // 先对字符串数组进行排序 sort.Strings(arr) // 使用二分查找算法查找字符串 pos := sort.SearchStrings(arr, str) // 如果找到了则返回 true,否则返回 false return pos < len(arr) && arr[pos] == str } //checkName 检查名称,不符合的返回false func checkName(name string) (res bool) { res = true faleNames := []string{"管理有限公司", "有限公司", "技术公司", "制水公司", "工程有限公司", "耐材公司", "检测公司", "某公司", "现对公司", "集装箱码头分公司", "质检分公司", "司公司", "供电分公司", "建设公司", "水城分公司", "工信公司", "棉纺公司", "安装公司", "管公司", "测试公司", "四公司", "电力分公司", "原平分公司", "兰州分公司", "基础设施公司", "陆丰分公司", "郴州分公司", "大渡口分公司", "汽车四分公司", "州大学", "开有限公司", "中小学幼儿园", "上级公司下级公司", "楼及幼儿园", "冷询有限公司", "市第一医院", "发展有阶公司", "楼及号地幼儿园", "第一幼儿园", "楼急救中心", "住宅楼及局", "号国际钻井公司", "管理委员会", "区地块幼儿园", "省人民政府", "具有国家铁路局", "住宅楼及幼儿园", "丿再生资源技术有限公司", "为保证医院", "网及灾备中心", "地块幼儿园", "求石油昆仑燃气限公司", "栋楼及幼儿园", "号固井压裂公司", "号吐哈钻井公司", "股为限公司", "住宅楼及社区服务中心", "井与分公司", "场监督管局", "为了保证本次政府", "人民政府东环街遂办事处", "龙湖区分公司", "澄海侨史馆", "中国移动科", "中国移动学院", "中国移动分公司"} for _, v := range faleNames { if name == v { res = false break } } if len([]rune(name)) < 6 { if strings.HasSuffix(name, "公司") { res = false } else if strings.HasSuffix(name, "办事处") { res = false } else if strings.HasSuffix(name, "分公司") { res = false } else if strings.HasSuffix(name, "管委会") { res = false } else if strings.HasSuffix(name, "支行") { res = false } else if strings.HasSuffix(name, "网络部") { res = false } else if strings.HasSuffix(name, "部队") { res = false } else if strings.HasSuffix(name, "医科大学") { res = false } } if len([]rune(name)) < 7 && strings.HasSuffix(name, "中医药大学") { res = false } if !TDName(name) { res = false } return } //TDName 根据开头、结尾、排除词,筛选名称,筛选不符合的数据 func TDName(name string) (res bool) { res = true if isStringRepeating(name) { //重复数据,山东大学山东大学 res = false log.Info("TDName", zap.String("isStringRepeating", name)) return res } countWords := []string{"教育局", "学校", "大学", "中学", "审计局", "郑州局", "中医院", "部队", "有限公司"} //教育局出现二次 for _, c := range countWords { if strings.Count(name, c) > 1 { res = false log.Info("TDName", zap.String("countWords", c), zap.String("name", name)) return res } } //公司出现三次,错误 if strings.Count(name, "公司") > 2 { res = false log.Info("TDName", zap.String("公司", "公司出现三次")) return res } //公司出现 二次,但是不是分公司 if strings.Count(name, "公司") > 1 { if !strings.Contains(name, "分公司") && !strings.Contains(name, "子公司") && !strings.Contains(name, "市公司") { res = false log.Info("TDName", zap.String("公司", "公司出现二次,但没有分公司, 子公司")) return res } } //开头的单词 preWords := []string{"取消", "转发", "省", "会议室", "某", "某单位", "某公司", "某学校", "测试", "某大学", "某医院", "拟建", "机械", "县", "市", "区", "巡察", "人民", "对", "楼", "家长", "春季", "于", "度", "初级中学", "州", "总部", "一号", "含", "育场", "选择", "第包", "医院", "共赢资产", "从", "实验中学", "公共", "乘用车", "部与", "一直", "一体化", "现对", "现为", "之", "份", "半坡", "下属", "程", "信息", "带", "工务", "技术", "于", "号", "辖属", "造", "计财", "实验", "原", "器械", "是", "师", "雨山区", "云城区", "阜涣", "公联", "批", "总承包", "姓市", "秋季学期", "哈巴河", "保险", "开发区", "尘设资", "团", "物业", "农村", "部", "东省", "于", "章", "董", "分局", "再", "微", "明", "建", "公司", "审计", "满足", "中学", "届", "大学", "按摩", "中心", "附属", "总", "教育局", "中学", "小学", "学院", "中医院", "人医院", "学校", "输", "十六", "有限", "节能", "二公司", "分公司", "子公司", "公司", "审计", "河河", "地公司", "六公司", "三公司", "十六公司", "节能", "股份", "运输公司", "堇", "家纺", "港区"} // 开头 for _, word := range preWords { if strings.HasPrefix(name, word) { res = false log.Info("TDName", zap.String("preWords", word), zap.String("name", name)) return res } } //结尾单词 sufWords := []string{"市", "某单位", "某公司", "某学校", "测试", "某大学", "某医院", "地产鲨", "项目组", "研究", "公国司", "物资", "评估与医院", "年室", "招标", "设有", "复限公司", "服务", "有限责任", "罩套", "有阴公", "人队", "报告", "厕所", "污水处", "检查", "镇中心", "显微镜", "段", "现场局", "租赁", "镇", "市中心", "勐阿糖厂", "展厅", "等医院", "广场室", "水利顷", "市室", "交界处", "自助银行", "若源局", "布局", "联合体", "气室", "活动场", "包装公司", "投资", "有限", "等", "设备", "急件", "有限公司有限公司", "公司公司", "分公司分公司", "大学大学", "学院学院", "大学场", "学校室", "部队部队", "内部", "部分支公司"} //结尾 for _, word := range sufWords { if strings.HasSuffix(name, word) { res = false log.Info("TDName", zap.String("sufWords", word), zap.String("name", name)) return res } } //包含的单词 falseWords := []string{"丿", "艹", "[ ", "【", "?", "亻", "#", "~", "^", "亻", "*", "$", "、", "/", "*", "<>", "[ ", "【", "?", "某", "病历系统", "不予", "薯公", "标段", "电压互感器", "我", "省道", "询比", "学校和幼儿园", "住宅", "询价", "办公区", "项目", "中旎髓细兴", "办么", "测试", "项目部", "飞地园", "购", "鉴定", "实验室", "车务段", "可测性设计", "手术室", "第二期", "退", "催促", "协议中", "影响", "工作", "动力厂", "干扰源", "指定", "达到", "控制器", "竞价", "人哥", "络络络", "路段", "示范区", "一般用", "采供", "修缮", "招标单位", "联系方式", "沟通", "配线架", "及配建", "任务", "分包", "其他", "行为", "中标人", "教室", "安置", "暂行", "建设单位", "选聘", "合同", "转发", "勿救", "既有", "装置", "任务", "开展", "依据", "指定", "试剂", "景观", "包件", "法人", "合格", "短管", "投标文件", "核实", "测汞仪", "黑名单", "制作类", "汇编", "收购", "拿", "丿", "艹", "关于", "要求", "举办", "显示所", "右阴公司", "发射", "加装", "复印纸", "终止", "生产处", "提供", "新建", "该项目", "安装", "造价", "改造", "样品", "课室", "水毁道路", "闲置资产", "#", "南校园", "扩建", "道路维修", "等所", "维稳中心", "异议", "音乐厅", "慰问", "介入", "改建", "即", "建设", "某单位", "医院医院", "中国电建中国电建", "建设建设", "建设规模", "满足", "郑州郑州", "学校学校", "&", ";", ";", "就医院", "酒医院", "至医院", "对", "所需", "提升", "提高", "学期", "学年", "规模", "必须", "建成", "各公司", "公司与公司", "公司的公司", "公司办公司", "养护"} // 包含 for _, word := range falseWords { if strings.Contains(name, word) { res = false log.Info("TDName", zap.String("falseWords", word), zap.String("name", name)) return res } } return } //ruleBuyer 判断采购单位正确,名称错误返回true,名称正确返回false func ruleBuyer(input string) (res bool) { //开头的单词 preWords := []string{"转发", "省", "会议室", "某", "某单位", "某公司", "某学校", "测试", "某大学", "某医院", "拟建", "机械", "县", "市", "区", "巡察", "人民路", "对", "楼", "家长", "春季", "对", "度", "初级中学", "州", "总部", "一号", "含", "育场", "选择", "第包", "医院", "共赢资产", "从", "实验中学", "公共", "乘用车", "部与", "一直", "一体化", "现对", "现为", "之", "份", "半坡", "下属", "程", "信息", "带", "工务", "技术", "于", "号", "辖属", "造", "计财", "实验", "原", "器械", "是", "师", "雨山区", "云城区", "阜涣", "公联", "批", "总承包", "姓市", "秋季学期", "哈巴河", "保险", "开发区", "尘设资", "团", "物业", "农村", "部", "二", "后勤", "位于", "选定", "依法", "口", "代表", "这", "逝沮省", "上半年", "第一", "门市", "配套", "八月", "七月", "集回", "维修", "遴选", "但", "增加", "取消", "采购", "一直", "一体化", "现对", "现为", "之", "份", "取消", "转发", "省", "会议室", "某", "某单位", "某公司", "某学校", "测试", "某大学", "某医院", "拟建", "机械", "县", "市", "区", "巡察", "人民", "对", "楼", "家长", "春季", "于", "度", "初级中学", "州", "总部", "一号", "含", "育场", "选择", "第包", "医院", "共赢资产", "从", "实验中学", "公共", "乘用车", "部与", "一直", "一体化", "现对", "现为", "之", "份", "半坡", "下属", "程", "信息", "带", "工务", "技术", "于", "号", "辖属", "造", "计财", "实验", "原", "器械", "是", "师", "阜涣", "公联", "批", "总承包", "姓市", "秋季学期", "哈巴河", "保险", "开发区", "尘设资", "团", "物业", "农村", "部", "东省", "于", "章", "董", "分局", "再", "微", "明", "建", "公司", "审计", "满足", "中学", "届", "大学", "按摩", "中心", "附属", "总", "教育局", "中学", "小学", "学院", "中医院", "人医院", "学校", "输", "十六", "有限", "节能", "二公司", "分公司", "子公司", "公司", "审计", "河河", "地公司", "六公司", "三公司", "十六公司", "节能", "股份", "运输公司", "堇", "家纺", "港区", "检查"} //开头关键词 for _, word := range preWords { if strings.HasPrefix(input, word) { res = true return res } } //结尾关键词 suffixes := []string{"院院", "局局", "场场", "小学室", "和社", "人屡政府", "谈话室", "小区局", "今作社", "点场", "人昆政府", "年度室", "分行银行", "人政府", "人民矢院", "教学楼局", "笺理局", "地场", "人民唉院", "瞥理局", "所院", "农业衣村局", "民丢局", "委员会老干部", "办非处", "等支局", "监督站局", "停车库局", "检查员", "办直处", "进行局", "楼局", "等局", "人民政府社", "模块局", "人民政俯", "人民医标院", "农业农局", "园局", "规则局", "人乓政府", "人事条局", "箐理所", "在政府", "重点局", "大学入场", "入场", "发也站", "赘源局", "计划生育服务中心政府", "第一人民吹院", "有限公司室", "教标育局", "一民政府", "场部", "埋局", "大学大学", "分公司分公司", "医院医院", "测试", "公司", "市", "显微镜", "段", "现场局", "租赁"} for _, word := range suffixes { if strings.HasSuffix(input, word) { res = true return res } } //包含的关键词 specials := []string{"丿", "艹", "[ ", "【", "?", "亻", "#", "~", "^", "亻", "*", "$", "、", "/", "*", "<>", "[ ", "【", "?", "某", "我", "第一轮", "第一次", "第一词", "第一季", "各学校", "第一批", "完全学校", "一致同意", "X", "保体障局", "人们政府", "上设局", "开发茎", "场场", "设保", "武鳖", "集回", "项日", "代理银行", "辽宁省省会", "菖处", "口国", "人民汰院", "肉州市", "火车站社", "自然资源和规局", "萎员会", "经济技术开发茎", "()", "()", "有限公司厂", "测试", "建设建设", "建设规模", "满足", "郑州郑州", "学校学校", "&", ";", ";", "就医院", "酒医院", "至医院", "对", "所需", "提升", "提高", "学期", "学年", "规模", "必须", "建成", "各公司", "养护", "拿", "艹", "关于", "要求", "举办", "显示所", "右阴公司", "发射", "加装", "扩建", "道路维修", "等所", "维稳中心", "异议", "任务", "分包", "其他", "行为", "中标人", "教室", "安置", "暂行", "选聘", "合同", "转发", "勿救", "既有", "装置", "开展", "依据", "指定", "一般用", "采供", "修缮", "招标单位", "联系方式", "沟通", "该项目", "安装", "造价", "改造", "样品", "课室", "水毁道路", "闲置资产", "某单位", "某公司", "某学校", "测试", "某大学", "某医院", "地产鲨", "项目组", "公国司", "物资", "评估与医院", "年室", "招标", "设有", "复限公司", "服务", "罩套", "有阴公", "人队", "报告", "显微镜", "现场局", "租赁", "镇", "市中心", "勐阿糖厂", "展厅", "等医院", "广场室", "水利顷", "市室", "交界处", "自助银行", "若源局", "布局", "联合体", "气室", "活动场", "包装公司", "投资", "有限", "等", "设备", "急件", "核实", "测汞仪", "黑名单", "制作类", "大学大学", "学院学院", "大学场", "学校室", "部队部队", "内部", "部分支公司", "短管", "投标文件", "汇编", "收购"} for _, v := range specials { if strings.Contains(input, v) { res = true return res } } return res } //SendUdpMsg 通知处理企业新增数据 func SendUdpMsg(data map[string]interface{}, target *net.UDPAddr) { bytes, _ := json.Marshal(data) UdpClient.WriteUdp(bytes, udp.OP_TYPE_DATA, target) log.Info("SendUdpMsg", zap.Any("data", data), zap.Any("target", target)) } //deletePreEsData 删除预处理索引数据 func deletePreEsData(preId string) { now := time.Now() month := int(time.Now().Month()) monthStr := strconv.Itoa(month) year := time.Now().Year() yearStr := strconv.Itoa(year) //当前处理索引名称 preBiddingIndex := fmt.Sprintf("bidding_%s%s", yearStr, monthStr) lastIndex := "" //按小时创建 if config.Conf.Env.SpecType == "hour" { preBiddingIndex = preBiddingIndex + strconv.Itoa(now.Day()) + strconv.Itoa(now.Hour()) last := now.Add(-time.Hour) month2 := int(last.Month()) monthStr2 := strconv.Itoa(month2) year2 := last.Year() yearStr2 := strconv.Itoa(year2) dayStr2 := strconv.Itoa(last.Day()) //上个索引名称 lastIndex = "bidding_" + yearStr2 + monthStr2 lastIndex = lastIndex + dayStr2 + strconv.Itoa(last.Hour()) } else if config.Conf.Env.SpecType == "day" { //按天创建 preBiddingIndex = preBiddingIndex + strconv.Itoa(time.Now().Day()) last := now.AddDate(0, 0, -1) month2 := int(last.Month()) monthStr2 := strconv.Itoa(month2) year2 := last.Year() yearStr2 := strconv.Itoa(year2) dayStr2 := strconv.Itoa(last.Day()) //上个索引名称 lastIndex = "bidding_" + yearStr2 + monthStr2 lastIndex = lastIndex + dayStr2 } else if config.Conf.Env.SpecType == "month" { // 月份; last := now.AddDate(0, -1, 0) month2 := int(last.Month()) monthStr2 := strconv.Itoa(month2) year2 := last.Year() yearStr2 := strconv.Itoa(year2) //上个索引名称 lastIndex = "bidding_" + yearStr2 + monthStr2 } //删除预处理 索引数据 if len(PreEs) == 0 { time.Sleep(time.Second) } for _, client := range PreEs { if client == nil { continue } // 老索引有数据 if client.Count(lastIndex, nil) > 0 { err := client.DeleteByID(lastIndex, preId) if err != nil { fmt.Println("deletePreEsData: ", preId, err) } } err := client.DeleteByID(preBiddingIndex, preId) if err != nil { fmt.Println("deletePreEsData: ", preId, err) } } }