es_index_data/createEsIndex/es_test.go

package main

import (
	"context"
	"encoding/json"
	"esindex/config"
	"fmt"
	"github.com/olivere/elastic/v7"
	"go.uber.org/zap"
	"jygit.jydev.jianyu360.cn/data_processing/common_utils/log"
	"regexp"
	"strconv"
	"strings"
	"testing"
	"time"
)

func TestMatchService(t *testing.T) {
	data := `{

    "_id" : "6422d91e779467cff1a84885",
    "area" : "全国",
    "city" : "",
    "extracttype" : 0,
    "s_sha" : "d7cc66ac91dc6551991df0a37331b628de4c70973c6844f1ee6ef1c2d4e29e95",
    "jsondata" : {
        "area_city_district" : "福建",
        "buyer" : "莆田市第一医院",
        "item" : " 货物/医药品/医用材料/其他医用材料",
        "agency" : "福建省荔卫药械招标服务有限公司"
    },
    "channel" : "地方公告"
}`

	var obj map[string]interface{}
	if err := json.Unmarshal([]byte(data), &obj); err != nil {
		panic(err)
	}

	objectType := MatchService(obj)
	fmt.Println("objectType=>", objectType)
}

func TestGetMappting(t *testing.T) {
	client, _ := elastic.NewClient(
		elastic.SetURL(config.Conf.DB.Es.Addr),
		elastic.SetBasicAuth(config.Conf.DB.Es.Username, config.Conf.DB.Es.Password),
		elastic.SetSniff(false),
	)

	index := config.Conf.DB.Es.IndexB
	// 获取 Elasticsearch 索引的 mapping 信息
	mapping, err := client.GetMapping().Index(index).Do(context.Background())
	if err != nil {
		fmt.Println("Error getting Elasticsearch mapping:", err)
		return
	}

	indexName, _ := GetIndexName(client, index)
	properties := mapping[indexName].(map[string]interface{})["mappings"].(map[string]interface{})["properties"].(map[string]interface{})

	var errField = make([]string, 0)
	var okField = make([]string, 0)
	var analyzerMap = make(map[string]string) // 分词信息
	var esMap = make(map[string]string)       //存储es 字段类型
	//
	for field, ftype := range BiddingField {
		eftypeMap, _ := properties[field].(map[string]interface{})
		var etype string
		var analyzer string
		if fftype, ok := eftypeMap["type"]; ok {
			etype = fftype.(string)
			esMap[field] = etype
		}
		if ffanalyzer, ok := eftypeMap["analyzer"]; ok {
			analyzer = ffanalyzer.(string)
			analyzerMap[field] = analyzer
		}

		if ftype != "" {
			if chargeType(ftype, etype) {
				okField = append(okField, field)
			} else {
				errField = append(errField, field)
			}
		} else {
			if field == "_id" {
				continue
			} else if field == "purchasinglist" || field == "package" || field == "winnerorder" || field == "procurementlist" {
				if eproperties, ok := eftypeMap["properties"]; ok {
					if eproMap, ok := eproperties.(map[string]interface{}); ok {
						for k, v := range eproMap {
							if innerMap, ok := v.(map[string]interface{}); ok {
								if innerType, ok := innerMap["type"]; ok {
									innerLevel := BiddingLevelField[field]
									esMap[fmt.Sprintf("%s.%s", field, k)] = innerType.(string)
									if chargeType(innerLevel[k], innerType.(string)) {
										okField = append(okField, fmt.Sprintf("%s.%s", field, k))
									} else {
										errField = append(errField, fmt.Sprintf("%s.%s", field, k))
									}
								}
							}
						}
					}
				}
			}
		}
	}

	if len(errField) > 0 {
		log.Info("test", zap.Int("错误字段数量", len(errField)))
		for _, field := range errField {
			if strings.Contains(field, ".") {
				fe := strings.Split(field, ".")
				log.Info(fmt.Sprintf("%s 字段类型错误", field), zap.String(fmt.Sprintf("数据库类型为:%s,但是es字段类型是:", BiddingLevelField[fe[0]][fe[1]]), esMap[field]))
			} else {
				log.Info(fmt.Sprintf("%s 字段类型错误", field), zap.String(fmt.Sprintf("数据库类型为:%s,但是es字段类型是:", BiddingField[field]), esMap[field]))
			}
		}
	} else {
		log.Info("es 字段类型检测结束，", zap.Int("所有字段都符合,检测字段数量为:", len(okField)))
	}

}

func TestGetIndexName(t *testing.T) {
	client, _ := elastic.NewClient(
		elastic.SetURL(config.Conf.DB.Es.Addr),
		elastic.SetBasicAuth(config.Conf.DB.Es.Username, config.Conf.DB.Es.Password),
		elastic.SetSniff(false),
	)

	index := "bidding_v2"
	//index := config.Conf.DB.Es.IndexB

	name, _ := GetIndexName(client, index)
	fmt.Println("name ->", name)
	fmt.Println(name)
}

func TestBuyer(t *testing.T) {
	rowsPerPage := 1000
	currentPage := 1

	var total int
	for {
		fmt.Println("currentPage", currentPage)
		arrEs := make([]map[string]interface{}, 0)
		offset := (currentPage - 1) * rowsPerPage
		query := fmt.Sprintf(`
             SELECT * from goods
			
            LIMIT %d, %d;
        `, offset, rowsPerPage)

		result := Mysql.SelectBySql(query)

		if len(*result) > 0 {
			for _, re := range *result {
				arrEs = append(arrEs, re)
			}

		}

		total = total + len(*result)
		if len(*result) < rowsPerPage {
			break
		}

		// 继续查询下一页
		currentPage++
	}

	fmt.Println("over --------")
	fmt.Println("total --------", total)
}

func TestIsHanStart(t *testing.T) {
	name := "\\u001c 陈巴尔虎旗天顺矿业有限责任公司"
	fmt.Println("aa", IsCompanyName(name))

	//fmt.Println("uni", IsUnicodeStart(name))
	fmt.Println("name", getCompanyName(name))
	name = "RT农业发展（乌鲁木齐）有限责任公司"
	//fmt.Println("uni", IsUnicodeStart(name))

	fmt.Println("bb", IsCompanyName(name))
	fmt.Println("name", getCompanyName(name))
	name = "(宁波)综命能源服务有限公司"
	fmt.Println("name", getCompanyName(name))
	//fmt.Println("uni", IsUnicodeStart(name))
	fmt.Println("cc", IsCompanyName(name))

	a := 15
	b := 2
	fmt.Println((a / b) + 1)

}

func TestParseTime(t *testing.T) {

	//dateString := "2023年12月"
	//
	//// 正则表达式匹配
	//pattern := `(\d{4})[年.\-/]?(\d{1,2})[月.\-/]?(\d{1,2})日?$`
	//re := regexp.MustCompile(pattern)
	//match := re.FindStringSubmatch(dateString)
	//
	//if len(match) >= 4 {
	//	year, _ := strconv.Atoi(match[1])
	//	month, _ := strconv.Atoi(match[2])
	//	day, _ := strconv.Atoi(match[3])
	//
	//	dateInt64 := int64(year*10000 + month*100 + day)
	//	fmt.Println(dateInt64)
	//} else {
	//	fmt.Println("Date string does not match the pattern.")
	//}
	//
	//str := "2023年09月24日"
	//arr := getMethod(str)
	//
	//fmt.Println(arr)
	dateStrings := []string{
		"2022年3月",
		"2022-03",
		"2022-3",
		"2022-10-10",
		"2022.2",
		"2022.02.1",
		"2022.12.12",
		"2022年10月",
		"2022年10月12日",
		"2022-10",
		"2023/4/28 0:12:12",
		"[2023/8/28/]",
		"2023-8-28T12:12:12",
		"2023.8/28",
		"8/28",
	}

	for _, dateString := range dateStrings {
		timestamp, err := parseDateString(dateString)
		if err != nil {
			fmt.Printf("Error parsing date string '%s': %v\n", dateString, err)
		} else {
			fmt.Printf("Date string: '%s', Timestamp: %d\n", dateString, timestamp)
		}
	}

}

func parseDateString(dateString string) (int64, error) {
	// Regular expressions for different date formats
	regexPatterns := []string{
		//`^(\d{4})年(\d{1,2})月(\d{1,2})日?$`,
		//`^(\d{4})年(\d{1,2})月$`,
		//`^(\d{4})-(\d{1,2})-(\d{1,2})$`,
		//`^(\d{4})年(\d{1,2})$`,
		//`^(\d{4})\-(\d{1,2})$`,
		//`^(\d{4})\.(\d{1,2})\.(\d{1,2})$`,
		//`^(\d{4})\.(\d{1,2})$`,
		//`^(\d{4})年$`,
		//`^(\d{4})$`,
		`(\d{4})[年.\-/]?(\d{1,2})[月.\-/]?(\d{1,2})日?`,
		`(\d{1,2})[月.\-/]?(\d{1,2})日?`,
	}

	for _, pattern := range regexPatterns {
		re := regexp.MustCompile(pattern)
		match := re.FindStringSubmatch(dateString)
		if len(match) > 0 {
			year, _ := strconv.Atoi(match[1])
			month, _ := strconv.Atoi(match[2])

			var day int
			if len(match) >= 4 && match[3] != "" {
				day, _ = strconv.Atoi(match[3])
			} else {
				day = 1
			}

			parsedTime := time.Date(year, time.Month(month), day, 0, 0, 0, 0, time.UTC)
			return parsedTime.Unix(), nil
		}
	}

	return 0, fmt.Errorf("unrecognized date format")
}

func TestYuceEndtime(t *testing.T) {
	data, _ := MgoB.FindById("bidding", "657ac63c6977356f55773c3e", nil)
	YuceEndtime(*data)
	fmt.Println(data)
}

func TestRemoveDuplicates(t *testing.T) {
	detail := make([]string, 0)
	text := `       <table><br/><tbody><tr>                                        <td>                                            <br/></td>                                    </tr>                                    <tr>                                        <td></td>                                    </tr>                                    <tr>                                        <td><br/></td></tr><tr><td colspan=\"2\">日照市土地收储测绘中介机构库建设项目公开招标公告<br/></td></tr><tr><td>一、采购人：日照市国土资源局    地址：日照市泰安路59号</td></tr><tr><td>        联系方式：0633-8776932</td></tr><tr><td>        采购代理机构：日照路达招标代理有限公司    地址：日照市山东路1000号华润置地广场1号楼13楼</td></tr><tr><td>        联系方式：0633-8010707</td></tr><tr><td>二、采购项目名称：日照市土地收储测绘中介机构库建设项目</td></tr><tr><td>        采购项目编号（采购计划编号）：SDGP371100201802000165</td></tr><tr><td>        采购项目分包情况：</td></tr><tr><td><table border=\"1\"><tbody><tr><td>标包</td><td>货物服务名称</td><td>数量</td><td>投标人资格要求</td><td>本包预算金额（最高限价，单位：万元）</td></tr><tr><td>A</td><td>日照市土地收储测绘中介机构库建设项目 </td><td>1 </td><td>1.供应商须为在中华人民共和国境内注册的独立法人单位或其他组织,能独立承担民事责任和合同义务，能在国内合法提供采购内容及其相应的服务；2.供应商须具备丁级及以上测绘资质；3.供应商参加政府采购活动前3年内在经营活动中没有重大违法记录；4.由采购代理机构通过“信用中国”网站（www.creditchina.gov.cn）、中国政府采购网（www.ccgp.gov.cn）、“信用山东”（www.creditsd.gov.cn）、“全国法院失信被执行人名单信息公布与查询”平台（shixin.court.gov.cn）现场统一查询供应商信用记录，未被列入失信被执行人名单、重大税收违法案件当事人名单、政府采购严重违法失信行为记录名单；5.本次招标不接受供应商以联合体形式投标。供应商应符合《中华人民共和国政府采购法》第二十二条规定。6.单位负责人为同一人或者存在控股、管理关系的不同单位，或同一母公司的子公司，不得参加同一标段投标或者未划分标段的同一招标项目投标。 </td><td>0.000100 </td></tr></tbody></table></td></tr><tr><td>三、需求公示（见附件）</td></tr><tr><td></td></tr><tr><td>四、获取招标文件</td></tr><tr><td>        1.时间：2018年12月19日8时30分至2018年12月25日17时30分（报名截止时间）（北京时间，法定节假日除外）</td></tr><tr><td>        2.地点：供应商登录日照市公共资源交易网（http://www.rzggzyjy.gov.cn/）凭企业数字证书（CA）身份认证密匙下载招标文件（格式为*.word）,此为获取招标文件唯一途径。</td></tr><tr><td>        3.方式：自行下载。企业未领取企业数字证书（CA）的，到日照市公共资源交易中心二楼窗口办理。凡有意参加本次政府采购的供应商必须在中国山东政府采购网进行注册并备案。供应商请访问中国山东政府采购网(http://www.ccgp-shandong.gov.cn)，在报名截止时间前注册并备案。</td></tr><tr><td>        4.售价：无</td></tr><tr><td>五、公告期限：2018年12月19日 至 2018年12月25日</td></tr><tr><td>六、递交投标文件时间及地点</td></tr><tr><td>        1.时间：2019年1月8日14时0分至2019年1月8日14时30分（北京时间）</td></tr><tr><td>        2.地点：日照市公共资源交易中心（日照市国际金融中心B座）四楼第六开标室。</td></tr><tr><td>七、开标时间及地点</td></tr><tr><td>        1.时间：2019年1月8日14时30分（北京时间）</td></tr><tr><td>        2.地点：日照市公共资源交易中心（日照市国际金融中心B座）四楼第六开标室</td></tr><tr><td>八、采购项目联系方式：</td></tr><tr><td>        联系人：张强        联系方式：0633-8010707</td></tr><tr><td>九、采购项目的用途、数量、简要技术要求等<br/>        详见招标文件</td></tr><tr><td>十、采购项目需要落实的政府采购政策<br/>        本项目需落实的节能环保、中小微型企业扶持、监狱企业扶持、残疾人福利性企业等政府采购政策详见招标文件。</td></tr>                                            <br/><tr>                                        <td></td>                                    </tr>                                    <tr>                                        <td>发布人：张强</td>                                    </tr>                                    <tr>                                        <td>发布时间：2018年12月18日 23时40分04秒</td>                                    </tr>                                    <tr>                                        <td></td>                                    </tr>                                    <tr>                                        <td>                                              相关信息                                            <br/></td><br/></tr>                                    <tr><td>1、日照市国土资源局日照市土地收储测绘中介机构库建设项目需求公开</td></tr><tr><td>2、日照市土地收储测绘中介机构库建设项目公开招标公告</td></tr><br/></tbody></table>`

	da, _ := CleanHTMLTags(text)
	characterArray := SplitTextByChinesePunctuation(da)
	detail = append(detail, RemoveDuplicates(characterArray)...)
	//strs := []string{"我爱你-", "我很爱你", "爱你+&*^%(((((", "你好", "我爱你"}
	//result := RemoveDuplicates(strs)
	result := strings.Join(detail, " ")
	fmt.Println(result)
}