备份-预算-中标单位-中标金额

src/jy/extract/extpackage.go

@@ -185,7 +185,7 @@ func PackageDetail(j *ju.Job, e *ExtractTask, isSite bool, codeSite string) {
 			for _, pkName := range tmpkeys {
 				tmpindex++
 				pkg, ok := j.BlockPackage[pkName]
-				if !ok || (utf8.RuneCountInString(pkName) > 7 && len(tmpkeys)==1) {
+				if !ok || (utf8.RuneCountInString(pkName) > 7 && len(tmpkeys)>=1) {
 					continue
 				}
 				//是否清理标记

src/jy/extract/extract.go

@@ -571,6 +571,9 @@ func (e *ExtractTask) ExtractProcess(j, jf *ju.Job, isSite bool) {
 						j.Result[tmpk] = append(j.Result[tmpk], jf.Result[tmpk]...)
 					}
 				}
+				//if tmpk=="buyer" { //附件数据-没有正文靠谱
+				//	j.Result[tmpk] = append(j.Result[tmpk], jf.Result[tmpk]...)
+				//}
 			}
 		}
 		if len(j.Winnerorder) == 0 && jf.Winnerorder != nil && len(jf.Winnerorder) > 0 {
@@ -2011,7 +2014,7 @@ func AnalysisSaveResult(j, jf *ju.Job, e *ExtractTask) {
 		if len(j.PackageInfo) > 0 { //分包信息
 			tmp["package"] = j.PackageInfo
 			//包预算，中标金额合并大于抽取就覆盖
-			var tmpBidamount, tmpBudget,tmpAgencyfee float64
+			tmpBidamount, tmpBudget,tmpAgencyfee:=qu.Float64All(0),qu.Float64All(0),qu.Float64All(0)
 			//s_winner逗号分隔拼接，分包中标人
 			var tmpstr, savewinner []string
 			//按包排序
@@ -2025,13 +2028,13 @@ func AnalysisSaveResult(j, jf *ju.Job, e *ExtractTask) {
 				//包数大于1累加
 				for _, v := range j.PackageInfo {
 					if v["budget"] != nil {
-						tmpBudget += qu.Float64All(v["budget"])
+						tmpBudget = precisionAddFloat(tmpBudget,qu.Float64All(v["budget"]))
 					}
 					if v["bidamount"] != nil {
-						tmpBidamount += qu.Float64All(v["bidamount"])
+						tmpBidamount = precisionAddFloat(tmpBidamount,qu.Float64All(v["bidamount"]))
 					}
 					if v["agencyfee"] != nil {
-						tmpAgencyfee += qu.Float64All(v["agencyfee"])
+						tmpAgencyfee = precisionAddFloat(tmpAgencyfee,qu.Float64All(v["agencyfee"]))
 					}
 				}
 				if qu.Float64All(tmp["budget"]) < tmpBudget {
@@ -2565,6 +2568,17 @@ func dealWithDiscountBid(tmp map[string]interface{}) float64 {
 
 	return 0.0
 }
+//精度丢失-相加
+func precisionAddFloat(tmp1,tmp2 float64)float64{
+	num1:=decimal.NewFromFloat(tmp1)
+	num2:=decimal.NewFromFloat(tmp2)
+	decimalValue := num2.Add(num1)
+	res,_ := decimalValue.Float64()
+	return res
+}
+
+
+
 
 
 //保存其他

src/jy/extract/newextractcity.go

@@ -394,7 +394,11 @@ func (e *ExtractTask) NewGetCityByAreaCode(j *ju.Job, buyertel string) (province
 				citytmp := ac.C
 				if len(citytmp) == 1 { //对应多个city舍去
 					city = citytmp[0]
-					PCDScore(j, "city", city, 5, true)
+					score := float64(5)
+					if areacode=="0371" {
+						score = float64(4)
+					}
+					PCDScore(j, "city", city, score, true)
 				}
 				PCDScore(j, "province", province, 5, true)
 			} else {

src/jy/pretreated/analystep.go

@@ -13,8 +13,9 @@ import (
 
 	"github.com/PuerkitoBio/goquery"
 )
-//投标文件格式
+//投标文件格式 技术评分明细表
 var yjReg *regexp.Regexp = regexp.MustCompile("(打分表|负责人|单位|个人|投标人|项目|企业)业绩|主要人员相关资料|唱标记录|标的名称|否决投标的?情况说明")
+var blTextReg *regexp.Regexp = regexp.MustCompile("(打分表|负责人|单位|个人|投标人|项目|企业)业绩|主要人员相关资料|唱标记录|否决投标的?情况说明")
 var hisReg = regexp.MustCompile("(开标记录|类似业绩|历史业绩|填报项目业绩|[得评]+[审打]{0,2}分情况|无效标)[：:\n]*.*?[\n]?(</td>)")
 var hisReg2 = regexp.MustCompile("(开标记录|(中标候选人)?业绩|[得评]+[审打]{0,2}分情况|无效标)[：:\n]*.*?[\n]?(.*原因及其依据.*[:：]?)?[\n]?.*?[\n]?(</tr>|</table>|</td>)")
 
@@ -59,6 +60,9 @@ func AnalyStart(job *util.Job, isSite bool, codeSite string) {
 			ration = newration
 		}
 	}*/
+	//计算是否规则-不规则
+
+
 	job.BlockPackage = map[string]*util.BlockPackage{}
 	//分块+处理每块kv
 	blockArrays, _ := DivideBlock(job.CategorySecond, con, 1, job.RuleBlock, isSite, codeSite)
@@ -118,6 +122,9 @@ func AnalyStart(job *util.Job, isSite bool, codeSite string) {
 				//blockTag - 块标签
 				//处理表格
 				tabres := AnalyTableV2(tabs[i], job.Category, blockTag, con, 1, job.SourceMid, job.RuleBlock, isSite, codeSite) //解析表格入口 返回：汇总表格对象
+				if tabres.TableSize>0 {
+
+				}
 				processTableResult(tabres, bl, job, isSite, codeSite)
 			}
 		} else {
@@ -125,9 +132,8 @@ func AnalyStart(job *util.Job, isSite bool, codeSite string) {
 			job.BlockPackage = FindPackageFromText(job.Title, newCon, isSite, codeSite)
 		}
 		bl.Text = HtmlToText(con)
-		//log.Println(bl.Text)
 		FindProjectCode(bl.Text, job) //匹配项目编号
-		if yjReg.MatchString(bl.Text) {
+		if blTextReg.MatchString(bl.Text) {
 			if strings.Index(bl.Text, "业绩") > 1 {
 				bl.Text = bl.Text[:strings.Index(bl.Text, "业绩")]
 			}
@@ -165,6 +171,9 @@ func processTableInBlock(bl *util.Block, job *util.Job, isSite bool, codeSite st
 		//	tabres.PackageMap = nil
 		//	tabres.IsMultiPackage = false
 		//}
+		if tabres.TableSize>0 {
+
+		}
 		processTableResult(tabres, bl, job, isSite, codeSite) //分析table解析结果
 		if bl.Title == "" && tabres.BlockTag != "" {
 			bl.Title = tabres.BlockTag

src/jy/pretreated/analytable.go

@@ -108,8 +108,8 @@ var (
 	NullTxtBid     = "成交供应商排名"
 	projectnameReg = regexp.MustCompile("((公开)?招标)*[(（第]*[一二三四五六七八九十a-zA-Z0-9]+(标段|包|标|段)[)）]*$")
 	MhSpilt        = regexp.MustCompile("[:：]")
-	//识别采购单位联系人、联系电话、代理机构联系人、联系电话
-	ContactInfoVagueReg = regexp.MustCompile("邮政编码|邮编|(征求意见|报名审核购买)?((联系人?(及|和)?|办公|单位)?(((联系)?(电话|方式|号码)([／/及]传真|及手机)?|手机)(号码)?|邮箱(地址)?|(详细)?(地(址|点)))|(联系|收料)(人(姓名)?|方式)|传真|电子邮件|(主要负责|项目(负责|联系)|经办)人)|采购方代表")
+	//识别采购单位联系人、联系电话、代理机构联系人、联系电话  -- 名称有异常
+	ContactInfoVagueReg = regexp.MustCompile("邮政编码|邮编|名称|(征求意见|报名审核购买)?((联系人?(及|和)?|办公|单位)?(((联系)?(电话|方式|号码)([／/及]传真|及手机)?|手机)(号码)?|邮箱(地址)?|(详细)?(地(址|点)))|(联系|收料)(人(姓名)?|方式)|传真|电子邮件|(主要负责|项目(负责|联系)|经办)人)|采购方代表")
 	ContactInfoMustReg  = regexp.MustCompile("^(" + ContactInfoVagueReg.String() + ")$")
 	ContactType         = map[string]*regexp.Regexp{
 		"采购单位": regexp.MustCompile("(采购(项目.{2}|服务)?|比选|询价|招标(服务)?|甲|建设|委托|发包|业主|使用|谈判|本招标项目经办|征求意见联系|项目实施)(人|单位|部门|机构|机关|(执行)?方$)|(项目|建(库|设))单位|招标人信息|采购中心(地址)?|业主|收料人|采购部"),
@@ -877,7 +877,7 @@ func (table *Table) Analy(contactFormat *u.ContactFormat, isSite bool, codeSite
 	return ts
 }
 
-var fblbReg *regexp.Regexp = regexp.MustCompile("(废标|流标|负责人资格|负责人业绩|相关业绩|开标记录|附件[:0-9]|越南盾|技术分|填报项目业绩|未通过.*原因)")
+var fblbReg *regexp.Regexp = regexp.MustCompile("(废标|流标|负责人资格|负责人业绩|相关业绩|技术评分明细表|开标记录|附件[:0-9]|越南盾|技术分|填报项目业绩|未通过.*原因)")
 
 //遍历节点，初始化table 结构体
 func (table *Table) createTabe(trs *goquery.Selection, isSite bool, codeSite string) {
@@ -948,7 +948,7 @@ func (tn *Table) AnalyTables(contactFormat *u.ContactFormat, isSite bool, codeSi
 			}
 			//对有表头表格的处理
 			if table.Tag != "" {
-				co, m, b := CheckMultiPackage(table.Tag, "") //分包处理
+				co, m, b := CheckMultiPackage(table.Tag) //分包处理
 				if b {
 					table.BPackage = b
 					if len(table.BlockPackage.Map) == 0 {
@@ -991,7 +991,7 @@ func (table *Table) tableSubDemolitionTable() []*Table {
 			td := tr.TDs[0] //取每行第一个td
 			//td开始列等于0 && td结束列+1等于table列数 && td长度大于1小于50
 			if td.StartCol == 0 && td.EndCol+1 == table.ColNum && len([]rune(td.Val)) > 1 && len([]rune(td.Val)) < 50 {
-				con, m1, b := CheckMultiPackage(td.Val, "") //判断分包
+				con, m1, b := CheckMultiPackage(td.Val) //判断分包
 				if b {
 					for k, _ := range m1 {
 						numstr := u.PackageNumberConvert(k)
@@ -1523,9 +1523,9 @@ func (table *Table) FindKV(isSite bool, codeSite string) {
 		//若第一排全为头-临时让第二排-新增 左临 查询，zhengkun
 		tb_first_allhead := false
 		for tr_index, tr := range table.TRs {
-			//if  kkk==18 || kkk==21 {
-			//	log.Println("调试指定tr")
-			//}
+			if  tr_index==6 {
+				//fmt.Println("调试指定tr")
+			}
 			bcon = trSingleColumn(tr, bcon, table) //tr单列,是否丢弃内容
 			if bcon {
 				continue

src/jy/pretreated/division.go

@@ -115,6 +115,7 @@ var (
     packageReg2 = regexp.MustCompile("标段[(（]包[）)][\\[][O0]+([1-9一二三四五六七八九])[\\]]")
 	packageReg3 = regexp.MustCompile("(中标价格)[:：]")
 
+	untitleReg  = regexp.MustCompile("(技术评分明细表)")
 )
 
 //分块
@@ -765,14 +766,16 @@ func divisionPackageChild(blockPackage *map[string]*util.BlockPackage, content,
 	content = regMoreWrap.ReplaceAllString(content, "\n")
 	content = regEndWrap.ReplaceAllString(content, "")
 	content = regBZJWarap.ReplaceAllString(content, "")
-
-
 	//替换敏感词
 	content = packageReg1.ReplaceAllString(content,"${1}\n中标单位:${2}\n")
 	content = packageReg2.ReplaceAllString(content,"\n标段${1}:")
 	content = packageReg3.ReplaceAllString(content,"\n${1}:")
 
-	con, pkg, flag := CheckMultiPackage(content, title) //找pkg分包包名
+
+	if untitleReg.MatchString(title){
+		return false, ""
+	}
+	con, pkg, flag := CheckMultiPackage(content) //找pkg分包包名
 	if !flag {
 		return false, ""
 	}

src/jy/pretreated/multipackage.go

@@ -21,7 +21,7 @@ var (
 	PreCon3 = regexp.MustCompile("(标段[一二三四五六七八九十0-9A-Za-z])[(（].*[)）][:：]")
 
 	//提取分包标识
-	MultiReg = regexp.MustCompile("(([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-])+(包|标段|分标))[:：]?|(?:^|\\n)([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-]+(包))|([第]?([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-]+)#?((子|合同|分|施工|监理)?(标段?|合同段|标包)))|(((子|分|合同|施工|监理|标包|标|包)(标|包段|项|段|组)?)[ 　　  ]*([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-]+))|((项目|包件)([一二三四五六七八九十1-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ]+))|((包组|包件)[:：\\s]+([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-]+))|((施工|监理)(标段))[:：\n]")
+	MultiReg = regexp.MustCompile("(([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-])+(包|标段|分标))[:：]?|(?:^|\\n)([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-]+(包))|([第]?([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-]+)#?((子|合同|分|施工|监理)?(标段?|合同段|标包)))|(((子|合同|施工|监理|标包|标|包)(标|包段|项|段|组)?)[ 　　  ]*([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-]+))|((项目|包件)([一二三四五六七八九十1-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ]+))|((包组|包件)[:：\\s]+([一二三四五六七八九十0-9A-Za-zⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫ\\-]+))|((施工|监理)(标段))[:：\n]")
 	PreCon4 = regexp.MustCompile("([一二三四五六七八九十]标段[:：￥0-9.]*(万元)?)[、]?")
 	Precon4dw = regexp.MustCompile("(万元|元)")
 	//匹配到的包格式分类统计
@@ -46,17 +46,15 @@ var (
 )
 
 //判断分包
-func CheckMultiPackage(con, title string) (content string, m map[string][]string, b bool) {
+func CheckMultiPackage(con string) (content string, m map[string][]string, b bool) {
 	m = map[string][]string{}
 	con = PreReg.ReplaceAllString(con, "")
 	con = PreReg1.ReplaceAllString(con, "")
-
 	content = con
 	con = PreCheckMulti.ReplaceAllString(con, "")
 	con = PreCon.ReplaceAllString(con, "\n")
 	con = PreCon2.ReplaceAllString(con, "")
 	con = PreCon3.ReplaceAllString(con, "${1}:")
-
 	//修改 \nX标段
 	res := MultiReg.FindAllStringSubmatch(con, -1)
 	if len(res) > 0 {

src/jy/pretreated/winnerorder.go

@@ -44,7 +44,7 @@ var (
     winnerReg9     = regexp.MustCompile("(第[一二三四五六七八九十]中[选|标]?候选人|中标人[1-9])[:：\\s]+?([\u4E00-\u9FA5]{4,20})[\\s]+([0-9\\.\\s万元]+)")
     winnerReg10    = regexp.MustCompile("(第[一二三四五六七八九十]中标人)[:：\\s]+?报价[￥]?([0-9\\.\\s万元]+)[;；]([\u4E00-\u9FA5]{4,20})")
 	winnerReg11     = regexp.MustCompile("([弟|第][一二三四五六七八九十]中[标|选]候选人)[:：\\s]+?(单位名称|投标人名称)[:：]?(.*)[\\s]+?(参选报价|投标报价[(（]含税[)）]|投标报价[(（]元[)）])[:：]?(.*)")
-    winnerReg12     = regexp.MustCompile("(中[标|选]候选人[弟|第][一二三四五六七八九十0-9]名|[弟|第][一二三四五六七八九十0-9](中标)?候选人)[:：\\s ]+?(.*)[ \\s，,]+?(投标报价|金额)[:：]?([0-9\\.\\s万元]+)")
+    winnerReg12     = regexp.MustCompile("(中[标|选]候选人[弟|第][一二三四五六七八九十0-9]名|[弟|第][一二三四五六七八九十0-9](中标)?候选人)[:：\\s ]+?(.*)[ \\s，,]+?(投标报价|投标总报价|金额)[:：]?([0-9\\.\\s万元]+)")
 	winnerReg13     = regexp.MustCompile("([弟|第][一二三四五六七八九十0-9])\n(成交候选人|成交供应商)\n(.*)\n([0-9\\.\\s万元]+)")
 	winnerReg14  = regexp.MustCompile("(中标候选人|成交候选人)\n.*\n.*\n第[1-9][\\s]+?名")
  	winnerReg14_1  = regexp.MustCompile("(第[1-9])[\\s]+?名[:：](.{4,20}公司)[\\s]+中标价[:：]([0-9\\.\\s万元]+)")

src/main.go

@@ -67,7 +67,7 @@ func main() {
 
 
 	//临时调试
-	testMain()
+	//testMain()
 
 	lock := make(chan bool)
 	<-lock

src/out.log

@@ -29309,3 +29309,225 @@ asdasdasdadsadasdasda
 2021/11/26 15:06:04 extractudp.go:245: debug  查询条件为: map[_id:map[$gt:ObjectIdHex("114168ea1a75b8f44678a39b") $lte:ObjectIdHex("9142e5741a75b8f4467b3276")]] 查询条数: 389
 2021/11/26 15:08:15 extractudp.go:293: debug  抽取完成, count： 389 ,index： 389 ,bidtotal： 389 ,eid： 9142e5741a75b8f4467b3276
 2021/11/26 15:08:15 extractudp.go:68: debug  抽取完成udp通知抽取id段-控制台 biddingall 114168ea1a75b8f44678a39b ~ 9142e5741a75b8f4467b3276
+2021/11/26 17:01:42 main.go:86: debug  标段3：
+2021/11/26 17:01:42 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 09:13:24 main.go:86: debug  标段3：
+2021/11/29 09:13:24 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 11:04:54 main.go:86: debug  标段3：
+2021/11/29 11:04:54 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 11:19:02 main.go:86: debug  标段3：
+2021/11/29 11:19:02 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 11:33:35 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 11:33:35 main.go:86: debug  标段3：
+2021/11/29 11:36:23 main.go:86: debug  标段3：
+2021/11/29 11:36:23 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 11:40:51 main.go:86: debug  标段3：
+2021/11/29 11:40:51 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:35:52 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:35:52 main.go:86: debug  标段3：
+2021/11/29 16:36:46 main.go:86: debug  标段3：
+2021/11/29 16:36:46 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:38:12 main.go:86: debug  标段3：
+2021/11/29 16:38:12 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:44:44 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:44:44 main.go:86: debug  标段3：
+2021/11/29 16:45:19 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:45:19 main.go:86: debug  标段3：
+2021/11/29 16:46:43 main.go:86: debug  标段3：
+2021/11/29 16:46:43 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:46:53 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:46:53 main.go:86: debug  标段3：
+2021/11/29 16:47:46 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:47:46 main.go:86: debug  标段3：
+2021/11/29 16:54:28 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 16:54:28 main.go:86: debug  标段3：
+2021/11/29 17:02:04 main.go:86: debug  标段3：
+2021/11/29 17:02:04 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 17:03:20 main.go:86: debug  标段3：
+2021/11/29 17:03:20 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 17:03:33 main.go:86: debug  标段3：
+2021/11/29 17:03:33 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 17:03:48 main.go:86: debug  标段3：
+2021/11/29 17:03:48 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 17:05:14 main.go:86: debug  标段3：
+2021/11/29 17:05:14 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 17:05:34 main.go:86: debug  标段3：
+2021/11/29 17:05:34 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 17:13:19 main.go:86: debug  标段3：
+2021/11/29 17:13:19 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/29 17:13:27 main.go:86: debug  标段3：
+2021/11/29 17:13:27 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 09:25:44 main.go:86: debug  标段3：
+2021/11/30 09:25:44 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 09:26:08 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 09:26:08 main.go:86: debug  标段3：
+2021/11/30 09:26:31 main.go:86: debug  标段3：
+2021/11/30 09:26:31 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 09:26:42 extractInit.go:220: debug  task &map[_id:ObjectIdHex("60b493c2e138234cb4adb640") i_process:4 l_createtime:1622447042 l_lasttime:1638235582 s_descript:60b493c2e138234cb4adb640 s_extlastid:1 s_mgoaddr:127.0.0.1:27017 s_mgocoll:zktest_works_test s_mgodb:qfw s_mgosavecoll:127.0.0.1:27017/zhengkun/zktest_works_test_new s_taskname:默认-本地 s_username:郑坤 s_version:V3.1.2]
+2021/11/30 09:26:42 extractInit.go:224: debug  s_mgosavecoll [127.0.0.1:27017 zhengkun zktest_works_test_new]
+2021/11/30 09:26:42 extractInit.go:247: debug  默认-本地 thread: 4
+2021/11/30 09:26:42 extractudp.go:245: debug  查询条件为: map[_id:map[$gt:ObjectIdHex("114168ea1a75b8f44678a39b") $lte:ObjectIdHex("9142e5741a75b8f4467b3276")]] 查询条数: 11298
+2021/11/30 09:27:56 extractudp.go:283: debug  index： 1000 ,页码： 1 ,_id： 5cec8ed6a5cb26b9b7bd782d
+2021/11/30 09:33:48 extractudp.go:283: debug  index： 2000 ,页码： 1 ,_id： 60dd94381a75b8f446e90c78
+2021/11/30 09:37:06 extractudp.go:283: debug  index： 3000 ,页码： 1 ,_id： 610797a31a75b8f44621c021
+2021/11/30 09:40:47 extractudp.go:283: debug  index： 4000 ,页码： 1 ,_id： 61132fadced5913be285556e
+2021/11/30 09:44:38 extractudp.go:283: debug  index： 5000 ,页码： 1 ,_id： 611fdbf7ced5913be28def35
+2021/11/30 09:48:51 extractudp.go:283: debug  index： 6000 ,页码： 2 ,_id： 612c9f351a75b8f4465948d8
+2021/11/30 09:52:44 extractudp.go:283: debug  index： 7000 ,页码： 2 ,_id： 613192cc1a75b8f44662af4c
+2021/11/30 09:55:41 extractudp.go:283: debug  index： 8000 ,页码： 2 ,_id： 613812551a75b8f4466bbc7f
+2021/11/30 09:58:41 extractudp.go:283: debug  index： 9000 ,页码： 2 ,_id： 613ee732ced5913be2a227a7
+2021/11/30 10:02:10 extractudp.go:283: debug  index： 10000 ,页码： 2 ,_id： 61827ad138ea42af9556b62f
+2021/11/30 10:07:51 extractudp.go:283: debug  index： 11000 ,页码： 3 ,_id： 618cc8a945a326c6c3f0dff2
+2021/11/30 10:08:44 extractudp.go:293: debug  抽取完成, count： 11298 ,index： 11298 ,bidtotal： 11298 ,eid： 9142e5741a75b8f4467b3276
+2021/11/30 10:08:44 extractudp.go:68: debug  抽取完成udp通知抽取id段-控制台 biddingall 114168ea1a75b8f44678a39b ~ 9142e5741a75b8f4467b3276
+2021/11/30 13:31:41 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 13:32:01 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 14:16:37 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 14:29:17 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 14:37:42 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 14:42:37 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 14:57:29 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:04:22 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:06:56 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:11:03 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:11:48 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:14:14 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:24:39 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:31:42 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:31:47 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:32:30 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:42:38 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:44:02 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:46:23 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:46:32 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:55:50 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 15:57:02 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:05:12 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:05:29 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:07:51 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:21:54 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:23:03 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:31:19 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:42:28 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:43:04 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:46:37 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:46:51 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:48:12 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:50:30 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 16:54:03 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 17:03:38 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 17:17:56 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 17:19:41 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 17:27:35 asm_amd64.s:1337: debug  启动.. 9090
+2021/11/30 17:35:06 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:08:58 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:12:07 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:16:32 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:17:07 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:17:33 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:18:00 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:18:54 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:22:50 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:23:49 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:24:38 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:25:04 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:28:56 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:34:36 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:36:52 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:40:13 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:45:06 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:47:25 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:52:16 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 09:55:52 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 10:01:46 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 10:21:43 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 10:31:30 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 10:37:28 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 10:38:37 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 10:38:45 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 10:40:48 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 10:41:45 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:07:55 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:24:15 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:25:47 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:30:41 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:32:16 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:33:46 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:36:56 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:42:04 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 11:48:09 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 13:16:47 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 13:20:14 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 13:29:58 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 13:34:44 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 13:54:22 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:05:43 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:13:45 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:15:10 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:17:16 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:19:43 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:29:15 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:31:11 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:31:49 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:36:10 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:38:28 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:42:33 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:51:41 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:52:32 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 14:53:10 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 15:18:50 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 15:22:36 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 15:35:10 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 15:36:19 extractInit.go:220: debug  task &map[_id:ObjectIdHex("60b493c2e138234cb4adb640") i_process:4 l_createtime:1622447042 l_lasttime:1638250315 s_descript:60b493c2e138234cb4adb640 s_extlastid:1 s_mgoaddr:127.0.0.1:27017 s_mgocoll:zktest_works_test s_mgodb:zhengkun s_mgosavecoll:127.0.0.1:27017/zhengkun/zktest_works_test_new s_taskname:默认-本地 s_username:郑坤 s_version:V3.1.2]
+2021/12/01 15:36:19 extractInit.go:224: debug  s_mgosavecoll [127.0.0.1:27017 zhengkun zktest_works_test_new]
+2021/12/01 15:36:19 extractInit.go:247: debug  默认-本地 thread: 4
+2021/12/01 15:36:20 extractudp.go:245: debug  查询条件为: map[_id:map[$gt:ObjectIdHex("114168ea1a75b8f44678a39b") $lte:ObjectIdHex("9142e5741a75b8f4467b3276")]] 查询条数: 11298
+2021/12/01 15:37:16 extractudp.go:283: debug  index： 1000 ,页码： 1 ,_id： 5cec8ed6a5cb26b9b7bd782d
+2021/12/01 15:41:00 extractudp.go:283: debug  index： 2000 ,页码： 1 ,_id： 60dd94381a75b8f446e90c78
+2021/12/01 15:44:20 extractudp.go:283: debug  index： 3000 ,页码： 1 ,_id： 610797a31a75b8f44621c021
+2021/12/01 15:48:18 extractudp.go:283: debug  index： 4000 ,页码： 1 ,_id： 61132fadced5913be285556e
+2021/12/01 15:52:16 extractudp.go:283: debug  index： 5000 ,页码： 1 ,_id： 611fdbf7ced5913be28def35
+2021/12/01 15:56:13 extractudp.go:283: debug  index： 6000 ,页码： 2 ,_id： 612c9f351a75b8f4465948d8
+2021/12/01 15:59:48 extractudp.go:283: debug  index： 7000 ,页码： 2 ,_id： 613192cc1a75b8f44662af4c
+2021/12/01 16:02:55 extractudp.go:283: debug  index： 8000 ,页码： 2 ,_id： 613812551a75b8f4466bbc7f
+2021/12/01 16:06:06 extractudp.go:283: debug  index： 9000 ,页码： 2 ,_id： 613ee732ced5913be2a227a7
+2021/12/01 16:09:28 extractudp.go:283: debug  index： 10000 ,页码： 2 ,_id： 61827ad138ea42af9556b62f
+2021/12/01 16:12:18 extractudp.go:283: debug  index： 11000 ,页码： 3 ,_id： 618cc8a945a326c6c3f0dff2
+2021/12/01 16:13:07 extractudp.go:293: debug  抽取完成, count： 11298 ,index： 11298 ,bidtotal： 11298 ,eid： 9142e5741a75b8f4467b3276
+2021/12/01 16:13:07 extractudp.go:68: debug  抽取完成udp通知抽取id段-控制台 biddingall 114168ea1a75b8f44678a39b ~ 9142e5741a75b8f4467b3276
+2021/12/01 16:15:22 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 16:59:18 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 17:10:41 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 17:11:39 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 17:12:09 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 17:12:21 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 17:12:27 extractInit.go:220: debug  task &map[_id:ObjectIdHex("60b493c2e138234cb4adb640") i_process:4 l_createtime:1622447042 l_lasttime:1638349917 s_descript:60b493c2e138234cb4adb640 s_extlastid:1 s_mgoaddr:127.0.0.1:27017 s_mgocoll:zktest_works_wrong_all_data s_mgodb:zhengkun s_mgosavecoll:127.0.0.1:27017/zhengkun/zktest_works_wrong_all_data_new s_taskname:默认-本地 s_username:郑坤 s_version:V3.1.2]
+2021/12/01 17:12:27 extractInit.go:224: debug  s_mgosavecoll [127.0.0.1:27017 zhengkun zktest_works_wrong_all_data_new]
+2021/12/01 17:12:27 extractInit.go:247: debug  默认-本地 thread: 4
+2021/12/01 17:12:28 extractudp.go:245: debug  查询条件为: map[_id:map[$gt:ObjectIdHex("114168ea1a75b8f44678a39b") $lte:ObjectIdHex("9142e5741a75b8f4467b3276")]] 查询条数: 3073
+2021/12/01 17:15:22 extractudp.go:283: debug  index： 1000 ,页码： 1 ,_id： 61081f96ced5913be27f1e47
+2021/12/01 17:20:00 extractudp.go:283: debug  index： 2000 ,页码： 1 ,_id： 6136d2b5ced5913be29beab3
+2021/12/01 17:23:06 extractudp.go:283: debug  index： 3000 ,页码： 1 ,_id： 618e295f06a9d911e5a50da9
+2021/12/01 17:23:15 extractudp.go:293: debug  抽取完成, count： 3073 ,index： 3073 ,bidtotal： 3073 ,eid： 9142e5741a75b8f4467b3276
+2021/12/01 17:23:15 extractudp.go:68: debug  抽取完成udp通知抽取id段-控制台 biddingall 114168ea1a75b8f44678a39b ~ 9142e5741a75b8f4467b3276
+2021/12/01 17:39:32 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/01 17:41:50 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/02 08:58:38 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/02 09:00:08 asm_amd64.s:1337: debug  启动.. 9090
+2021/12/02 09:00:14 extractInit.go:220: debug  task &map[_id:ObjectIdHex("60b493c2e138234cb4adb640") i_process:8 l_createtime:1622447042 l_lasttime:1638406797 s_descript:60b493c2e138234cb4adb640 s_extlastid:1 s_mgoaddr:127.0.0.1:27017 s_mgocoll:zktest_works_test s_mgodb:zhengkun s_mgosavecoll:127.0.0.1:27017/zhengkun/zktest_works_test_new s_taskname:默认-本地 s_username:郑坤 s_version:V3.1.2]
+2021/12/02 09:00:14 extractInit.go:224: debug  s_mgosavecoll [127.0.0.1:27017 zhengkun zktest_works_test_new]
+2021/12/02 09:00:14 extractInit.go:247: debug  默认-本地 thread: 8
+2021/12/02 09:00:15 extractudp.go:245: debug  查询条件为: map[_id:map[$gt:ObjectIdHex("114168ea1a75b8f44678a39b") $lte:ObjectIdHex("9142e5741a75b8f4467b3276")]] 查询条数: 11298
+2021/12/02 09:01:06 extractudp.go:283: debug  index： 1000 ,页码： 1 ,_id： 5cec8ed6a5cb26b9b7bd782d
+2021/12/02 09:05:07 extractudp.go:283: debug  index： 2000 ,页码： 1 ,_id： 60dd94381a75b8f446e90c78
+2021/12/02 09:08:38 extractudp.go:283: debug  index： 3000 ,页码： 1 ,_id： 610797a31a75b8f44621c021
+2021/12/02 09:12:33 extractudp.go:283: debug  index： 4000 ,页码： 1 ,_id： 61132fadced5913be285556e
+2021/12/02 09:16:47 extractudp.go:283: debug  index： 5000 ,页码： 1 ,_id： 611fdbf7ced5913be28def35
+2021/12/02 09:21:04 extractudp.go:283: debug  index： 6000 ,页码： 2 ,_id： 612c9f351a75b8f4465948d8
+2021/12/02 09:24:55 extractudp.go:283: debug  index： 7000 ,页码： 2 ,_id： 613192cc1a75b8f44662af4c
+2021/12/02 09:27:59 extractudp.go:283: debug  index： 8000 ,页码： 2 ,_id： 613812551a75b8f4466bbc7f
+2021/12/02 09:31:11 extractudp.go:283: debug  index： 9000 ,页码： 2 ,_id： 613ee732ced5913be2a227a7
+2021/12/02 09:34:34 extractudp.go:283: debug  index： 10000 ,页码： 2 ,_id： 61827ad138ea42af9556b62f
+2021/12/02 09:37:18 extractudp.go:283: debug  index： 11000 ,页码： 3 ,_id： 618cc8a945a326c6c3f0dff2
+2021/12/02 09:38:06 extractudp.go:293: debug  抽取完成, count： 11298 ,index： 11298 ,bidtotal： 11298 ,eid： 9142e5741a75b8f4467b3276
+2021/12/02 09:38:06 extractudp.go:68: debug  抽取完成udp通知抽取id段-控制台 biddingall 114168ea1a75b8f44678a39b ~ 9142e5741a75b8f4467b3276

udps/main.go

@@ -19,7 +19,7 @@ func main() {
 	flag.StringVar(&startDate, "start", "", "开始日期2006-01-02")
 	flag.StringVar(&endDate, "end", "", "结束日期2006-01-02")
 	flag.StringVar(&ip, "ip", "127.0.0.1", "ip")
-	flag.IntVar(&p, "p", 17859, "端口")
+	flag.IntVar(&p, "p", 6601, "端口")
 	flag.IntVar(&tmptime, "tmptime", 0, "时间查询")
 	flag.StringVar(&tmpkey, "tmpkey", "", "时间字段")