소스 검색

正文无汉字过滤

maxiaoshan 4 년 전
부모
커밋
c2a266b195
2개의 변경된 파일7개의 추가작업 그리고 1개의 파일을 삭제
  1. 6 0
      src/saveServer/savedata.go
  2. 1 1
      src/saveServer/sendmail.go

+ 6 - 0
src/saveServer/savedata.go

@@ -16,6 +16,7 @@ import (
 )
 
 var reg_space = regexp.MustCompile("( +)|( +)|(" + string(rune(160)) + "+)")
+var reg_han = regexp.MustCompile("[\u4e00-\u9fa5]+")
 var savenum = 0
 var tmpsavenum = 0
 var updatenum = 0
@@ -164,6 +165,11 @@ func NewSaveBidding(tmp map[string]interface{}) (b bool, res int) {
 		}
 		if f == "detail" && val != "详情请访问原网页!" {
 			tmpDetail := tools.Filter.ReplaceAllString(val, "")
+			if !reg_han.MatchString(tmpDetail) { //detail中不包含汉字的过滤掉
+				res = 3
+				errorData(LEVEL_ERROR, "error-"+f, "Field Value Not Contains Chinese", site, spidercode, href)
+				return
+			}
 			if len([]rune(tmpDetail)) < 50 {
 				errorData(LEVEL_WARN, "warn-detail", "Field Length Is Wrong", site, spidercode, href)
 			}

+ 1 - 1
src/saveServer/sendmail.go

@@ -42,7 +42,7 @@ func TimingSaveNum() {
 	log.Println("savenum:", savenum, "tmpsavenum:", tmpsavenum)
 	if savenum != 0 {
 		if savenum == tmpsavenum { //没有保存量,发送邮件
-			gm.GSendMail_q("jy@jianyu360.cn", "maxiaoshan@topnet.net.cn", "", "", "保存服务", "保存服务保存数据量异常", "", "", gmail)
+			gm.GSendMail_q("jy@jianyu360.cn", "maxiaoshan@topnet.net.cn,zhangjinkun@topnet.net.cn", "", "", "保存服务", "保存服务保存数据量异常", "", "", gmail)
 		}
 	}
 	tmpsavenum = savenum