Explorar o código

采集频率统计调整

maxiaoshan hai 1 ano
pai
achega
9aef139ef1
Modificáronse 1 ficheiros con 5 adicións e 1 borrados
  1. 5 1
      src/spider/spider.go

+ 5 - 1
src/spider/spider.go

@@ -462,7 +462,11 @@ func (s *Spider) DownListPageItem() (errs interface{}) {
 			rate := float64(downloadAllNum-repeatAllNum) / float64(downloadAllNum)
 			rate, _ = strconv.ParseFloat(fmt.Sprintf("%.2f", rate), 64)
 			if rate == 1.0 {
-				inc["oh_percent"] = 1
+				if downloadAllNum == 1 { //列表页数据过滤的只剩一条新数据
+					inc["oh_percent_onenum"] = 1
+				} else {
+					inc["oh_percent"] = 1
+				}
 			} else if rate >= 0.9 {
 				inc["nt_percent"] = 1
 			} else if rate >= 0.8 {