|
|
@@ -1624,7 +1624,11 @@ func CreateTaskProcess() {
|
|
|
if spider.Platform == "golua平台" { //lua异常(由于采集频率异常比较特殊固放到最后处理)
|
|
|
//5、列表页异常 errtype：7
|
|
|
if spider.ListNoDataTimes > 0 && spider.ListNoDataTimes == spider.ListDownloadAllTimes {
|
|
|
- if !spider.ListIsFilter || (spider.FindListHeart < util.GetTime(0) && spider.ListIsFilter) { //列表页不含过滤代码或者有过滤无心跳
|
|
|
+ limitDayNum := 0
|
|
|
+ if spider.Event == 7520 { //由于7520节点爬虫循环一轮的时间较长，心跳有可能仍是前一天的
|
|
|
+ limitDayNum = -1
|
|
|
+ }
|
|
|
+ if !spider.ListIsFilter || (spider.FindListHeart < util.GetTime(limitDayNum) && spider.ListIsFilter) { //列表页不含过滤代码或者有过滤无心跳
|
|
|
task.State = 1 //待处理
|
|
|
task.ErrType = TASK_LISTERR
|
|
|
task.DescribeMap[TASK_LISTERR] = "列表页异常：\n 列表页共采集" + fmt.Sprint(spider.ListDownloadAllTimes) + "轮，其中有" + fmt.Sprint(spider.ListNoDataTimes) + "轮无数据\n"
|
