|
|
@@ -1260,15 +1260,20 @@ func CreateTaskProcess() {
|
|
|
}
|
|
|
if spider.Platform == "golua平台" { //lua异常(由于采集频率异常比较特殊固放到最后处理)
|
|
|
//5、列表页异常 errtype：7
|
|
|
- if spider.ListNoDataTimes > 0 && spider.ListNoDataTimes == spider.ListDownloadAllTimes && spider.FindListHeart < util.GetTime(0) { //列表页采集量有心跳不建列表页异常任务
|
|
|
- if !spider.ListIsFilter { //列表页不含过滤代码
|
|
|
+ if spider.ListNoDataTimes > 0 && spider.ListNoDataTimes == spider.ListDownloadAllTimes {
|
|
|
+ if !spider.ListIsFilter || (spider.FindListHeart < util.GetTime(0) && spider.ListIsFilter) { //列表页不含过滤代码或者有过滤无心跳
|
|
|
task.State = 1 //待处理
|
|
|
task.ErrType = TASK_LISTERR
|
|
|
- } else if len(task.DescribeMap) == 0 { //只有列表页异常且有过滤代码
|
|
|
- task.State = 0 //待确认
|
|
|
- task.ErrType = TASK_LISTERR
|
|
|
+ task.DescribeMap[TASK_LISTERR] = "列表页异常：\n 列表页共采集" + fmt.Sprint(spider.ListDownloadAllTimes) + "轮，其中有" + fmt.Sprint(spider.ListNoDataTimes) + "轮无数据\n"
|
|
|
}
|
|
|
- task.DescribeMap[TASK_LISTERR] = "列表页异常：\n 列表页共采集" + fmt.Sprint(spider.ListDownloadAllTimes) + "轮，其中有" + fmt.Sprint(spider.ListNoDataTimes) + "轮无数据\n"
|
|
|
+
|
|
|
+ // if !spider.ListIsFilter { //列表页不含过滤代码
|
|
|
+ // task.State = 1 //待处理
|
|
|
+ // task.ErrType = TASK_LISTERR
|
|
|
+ // } else if len(task.DescribeMap) == 0 { //只有列表页异常且有过滤代码
|
|
|
+ // task.State = 0 //待确认
|
|
|
+ // task.ErrType = TASK_LISTERR
|
|
|
+ // }
|
|
|
}
|
|
|
//6、采集频率异常 errtype：8
|
|
|
if spider.ListOhPercentTimes > 0 { //采集频率异常
|
