|
@@ -1215,7 +1215,7 @@ func CreateTaskProcess() {
|
|
|
}
|
|
}
|
|
|
//6、采集频率异常 errtype：8
|
|
//6、采集频率异常 errtype：8
|
|
|
if spider.ListOhPercentTimes > 0 { //采集频率异常
|
|
if spider.ListOhPercentTimes > 0 { //采集频率异常
|
|
|
- UpdateLuaInfo(spider) //出现采集频率异常，便更新爬虫的frequencyerrtimes、最大页自动加1、重新上架
|
|
|
|
|
|
|
+ //UpdateLuaInfo(spider) //出现采集频率异常，便更新爬虫的frequencyerrtimes、最大页自动加1、重新上架
|
|
|
//只有当FrequencyErrTimes>3取采集频率异常，相反优先其他异常类型(采集频率异常且待确认时程序自动处理，人工几乎不介入)
|
|
//只有当FrequencyErrTimes>3取采集频率异常，相反优先其他异常类型(采集频率异常且待确认时程序自动处理，人工几乎不介入)
|
|
|
if spider.FrequencyErrTimes > 3 { //爬虫采集频率异常次数大于3次，任务为待处理，否则为待确认
|
|
if spider.FrequencyErrTimes > 3 { //爬虫采集频率异常次数大于3次，任务为待处理，否则为待确认
|
|
|
task.State = 1 //待处理
|
|
task.State = 1 //待处理
|
