删除 SPIDER_FAILED_TASK_MAX_RETRY_TIMES 配置属性

FworkSpider/feapder/buffer/item_buffer.py

@@ -132,7 +132,7 @@ class ItemBuffer(threading.Thread):
                 elif isinstance(data, FailedTaskItem):
                     data.queue_name = self._tab_items  # 采集任务队列名称
                     failed_times = data.to_dict.pop('failed_times', 0)
-                    if failed_times >= setting.SPIDER_FAILED_TASK_MAX_RETRY_TIMES:
+                    if failed_times >= setting.SPIDER_MAX_RETRY_TIMES:
                         state = 4  # 待采集任务停止采集状态[4=停止采集]
                         # 更新完成采集的任务状态
                         update_item = UpdateItem(

FworkSpider/feapder/setting.py

@@ -67,7 +67,6 @@ SPIDER_SLEEP_TIME = (
 )  # 下载时间间隔 单位秒。 支持随机 如 SPIDER_SLEEP_TIME = [2, 5] 则间隔为 2~5秒之间的随机数，包含2和5
 SPIDER_TASK_COUNT = 1  # 每个parser从内存队列中获取任务的数量
 SPIDER_MAX_RETRY_TIMES = 100  # 每个请求最大重试次数
-SPIDER_FAILED_TASK_MAX_RETRY_TIMES = 100  # 每个请求任务错误采集重试上限
 SPIDER_AUTO_START_REQUESTS = (
     True
 )  # 是否主动执行添加 设置为False 需要手动调用start_monitor_task，适用于多进程情况下