新增任务消息管理配置

FworkSpider/feapder/setting.py

@@ -3,8 +3,10 @@
 import os
 
 # redis 表名
-# 任务表模版
+# 列表任务表模版
 TAB_REQUESTS = "{redis_key}:z_requests"
+# 详情待处理任务表模版
+TAB_ITEMS = "{redis_key}:z_items"
 # 任务失败模板
 TAB_FAILED_REQUESTS = "{redis_key}:z_failed_requests"
 # 数据保存失败模板
@@ -131,6 +133,11 @@ REQUEST_FILTER_SETTING = dict(
     filter_type=3,  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4;
     expire_time=2592000,  # 过期时间1个月
 )
+TASK_FILTER_ENABLE = False  # task 去重
+TASK_FILTER_SETTING = dict(
+    filter_type=3,  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4;
+    expire_time=2592000,  # 过期时间1个月
+)
 
 # 报警 支持钉钉、企业微信、邮件
 # 钉钉报警