update:更新配置

FworkSpider/feapder/setting.py

@@ -113,11 +113,11 @@ USE_SESSION = False
 # 去重
 ITEM_FILTER_ENABLE = False  # item 去重
 ITEM_FILTER_SETTING = dict(
-    filter_type=1  # 永久去重（BloomFilter） = 1 、内存去重（MemoryFilter） = 2、 临时去重（ExpireFilter）= 3、轻量去重（LiteFilter）= 4、集群去重（SwordFishFilter）= 5
+    filter_type=1  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4; 集群去重（RedisClusterFilter）= 5
 )
 REQUEST_FILTER_ENABLE = False  # request 去重
 REQUEST_FILTER_SETTING = dict(
-    filter_type=3,  # 永久去重（BloomFilter） = 1 、内存去重（MemoryFilter） = 2、 临时去重（ExpireFilter）= 3、 轻量去重（LiteFilter）= 4、集群去重（SwordFishFilter）= 5
+    filter_type=3,  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4; 集群去重（RedisClusterFilter）= 5
     expire_time=2592000,  # 过期时间1个月
 )
 

FworkSpider/setting.py

@@ -68,7 +68,7 @@ PROXY_ENABLE = True
 # item去重
 ITEM_FILTER_ENABLE = True  # item 去重
 ITEM_FILTER_SETTING = dict(
-    filter_type=5,  # 永久去重（BloomFilter） = 1 、内存去重（MemoryFilter） = 2、 临时去重（ExpireFilter）= 3、 轻量去重（LiteFilter）= 4、集群去重（SwordFishFilter）= 5
+    filter_type=5,  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4; 集群去重（RedisClusterFilter）= 5
     expire_time=63072000,  # 过期时间2年
     redis_url=["172.17.4.239:2479", "172.17.4.240:2579", "172.17.4.84:2379"],  # 集群节点
 )