update:更新配置

FworkSpider/feapder/setting.py

@@ -113,11 +113,11 @@ USE_SESSION = False
 # 去重
 ITEM_FILTER_ENABLE = False  # item 去重
 ITEM_FILTER_SETTING = dict(
-    filter_type=1  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4; 集群去重（RedisClusterFilter）= 5
+    filter_type=1  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4;
 )
 REQUEST_FILTER_ENABLE = False  # request 去重
 REQUEST_FILTER_SETTING = dict(
-    filter_type=3,  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4; 集群去重（RedisClusterFilter）= 5
+    filter_type=3,  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4;
     expire_time=2592000,  # 过期时间1个月
 )
 

FworkSpider/setting.py

@@ -66,9 +66,9 @@ PROXY_EXTRACT_API = "http://proxy.spdata.jianyu360.com/proxy/getallip"
 PROXY_ENABLE = True
 
 # item去重
-ITEM_FILTER_ENABLE = True  # item 去重
+ITEM_FILTER_ENABLE = True
 ITEM_FILTER_SETTING = dict(
-    filter_type=5,  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4; redis集群去重（RedisClusterFilter）= 5；redis去重 = 6；
+    filter_type=5,  # 永久去重（BloomFilter）= 1; 内存去重（MemoryFilter）= 2; 临时去重（ExpireFilter）= 3; 轻量去重（LiteFilter）= 4; redis去重 = 5；
     expire_time=63072000,  # 过期时间2年
     redis_url=["172.17.4.239:2479", "172.17.4.240:2579", "172.17.4.84:2379"],  # 集群节点
 )