|
@@ -10,13 +10,10 @@ MONGO_DB = "py_spider"
|
|
|
|
|
|
|
|
# REDIS
|
|
# REDIS
|
|
|
# ip:port 多个可写为列表或者逗号隔开 如 ip1:port1,ip2:port2 或 ["ip1:port1", "ip2:port2"]
|
|
# ip:port 多个可写为列表或者逗号隔开 如 ip1:port1,ip2:port2 或 ["ip1:port1", "ip2:port2"]
|
|
|
-REDISDB_IP_PORTS = "172.17.4.232:7361"
|
|
|
|
|
|
|
+REDISDB_IP_PORTS = "172.17.162.28:7361"
|
|
|
REDISDB_USER_PASS = "k5ZJR5KV4q7DRZ92DQ"
|
|
REDISDB_USER_PASS = "k5ZJR5KV4q7DRZ92DQ"
|
|
|
REDISDB_DB = 2
|
|
REDISDB_DB = 2
|
|
|
|
|
|
|
|
-# # 适用于redis哨兵模式
|
|
|
|
|
-REDISDB_SERVICE_NAME = "quchoong"
|
|
|
|
|
-
|
|
|
|
|
# 数据入库的pipeline，可自定义，默认MongoPipeline
|
|
# 数据入库的pipeline，可自定义，默认MongoPipeline
|
|
|
ITEM_PIPELINES = [
|
|
ITEM_PIPELINES = [
|
|
|
"feapder.pipelines.mongo_pipeline.MongoPipeline",
|
|
"feapder.pipelines.mongo_pipeline.MongoPipeline",
|
|
@@ -24,15 +21,13 @@ ITEM_PIPELINES = [
|
|
|
EXPORT_DATA_MAX_FAILED_TIMES = 5 # 导出数据时最大的失败次数，包括保存和更新，超过这个次数报警
|
|
EXPORT_DATA_MAX_FAILED_TIMES = 5 # 导出数据时最大的失败次数，包括保存和更新，超过这个次数报警
|
|
|
EXPORT_DATA_MAX_RETRY_TIMES = 5 # 导出数据时最大的重试次数，包括保存和更新，超过这个次数则放弃重试
|
|
EXPORT_DATA_MAX_RETRY_TIMES = 5 # 导出数据时最大的重试次数，包括保存和更新，超过这个次数则放弃重试
|
|
|
|
|
|
|
|
-REDIS_KEY = "fwork"
|
|
|
|
|
-
|
|
|
|
|
# SPIDER
|
|
# SPIDER
|
|
|
SPIDER_MAX_RETRY_TIMES = 5 # 每个请求最大重试次数
|
|
SPIDER_MAX_RETRY_TIMES = 5 # 每个请求最大重试次数
|
|
|
REQUEST_TIMEOUT = 10
|
|
REQUEST_TIMEOUT = 10
|
|
|
|
|
|
|
|
# 浏览器渲染
|
|
# 浏览器渲染
|
|
|
WEBDRIVER = dict(
|
|
WEBDRIVER = dict(
|
|
|
- server_addr="http://172.17.4.232:6666/wd/hub", # selenium 远程服务地址
|
|
|
|
|
|
|
+ server_addr="http://172.17.162.28:6666/wd/hub", # selenium 远程服务地址
|
|
|
version="", # 浏览器版本。不指定版本时，随机分发，版本详见群公告
|
|
version="", # 浏览器版本。不指定版本时，随机分发，版本详见群公告
|
|
|
pool_size=1, # 浏览器的数量
|
|
pool_size=1, # 浏览器的数量
|
|
|
load_images=False, # 是否加载图片
|
|
load_images=False, # 是否加载图片
|
