|
@@ -83,7 +83,6 @@ PROXY_EXTRACT_API = "http://proxy.spdata.jianyu360.com/proxy/getallip"
|
|
|
JY_PROXY_URL = "http://cc.spdata.jianyu360.com/crawl/proxy/socks5/fetch"
|
|
JY_PROXY_URL = "http://cc.spdata.jianyu360.com/crawl/proxy/socks5/fetch"
|
|
|
|
|
|
|
|
# 任务中心
|
|
# 任务中心
|
|
|
-REGISTER_TASK_TOKEN = True # 注册任务接口token
|
|
|
|
|
JY_TASK_URL = "http://pytask.spdata.jianyu360.com"
|
|
JY_TASK_URL = "http://pytask.spdata.jianyu360.com"
|
|
|
|
|
|
|
|
# item去重
|
|
# item去重
|
