|
@@ -133,7 +133,7 @@ class BidingListItem(BaseListItem):
|
|
self.parser_name = "" # 详情爬虫从MongoDB拉取任务的唯一标识(建议使用 spidercode 命名)
|
|
self.parser_name = "" # 详情爬虫从MongoDB拉取任务的唯一标识(建议使用 spidercode 命名)
|
|
self.parse = "" # 详情爬虫解析回调方法名
|
|
self.parse = "" # 详情爬虫解析回调方法名
|
|
|
|
|
|
- self.proxies = True # 代理
|
|
|
|
|
|
+ self.proxies = False # 是否启用代理, 多用于通用详情采集,关闭代理=False;开启代理=True
|
|
|
|
|
|
self.deal_detail = [] # 定义解析详情页主页内容的xpath列表
|
|
self.deal_detail = [] # 定义解析详情页主页内容的xpath列表
|
|
self.ex_js = "" # 定义需要执行的js代码,包括但不限于script、文件路径等
|
|
self.ex_js = "" # 定义需要执行的js代码,包括但不限于script、文件路径等
|