|
|
@@ -59,6 +59,7 @@ class Request(object):
|
|
|
|
|
|
DEFAULT_KEY_VALUE = dict(
|
|
|
url="",
|
|
|
+
|
|
|
retry_times=0,
|
|
|
priority=300,
|
|
|
parser_name=None,
|
|
|
@@ -92,6 +93,7 @@ class Request(object):
|
|
|
render_time=0,
|
|
|
splash=False,
|
|
|
iframes=0,
|
|
|
+ page=None,
|
|
|
**kwargs,
|
|
|
):
|
|
|
"""
|
|
|
@@ -129,6 +131,11 @@ class Request(object):
|
|
|
@param stream: 如果为 False，将会立即下载响应内容
|
|
|
@param cert:
|
|
|
--
|
|
|
+ 自定义新增参数
|
|
|
+ @param splash: 是否使用 splash 渲染服务
|
|
|
+ @param iframes: splash 获取页面嵌入的 iframe 内容， 0=不获取，1=获取
|
|
|
+ @param page: 请求列表页页码数
|
|
|
+ --
|
|
|
@param **kwargs: 其他值: 如 Request(item=item) 则item可直接用 request.item 取出
|
|
|
---------
|
|
|
@result:
|
|
|
@@ -148,9 +155,10 @@ class Request(object):
|
|
|
self.is_abandoned = is_abandoned
|
|
|
self.render = render
|
|
|
self.render_time = render_time or setting.WEBDRIVER.get("render_time", 0)
|
|
|
- self.page = 1
|
|
|
+
|
|
|
self.splash = splash
|
|
|
self.iframes = iframes
|
|
|
+ self.page = page
|
|
|
|
|
|
self.requests_kwargs = {}
|
|
|
for key, value in kwargs.items():
|
