|
|
@@ -20,16 +20,6 @@ class BaseParser(object):
|
|
|
|
|
|
pass
|
|
|
|
|
|
- """
|
|
|
- @summary: 下载中间件 可修改请求的一些参数, 或可自定义下载，然后返回 request, response
|
|
|
- ---------
|
|
|
- @param request:
|
|
|
- ---------
|
|
|
- @result: return request / request, response
|
|
|
- """
|
|
|
-
|
|
|
- pass
|
|
|
-
|
|
|
def download_midware(self, request):
|
|
|
"""
|
|
|
@summary: 下载中间件 可修改请求的一些参数, 或可自定义下载，然后返回 request, response
|
|
|
@@ -83,9 +73,10 @@ class BaseParser(object):
|
|
|
def failed_request(self, request, response):
|
|
|
"""
|
|
|
@summary: 超过最大重试次数的request
|
|
|
- 可返回修改后的request 若不返回request，则将传进来的request直接人redis的failed表。否则将修改后的request入failed表
|
|
|
+ 可返回修改后的request 若不返回request，则将传进来的request直接人redis的failed表。否则将修改后的request入failed表
|
|
|
---------
|
|
|
@param request:
|
|
|
+ @param response:
|
|
|
---------
|
|
|
@result: request / item / callback / None (返回值必须可迭代)
|
|
|
"""
|
