 maxiaoshan
|
7cb721d8fa
loadscript方法改动
|
3 ani în urmă |
 maxiaoshan
|
2b04d8ed6e
列表页采集日志
|
3 ani în urmă |
|
maxiaoshan
|
f86eae8ae6
详情页采集redis判重
|
3 ani în urmă |
|
maxiaoshan
|
33d8e6143a
调整无限翻页逻辑
|
3 ani în urmă |
|
maxiaoshan
|
16ab180153
顺序采集采集成功更新
|
3 ani în urmă |
|
maxiaoshan
|
0e61b84d91
xg
|
3 ani în urmă |
|
maxiaoshan
|
0dc71d73e1
'xg'
|
3 ani în urmă |
|
maxiaoshan
|
aacd62274b
xg
|
3 ani în urmă |
|
maxiaoshan
|
6c132d1892
爬虫采集非本站点数据
|
3 ani în urmă |
|
maxiaoshan
|
309a85ab2d
列表页redis判重
|
3 ani în urmă |
|
maxiaoshan
|
d6287ef1ce
xg
|
3 ani în urmă |
|
maxiaoshan
|
54f292438f
xg
|
3 ani în urmă |
|
maxiaoshan
|
fc7c0bfd29
新增心跳和类竞品爬虫es采集逻辑
|
3 ani în urmă |
|
maxiaoshan
|
052ac38ae8
xg
|
3 ani în urmă |
|
maxiaoshan
|
a2bc54f3fc
spider_listdata不按href更新数据
|
3 ani în urmă |
|
maxiaoshan
|
1fc2f4ae84
spider_listdata数据state操作
|
3 ani în urmă |
|
maxiaoshan
|
8545ddd162
详情页心跳记录
|
3 ani în urmă |
|
maxiaoshan
|
5453b00f78
下载详情页时心跳记录
|
3 ani în urmă |
|
maxiaoshan
|
27eee019c4
更新listdata中列表页采集是否成功标记
|
3 ani în urmă |
|
maxiaoshan
|
23557549af
新增指定站点延迟采集详情页功能
|
3 ani în urmă |
|
maxiaoshan
|
487eb9deee
xg
|
3 ani în urmă |
|
maxiaoshan
|
3adfd337f5
xg
|
3 ani în urmă |
|
maxiaoshan
|
75daaf5d12
'spider_heart、spider_downloadrate增加site和channel'
|
3 ani în urmă |
|
maxiaoshan
|
fa6aedfca5
修改spider_downloadrate记录
|
3 ani în urmă |
|
maxiaoshan
|
c1a539d71f
xgh
|
3 ani în urmă |
|
maxiaoshan
|
d510b0a8f0
全量redis改为href的hash值
|
3 ani în urmă |
|
maxiaoshan
|
b1227ac228
监控列表页采集量、重复量
|
3 ani în urmă |
|
maxiaoshan
|
0a7a6700c4
xg
|
3 ani în urmă |
|
maxiaoshan
|
c180aa6bc8
历史补漏下载记录存储到spider_listdata
|
3 ani în urmă |
|
maxiaoshan
|
43b306dcf4
新增iscompete是否是新爬虫的判断
|
3 ani în urmă |
