 maxiaoshan
|
d510b0a8f0
全量redis改为href的hash值
|
3 жил өмнө |
 maxiaoshan
|
b1227ac228
监控列表页采集量、重复量
|
3 жил өмнө |
|
maxiaoshan
|
0a7a6700c4
xg
|
3 жил өмнө |
|
maxiaoshan
|
c180aa6bc8
历史补漏下载记录存储到spider_listdata
|
3 жил өмнө |
|
maxiaoshan
|
43b306dcf4
新增iscompete是否是新爬虫的判断
|
3 жил өмнө |
|
maxiaoshan
|
97aecb108f
调整spider_loadfail入库机制
|
3 жил өмнө |
|
maxiaoshan
|
19293db83f
修改加载失败爬虫保存
|
3 жил өмнө |
|
maxiaoshan
|
53550b8189
下架不更新心跳del
|
3 жил өмнө |
|
maxiaoshan
|
711cde84fe
xg
|
3 жил өмнө |
|
maxiaoshan
|
adaa026c9e
修改爬虫下架时心跳控制
|
3 жил өмнө |
|
maxiaoshan
|
15ffec5126
全量redis值修改
|
3 жил өмнө |
|
maxiaoshan
|
548bdb8149
新增心跳、修改爬虫补漏逻辑、高性能采三级页重载爬虫
|
3 жил өмнө |
|
maxiaoshan
|
157e2dbb94
优化附件下载、新增公共方法
|
3 жил өмнө |
|
maxiaoshan
|
c98f8b3cf5
上架日志调整
|
3 жил өмнө |
|
maxiaoshan
|
03f0bb434d
爬虫历史转增量日志
|
3 жил өмнө |
|
maxiaoshan
|
2643a13a05
xg
|
3 жил өмнө |
|
maxiaoshan
|
5f518aa8bc
日志新增
|
3 жил өмнө |
|
maxiaoshan
|
12ae25db30
xg
|
3 жил өмнө |
|
maxiaoshan
|
3ae72094d4
xg
|
3 жил өмнө |
|
maxiaoshan
|
18d3bd8924
新增输出日志
|
3 жил өмнө |
|
maxiaoshan
|
2604ae24e0
上架时日志修改
|
4 жил өмнө |
|
maxiaoshan
|
3788f01989
xg
|
4 жил өмнө |
|
maxiaoshan
|
3f90ffe0b1
错误数据批量保存
|
4 жил өмнө |
|
maxiaoshan
|
0eef4380ac
xg
|
4 жил өмнө |
|
maxiaoshan
|
978bea098a
新增配置三级页下载线程数
|
4 жил өмнө |
|
maxiaoshan
|
a83e181d93
公共方法新增从正文中提取发布时间
|
4 жил өмнө |
|
maxiaoshan
|
53303136cf
commit
|
4 жил өмнө |
|
maxiaoshan
|
9753a2ad47
commit
|
4 жил өмнө |
|
maxiaoshan
|
2c8820456a
first commit
|
4 жил өмнө |
