 mxs
|
f85dbf464e
爬虫补采模块日志存储修改
|
hai 1 ano |
 mxs
|
c8a90dc505
爬虫补采模块调整参数
|
hai 1 ano |
|
mxs
|
5100f580e9
新增爬虫补采模块
|
hai 1 ano |
|
maxiaoshan
|
a1d14e72e1
列表页信息采集修改
|
hai 1 ano |
|
maxiaoshan
|
8d62040d07
高性能模式列表页并发采集
|
hai 1 ano |
|
maxiaoshan
|
5777df76f1
高性能模式列表页并发采集
|
hai 1 ano |
|
maxiaoshan
|
791b30fb63
列表页采集优化-无限翻页达到上限继续采集；队列模式开启子任务
|
hai 1 ano |
|
maxiaoshan
|
9aef139ef1
采集频率统计调整
|
hai 1 ano |
|
maxiaoshan
|
5b3d3159b0
新增列表页第一页执行心跳统计
|
hai 1 ano |
|
maxiaoshan
|
e455d473c7
部分延迟、参数调整
|
hai 1 ano |
|
maxiaoshan
|
17d8244ac1
es包调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
c630093690
es包调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
997099d4ef
spider_downloadrage记录最后一次采集到数据的心跳时间
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
1243024262
调整7000节点补历史数据爬虫存储表-spider_historydata
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
f6e3e6039e
es调整；数据存储调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
38367ae4bc
新版redis调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
eaee684674
分开采集模式数据列表页redis判重修改
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
6837fb9f58
翻页记录逻辑调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
c7f1547844
超大过滤数据存储
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
e2a38b8e6d
顺序采集spider_listdata存储模式修改
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
44675e6249
新增翻页信息记录
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
d83ce28ff3
新增翻页异常统计
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
9f89301c61
更新
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
a1b911016a
优化心跳记录
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
d7d67babf6
下载信息补充infoformat字段
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
4380c6df7e
sendListNum方法修改；HexText提交公共方法
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
5dbf2ca411
延迟采集调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
7af70dd0ca
爬虫更新上架修改爬虫内存参数
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
a5ced90d27
数据推送后不再将保存服务过滤的异常数据存redis
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
fae7a5e132
7000节点新爬虫转增量节点模式调整
|
%!s(int64=2) %!d(string=hai) anos |
