 maxiaoshan
|
1243024262
调整7000节点补历史数据爬虫存储表-spider_historydata
|
%!s(int64=2) %!d(string=hai) anos |
 maxiaoshan
|
f6e3e6039e
es调整；数据存储调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
38367ae4bc
新版redis调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
eaee684674
分开采集模式数据列表页redis判重修改
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
6837fb9f58
翻页记录逻辑调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
c7f1547844
超大过滤数据存储
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
e2a38b8e6d
顺序采集spider_listdata存储模式修改
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
44675e6249
新增翻页信息记录
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
d83ce28ff3
新增翻页异常统计
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
9f89301c61
更新
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
a1b911016a
优化心跳记录
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
d7d67babf6
下载信息补充infoformat字段
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
4380c6df7e
sendListNum方法修改；HexText提交公共方法
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
5dbf2ca411
延迟采集调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
7af70dd0ca
爬虫更新上架修改爬虫内存参数
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
a5ced90d27
数据推送后不再将保存服务过滤的异常数据存redis
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
fae7a5e132
7000节点新爬虫转增量节点模式调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
2ac844cb98
翻页日志输出
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
4c023161a2
editor库迁移163
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
443963928d
spider_listdata数据保持href唯一
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
afd94024bf
luaconfig表迁移
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
8334770d76
7000历史节点心跳修改
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
706b22a406
7000历史节点采集模式调整
|
%!s(int64=2) %!d(string=hai) anos |
|
maxiaoshan
|
140bc89262
修改redis判重
|
%!s(int64=3) %!d(string=hai) anos |
|
maxiaoshan
|
9420557a7d
修改redis判重
|
%!s(int64=3) %!d(string=hai) anos |
|
maxiaoshan
|
d0aa1cad60
队列模式无限翻页调整
|
%!s(int64=3) %!d(string=hai) anos |
|
maxiaoshan
|
7929a6a5ac
队列模式无限翻页调整
|
%!s(int64=3) %!d(string=hai) anos |
|
maxiaoshan
|
91d102726d
全量、增量redis val内容调整
|
%!s(int64=3) %!d(string=hai) anos |
|
maxiaoshan
|
3a6a24b0ad
detail附件验证数据是否下载成功
|
%!s(int64=3) %!d(string=hai) anos |
|
maxiaoshan
|
4ad2de5d9b
修改下架时三级页下载逻辑
|
%!s(int64=3) %!d(string=hai) anos |
