 mxs
|
14621a5cd0
data_bak数据保存修改
|
1 жил өмнө |
 mxs
|
97e40eea51
更新es配置
|
1 жил өмнө |
|
maxiaoshan
|
a1d14e72e1
列表页信息采集修改
|
1 жил өмнө |
|
maxiaoshan
|
8d62040d07
高性能模式列表页并发采集
|
1 жил өмнө |
|
maxiaoshan
|
5777df76f1
高性能模式列表页并发采集
|
1 жил өмнө |
|
maxiaoshan
|
ae43397493
历史节点模式调整；部分无效代码删除
|
1 жил өмнө |
|
maxiaoshan
|
2e2d775462
消息队列大小调整；心跳、翻页统计调整
|
1 жил өмнө |
|
maxiaoshan
|
791b30fb63
列表页采集优化-无限翻页达到上限继续采集；队列模式开启子任务
|
1 жил өмнө |
|
maxiaoshan
|
9aef139ef1
采集频率统计调整
|
1 жил өмнө |
|
maxiaoshan
|
941304109e
新增数据拦截通用方法downloadByDataIntercept
|
1 жил өмнө |
|
maxiaoshan
|
5b3d3159b0
新增列表页第一页执行心跳统计
|
1 жил өмнө |
|
maxiaoshan
|
e455d473c7
部分延迟、参数调整
|
1 жил өмнө |
|
maxiaoshan
|
228f98857a
chrome下载方法修改；公共方法修改
|
1 жил өмнө |
|
maxiaoshan
|
e62d34007d
新增aes、des cbc加解密方法
|
1 жил өмнө |
|
maxiaoshan
|
81cd19767a
chromedp
|
1 жил өмнө |
|
maxiaoshan
|
6a0b3d51b7
init
|
2 жил өмнө |
|
maxiaoshan
|
17d8244ac1
es包调整
|
2 жил өмнө |
|
maxiaoshan
|
c630093690
es包调整
|
2 жил өмнө |
|
maxiaoshan
|
997099d4ef
spider_downloadrage记录最后一次采集到数据的心跳时间
|
2 жил өмнө |
|
maxiaoshan
|
1243024262
调整7000节点补历史数据爬虫存储表-spider_historydata
|
2 жил өмнө |
|
maxiaoshan
|
f6e3e6039e
es调整；数据存储调整
|
2 жил өмнө |
|
maxiaoshan
|
38367ae4bc
新版redis调整
|
2 жил өмнө |
|
maxiaoshan
|
eaee684674
分开采集模式数据列表页redis判重修改
|
2 жил өмнө |
|
maxiaoshan
|
40c4ba4713
公共方法新增
|
2 жил өмнө |
|
maxiaoshan
|
6837fb9f58
翻页记录逻辑调整
|
2 жил өмнө |
|
maxiaoshan
|
c7f1547844
超大过滤数据存储
|
2 жил өмнө |
|
maxiaoshan
|
e2a38b8e6d
顺序采集spider_listdata存储模式修改
|
2 жил өмнө |
|
maxiaoshan
|
44675e6249
新增翻页信息记录
|
2 жил өмнө |
|
maxiaoshan
|
d83ce28ff3
新增翻页异常统计
|
2 жил өмнө |
|
maxiaoshan
|
4c8363b199
新增des加解密方法
|
2 жил өмнө |
