Inicio Explorar Axuda
Iniciar sesión
data_processing
/
spider_lua
2
0
Fork 0
Ficheiros Incidencias 0 Pull Requests 0 Wiki
Árbore: fc7c0bfd29
Ramas Etiquetas
spider_lua
/
src
maxiaoshan fc7c0bfd29 新增心跳和类竞品爬虫es采集逻辑 %!s(int64=3) %!d(string=hai) anos
..
ecps 9753a2ad47 commit %!s(int64=4) %!d(string=hai) anos
filter 9753a2ad47 commit %!s(int64=4) %!d(string=hai) anos
res 157e2dbb94 优化附件下载、新增公共方法 %!s(int64=3) %!d(string=hai) anos
spider fc7c0bfd29 新增心跳和类竞品爬虫es采集逻辑 %!s(int64=3) %!d(string=hai) anos
web 9753a2ad47 commit %!s(int64=4) %!d(string=hai) anos
config.json fc7c0bfd29 新增心跳和类竞品爬虫es采集逻辑 %!s(int64=3) %!d(string=hai) anos
main.go fc7c0bfd29 新增心跳和类竞品爬虫es采集逻辑 %!s(int64=3) %!d(string=hai) anos
mainT.go 330135d306 测试 %!s(int64=3) %!d(string=hai) anos
readme.txt 3ae72094d4 xg %!s(int64=3) %!d(string=hai) anos

readme.txt

一、目前爬虫分为两种模式
1：原始模式：采集完列表页后直接采集详情页(modal:0)
①：高性能模式，7000采集历史数据和采集历史后转节点采增量(ishistoryevent:true)
②：队列模式，7700采集详情页连接需要拼接的数据(ishistoryevent:false);7500发布量小的爬虫(ishistoryevent:false)

2：列表、详情页分开采集模式：先采集列表页信息存库，再检索列表页数据下载详情页
①：高性能模式，7100、7400(ishistoryevent:false)
②：队列模式，7200、7210、7300、7310(ishistoryevent:false)


1：高性能模式：7000、7100、7400
①：原始模式:(modal:0)
7000采集历史数据和采集历史后转节点采增量(ishistoryevent:true)
②：列表、详情页分开采集模式(modal:1)
7100、7400(ishistoryevent:false)

2：队列模式:7200、7210、7300、7310、7700
①：原始模式:(modal:0)
7700采集详情页连接需要拼接的数据(ishistoryevent:false)
7500发布量小的爬虫(ishistoryevent:false)
②：列表、详情页分开采集模式(modal:1)
7200、7210、7300、7310(ishistoryevent:false)