Inicio Explorar Axuda
Iniciar sesión
data_processing
/
spider_lua
2
0
Fork 0
Ficheiros Incidencias 0 Pull Requests 0 Wiki
Árbore: 40c4ba4713
Ramas Etiquetas
spider_lua
/
src
maxiaoshan 40c4ba4713 公共方法新增 %!s(int64=2) %!d(string=hai) anos
..
ecps 9753a2ad47 commit %!s(int64=4) %!d(string=hai) anos
filter 9753a2ad47 commit %!s(int64=4) %!d(string=hai) anos
res 0ce8d7c04a base64附件上传 %!s(int64=2) %!d(string=hai) anos
spider 40c4ba4713 公共方法新增 %!s(int64=2) %!d(string=hai) anos
web 9753a2ad47 commit %!s(int64=4) %!d(string=hai) anos
config.json d83ce28ff3 新增翻页异常统计 %!s(int64=2) %!d(string=hai) anos
main.go e2a38b8e6d 顺序采集spider_listdata存储模式修改 %!s(int64=2) %!d(string=hai) anos
mainT.go 7af70dd0ca 爬虫更新上架修改爬虫内存参数 %!s(int64=2) %!d(string=hai) anos
readme.txt 3ae72094d4 xg %!s(int64=3) %!d(string=hai) anos

readme.txt

一、目前爬虫分为两种模式
1：原始模式：采集完列表页后直接采集详情页(modal:0)
①：高性能模式，7000采集历史数据和采集历史后转节点采增量(ishistoryevent:true)
②：队列模式，7700采集详情页连接需要拼接的数据(ishistoryevent:false);7500发布量小的爬虫(ishistoryevent:false)

2：列表、详情页分开采集模式：先采集列表页信息存库，再检索列表页数据下载详情页
①：高性能模式，7100、7400(ishistoryevent:false)
②：队列模式，7200、7210、7300、7310(ishistoryevent:false)


1：高性能模式：7000、7100、7400
①：原始模式:(modal:0)
7000采集历史数据和采集历史后转节点采增量(ishistoryevent:true)
②：列表、详情页分开采集模式(modal:1)
7100、7400(ishistoryevent:false)

2：队列模式:7200、7210、7300、7310、7700
①：原始模式:(modal:0)
7700采集详情页连接需要拼接的数据(ishistoryevent:false)
7500发布量小的爬虫(ishistoryevent:false)
②：列表、详情页分开采集模式(modal:1)
7200、7210、7300、7310(ishistoryevent:false)