|
|
@@ -1,7 +1,7 @@
|
|
|
一、目前爬虫分为两种模式
|
|
|
1：原始模式：采集完列表页后直接采集详情页(modal:0)
|
|
|
①：高性能模式，7000采集历史数据和采集历史后转节点采增量(ishistoryevent:true)
|
|
|
- ②：队列模式，7700采集详情页连接需要拼接的数据(ishistoryevent:false)
|
|
|
+ ②：队列模式，7700采集详情页连接需要拼接的数据(ishistoryevent:false);7500发布量小的爬虫(ishistoryevent:false)
|
|
|
|
|
|
2：列表、详情页分开采集模式：先采集列表页信息存库，再检索列表页数据下载详情页
|
|
|
①：高性能模式，7100、7400(ishistoryevent:false)
|
|
|
@@ -17,5 +17,6 @@
|
|
|
2：队列模式:7200、7210、7300、7310、7700
|
|
|
①：原始模式:(modal:0)
|
|
|
7700采集详情页连接需要拼接的数据(ishistoryevent:false)
|
|
|
+ 7500发布量小的爬虫(ishistoryevent:false)
|
|
|
②：列表、详情页分开采集模式(modal:1)
|
|
|
7200、7210、7300、7310(ishistoryevent:false)
|
