spider_lua/src

一、目前爬虫分为两种模式
1：原始模式：采集完列表页后直接采集详情页(modal:0)
①：高性能模式，7000采集历史数据和采集历史后转节点采增量(ishistoryevent:true)
②：队列模式，7700采集详情页连接需要拼接的数据(ishistoryevent:false);7500发布量小的爬虫(ishistoryevent:false)

2：列表、详情页分开采集模式：先采集列表页信息存库，再检索列表页数据下载详情页
①：高性能模式，7100、7400(ishistoryevent:false)
②：队列模式，7200、7210、7300、7310(ishistoryevent:false)


1：高性能模式：7000、7100、7400
①：原始模式:(modal:0)
7000采集历史数据和采集历史后转节点采增量(ishistoryevent:true)
②：列表、详情页分开采集模式(modal:1)
7100、7400(ishistoryevent:false)

2：队列模式:7200、7210、7300、7310、7700
①：原始模式:(modal:0)
7700采集详情页连接需要拼接的数据(ishistoryevent:false)
7500发布量小的爬虫(ishistoryevent:false)
②：列表、详情页分开采集模式(modal:1)
7200、7210、7300、7310(ishistoryevent:false)