'xg'

src/config.json

@@ -38,66 +38,6 @@
         "index": "bidding",
         "type": "bidding"
     },
-    "delaysite": {
-        "晨砻采购网": 12,
-        "光纤在线": 12,
-        "轨道招标网": 12,
-        "国际石油网": 12,
-        "国际燃气网": 12,
-        "中国工程机械商贸网": 12,
-        "国际风力发电网": 12,
-        "泰茂医疗器械信息": 12,
-        "北极星输配电网": 12,
-        "智慧交通网": 12,
-        "招采进宝官网": 12,
-        "阳光易招公共资源交易平台": 12,
-        "阳光招采电子招标投标交易平台": 12,
-        "智慧电子采购网": 12,
-        "易交在线电子招标投标交易平台": 12,
-        "通信人才网": 12,
-        "必联电子招标投标平台": 12,
-        "网优招投标网": 12,
-        "中国国际招标网": 12,
-        "易企询": 12,
-        "e交易": 12,
-        "招标通电子招投标交易平台": 12,
-        "国信创新招标投标交易平台": 12,
-        "诚E招电子采购交易平台": 12,
-        "阳光慧采在线交易平台": 12,
-        "招采云电子招投标交易平台": 12,
-        "赢标电子招标采购交易平台": 12,
-        "汕头建筑信息网": 12,
-        "招必得": 12,
-        "中国医疗器械信息网": 12,
-        "易联器械网": 12,
-        "行采家": 12,
-        "国际电力网": 12,
-        "福易采电子交易平台": 12,
-        "湖南招标网": 12,
-        "远瞩采购云平台": 12,
-        "招采进宝通用专区": 12,
-        "云竞网": 12,
-        "瞬速网上竞价平台": 12,
-        "医信通": 12,
-        "锐竞科研采购平台": 12,
-        "医药网": 12,
-        "医疗器械市场调研平台": 12,
-        "采购与招标网（元博网）": 12,
-        "解放号软件产业互联网平台": 12,
-        "交易365招标采购平台": 12,
-        "中国大宗物资网": 12,
-        "云买卖电子综合交易平台": 12,
-        "化工云商网": 12,
-        "一联易招交易服务平台": 12,
-        "中国公共采购网": 12,
-        "大宗交易网": 12,
-        "招采猫电子交易平台": 12,
-        "易能智招电子交易平台": 12,
-        "爱建云招标采购电子交易平台": 12,
-        "物业行业电子招标采购平台": 12,
-        "阳光如水招投标电子交易平台": 12,
-        "黑龙江易采招标投标平台": 12
-    },
     "luadisablelib": {
         "baselib": {
             "print": false

src/main.go

@@ -15,6 +15,7 @@ import (
 	"runtime"
 	. "spiderutil"
 	"time"
+
 	//"qfw/util/redis"
 	"github.com/donnie4w/go-logger/logger"
 	"github.com/go-xweb/xweb"
@@ -121,7 +122,7 @@ func main() {
 	//批量保存错误数据
 	go spider.UpdateErrDataMgo()
 	//保存爬虫采集非本站点数据
-	go spider.SaveOtherSiteData()
+	//go spider.SaveOtherSiteData()
 	//批量保存心跳信息
 	go spider.UpdateHeartInfo()
 	logger.Debug(Config.Webport)

src/spider/spider.go

@@ -20,14 +20,15 @@ import (
 	//mgu "qfw/util/mongodbutil"
 	//"qfw/util/redis"
 
-	"github.com/donnie4w/go-logger/logger"
-	"github.com/yuin/gopher-lua"
 	es "qfw/util/elastic"
 	"regexp"
 	util "spiderutil"
 	"strings"
 	"sync/atomic"
 	"time"
+
+	"github.com/donnie4w/go-logger/logger"
+	"github.com/yuin/gopher-lua"
 )
 
 type Heart struct {
@@ -290,7 +291,7 @@ func (s *Spider) DownListPageItem() (errs interface{}) {
 				for i := 1; i <= tabLen; i++ {
 					v := tbl.RawGetInt(i).(*lua.LTable)
 					tmp := util.TableToMap(v)
-					s.ThisSiteData(tmp)      //统计当前下载数据是否是本站点数据
+					//s.ThisSiteData(tmp)      //统计当前下载数据是否是本站点数据
 					if !s.IsHistoricalMend { //不是历史补漏
 						tmp["dataging"] = 0 //数据中打标记dataging=0
 						if s.DownDetail {