多线程采集

src/config.json

@@ -5,11 +5,11 @@
     "mongodb_editor": "192.168.3.207:27092",
     "editor_dbsize": 2,
     "editoraddr": "http://127.0.0.1:6011/spider/infos",
-    "msgname": "爬虫监控中心_zjk",
-    "msgserveraddr": "spdata.jianyu360.com:803",
+    "msgname": "爬虫采集平台7100",
+    "msgserveraddr": "spdata.jianyu360.com:801",
     "msgserveraddrfile": "spdata.jianyu360.com:802",
 	"isdelay":false,
-    "working": 0,
+    "working": 1,
     "chansize": 4,
     "detailchansize": 20,
     "uploadevent": 7100,
@@ -18,6 +18,7 @@
     "modal": 1,
     "ishistoryevent": false,
     "threadbasenum": 50,
+    "threadupperlimit": 100,
     "tesseractadd": "http://test.qmx.top:1688",
     "testdir": "res/test/spider_test.lua",
     "redisservers": "title_repeat_judgement=192.168.3.207:2679,title_repeat_fulljudgement=192.168.3.207:2679,title_repeat_listpagehref=192.168.3.207:1679",
@@ -26,10 +27,10 @@
     	"notkeyword":"(招聘|拍卖|出租|出让|使用权|资产)"
     },
     "oss":{
-        "ossEndpoint":"oss-cn-beijing-internal.aliyuncs.com",
+        "ossEndpoint":"oss-cn-beijing.aliyuncs.com",
         "ossAccessKeyId":"LTAI4G5x9aoZx8dDamQ7vfZi",
         "ossAccessKeySecret":"Bk98FsbPYXcJe72n1bG3Ssf73acuNh",
-        "ossBucketName":"jy-datafile"
+        "ossBucketName":"jy-editor"
     },
     "fileServer": "http://test.qmx.top:9333",
     "jsvmurl": "http://127.0.0.1:8080/jsvm",

src/logs/spider.log

@@ -6095,3 +6095,1337 @@ stack traceback:
 2022/05/19 13:23:04 upload.go:60: error  下载文件出错！ yn_kmsggzyjypt_gcjs_zbjggs  upload file 评标报表_无签章.PDF https://www.kmggzy.com/Jyweb/javascript:__doPostBack('ctl00$Content$fdFiles$lbOldFileName','')
 2022/05/19 13:23:05 upload.go:60: error  下载文件出错！ yn_kmsggzyjypt_gcjs_zbjggs  upload file 评标报表_无签章.PDF https://www.kmggzy.com/Jyweb/javascript:__doPostBack('ctl00$Content$fdFiles$lbOldFileName','')
 2022/05/19 13:23:15 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 09:42:51 main.go:130: debug  7100
+2022/05/24 09:42:51 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:42:51 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:42:52 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:42:52 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:42:52 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:43:08 handler.go:1231: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/24 09:43:21 handler.go:1263: info  更新心跳个数： 0
+2022/05/24 09:44:47 main.go:130: debug  7100
+2022/05/24 09:44:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:44:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:44:47 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:44:47 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:44:47 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:45:01 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=crtJCEK2DH3X5xoKJGV05w==  isExist: false
+2022/05/24 09:45:04 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=G18dQdTwCFwmCG/BPh0ctA==  isExist: false
+2022/05/24 09:45:04 handler.go:1231: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/24 09:45:07 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=M04U4Lvogw3Y9LeBmd4JgA==  isExist: false
+2022/05/24 09:45:12 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=Q9epw7JgBH0k4Fkj6itOHA==  isExist: false
+2022/05/24 09:45:16 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=EfefI8vyLCwsdZ5LePKfEQ==  isExist: false
+2022/05/24 09:45:17 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 09:45:21 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=CGkVV8Ky79KtCx5S2mIS+A==  isExist: false
+2022/05/24 09:45:26 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=YVcY6Pmo1oxpnA8UQI9Zhw==  isExist: false
+2022/05/24 09:45:31 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=JrEZH8A+Gdoa5onKlybLGA==  isExist: false
+2022/05/24 09:45:34 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=BqKJkXsNnHCEJdv9fEiYOw==  isExist: false
+2022/05/24 09:45:45 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=Q8op3gkdlR9yc3duycwEyA==  isExist: false
+2022/05/24 09:45:52 spider.go:493: debug  full href: https://hunan.zcygov.cn/luban/announcement/detail?encryptId=woiHzM2MJcH03NFyPLLo4A==  isExist: false
+2022/05/24 09:46:05 main.go:130: debug  7100
+2022/05/24 09:46:05 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:46:05 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:46:05 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:46:05 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:46:05 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:46:22 handler.go:1231: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/24 09:46:35 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 09:46:43 main.go:130: debug  7100
+2022/05/24 09:46:43 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:46:43 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:46:43 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:46:43 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:46:43 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:47:02 main.go:130: debug  7100
+2022/05/24 09:47:02 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:47:02 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:47:02 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:47:02 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:47:02 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:47:19 handler.go:1231: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/24 09:47:32 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 09:50:26 main.go:130: debug  7100
+2022/05/24 09:50:26 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:50:26 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:50:26 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:50:26 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:50:26 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:51:42 main.go:130: debug  7100
+2022/05/24 09:51:42 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:51:42 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:51:42 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:51:42 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:51:42 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:52:28 main.go:130: debug  7100
+2022/05/24 09:52:28 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:52:28 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:52:28 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:52:28 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:52:28 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:52:45 handler.go:1231: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/24 09:52:58 handler.go:1263: info  更新心跳个数： 0
+2022/05/24 09:53:05 main.go:130: debug  7100
+2022/05/24 09:53:05 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:53:05 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 09:53:05 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 09:53:05 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 09:53:05 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 09:53:22 handler.go:1231: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/24 09:53:35 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 09:57:09 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 09:57:09 spider.go:297: error  列表页采集报错 3 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 09:58:39 handler.go:1231: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/24 10:00:06 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:00:06 spider.go:297: error  列表页采集报错 3 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:03:43 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:03:43 spider.go:297: error  列表页采集报错 4 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:07:28 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:07:28 spider.go:297: error  列表页采集报错 9 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:08:05 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:09:59 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:09:59 spider.go:297: error  列表页采集报错 9 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:14:05 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 10:19:43 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:19:43 spider.go:297: error  列表页采集报错 18 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:22:15 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:22:15 spider.go:297: error  列表页采集报错 18 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:23:05 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:24:58 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:24:58 spider.go:297: error  列表页采集报错 19 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:27:52 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:27:52 spider.go:297: error  列表页采集报错 20 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:30:41 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:30:41 spider.go:297: error  列表页采集报错 21 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:33:11 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:33:11 spider.go:297: error  列表页采集报错 21 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:34:54 main.go:130: debug  7100
+2022/05/24 10:34:54 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:34:54 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:34:54 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 10:34:54 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 10:34:54 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 10:35:07 main.go:130: debug  7100
+2022/05/24 10:35:07 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:35:07 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:35:07 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 10:35:07 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 10:35:07 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 10:35:37 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 10:38:42 main.go:130: debug  7100
+2022/05/24 10:38:42 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:38:42 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:38:42 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 10:38:42 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 10:38:42 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 10:38:47 main.go:130: debug  7100
+2022/05/24 10:38:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:38:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:38:47 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 10:38:47 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 10:38:47 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 10:39:17 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 10:41:47 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:41:47 spider.go:298: error  列表页采集报错 21 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:44:53 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:44:53 spider.go:298: error  列表页采集报错 21 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:47:20 spider.go:298: error  列表页采集报错 22 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:50:47 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:50:47 spider.go:298: error  列表页采集报错 23 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:53:17 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:53:17 spider.go:298: error  列表页采集报错 23 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:53:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 10:56:31 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 10:56:31 spider.go:298: error  列表页采集报错 24 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 10:59:47 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 11:00:18 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:00:18 spider.go:298: error  列表页采集报错 26 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:03:16 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:03:16 spider.go:298: error  列表页采集报错 26 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:07:43 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:07:43 spider.go:298: error  列表页采集报错 28 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:08:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 11:10:33 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:10:33 spider.go:298: error  列表页采集报错 28 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:13:57 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:13:57 spider.go:298: error  列表页采集报错 30 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:17:22 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:17:22 spider.go:298: error  列表页采集报错 31 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:20:06 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:20:06 spider.go:298: error  列表页采集报错 31 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:20:17 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 11:22:56 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:22:56 spider.go:298: error  列表页采集报错 32 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:23:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 11:25:33 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:25:33 spider.go:298: error  列表页采集报错 32 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:28:09 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:28:09 spider.go:298: error  列表页采集报错 32 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:32:31 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:32:31 spider.go:298: error  列表页采集报错 37 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:37:01 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:37:01 spider.go:298: error  列表页采集报错 39 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:38:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 11:39:31 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:39:31 spider.go:298: error  列表页采集报错 39 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:40:47 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 11:42:21 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:42:21 spider.go:298: error  列表页采集报错 39 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:47:39 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:47:39 spider.go:298: error  列表页采集报错 42 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:51:27 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:51:27 spider.go:298: error  列表页采集报错 44 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:53:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 11:55:13 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:55:13 spider.go:298: error  列表页采集报错 46 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 11:57:56 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 11:57:56 spider.go:298: error  列表页采集报错 46 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:00:30 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:00:30 spider.go:298: error  列表页采集报错 46 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:01:17 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 12:04:20 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:04:20 spider.go:298: error  列表页采集报错 49 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:07:42 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:07:42 spider.go:298: error  列表页采集报错 50 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:08:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 12:10:34 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:10:34 spider.go:298: error  列表页采集报错 50 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:13:26 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:13:26 spider.go:298: error  列表页采集报错 50 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:19:50 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:19:50 spider.go:298: error  列表页采集报错 57 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:21:47 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 12:22:34 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:22:34 spider.go:298: error  列表页采集报错 57 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:23:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 12:25:27 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:25:27 spider.go:298: error  列表页采集报错 58 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:29:30 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:29:30 spider.go:298: error  列表页采集报错 61 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:32:05 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:32:05 spider.go:298: error  列表页采集报错 61 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:35:35 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:35:35 spider.go:298: error  列表页采集报错 62 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:38:47 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 12:39:06 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:39:06 spider.go:298: error  列表页采集报错 63 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:41:36 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:41:36 spider.go:298: error  列表页采集报错 63 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:42:17 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 12:45:12 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:45:12 spider.go:298: error  列表页采集报错 66 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:48:01 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:48:01 spider.go:298: error  列表页采集报错 67 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:51:06 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:51:06 spider.go:298: error  列表页采集报错 68 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:53:54 main.go:130: debug  7100
+2022/05/24 12:53:54 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 12:53:54 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 12:53:54 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 12:53:54 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 12:53:54 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 12:54:24 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 12:57:11 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:57:11 spider.go:298: error  列表页采集报错 74 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 12:59:57 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 12:59:57 spider.go:298: error  列表页采集报错 77 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:03:25 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:03:25 spider.go:298: error  列表页采集报错 93 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:05:55 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:05:55 spider.go:298: error  列表页采集报错 93 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:08:25 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:08:25 spider.go:298: error  列表页采集报错 93 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:08:54 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:09:28 spider.go:448: info  hn_hnszfcgdzmc_ggdtlsbl 本轮列表页采集详情： 414 10 110
+2022/05/24 13:09:29 spider.go:191: error  hn_hnszfcgdzmc_ggdtlsbl <string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:09:29 spider.go:165: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 ok,本轮下载量： 0 ,轮询数据长度： 1 ,下线数量： 0 ,下线爬虫： []
+2022/05/24 13:15:00 main.go:130: debug  7100
+2022/05/24 13:15:00 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:15:00 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:15:00 spider.go:180: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 13:15:00 handler.go:137: info  高性能模式：LUA加载完成
+2022/05/24 13:15:00 handler.go:143: info  总共加载脚本数： 1
+2022/05/24 13:15:30 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 13:18:05 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:18:05 spider.go:297: error  列表页采集报错 4 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:20:56 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:20:56 spider.go:297: error  列表页采集报错 8 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:27:11 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:27:11 spider.go:297: error  列表页采集报错 35 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:29:52 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:29:52 spider.go:297: error  列表页采集报错 40 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:30:00 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:32:47 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:32:47 spider.go:297: error  列表页采集报错 46 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:35:38 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:35:38 spider.go:297: error  列表页采集报错 50 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:36:00 handler.go:1263: info  更新心跳个数： 1
+2022/05/24 13:40:28 handler.go:423: info  下架脚本 sd_zgsdzfcgw_xxgk_xyghhddcg
+2022/05/24 13:40:28 handler.go:472: info  sd_zgsdzfcgw_xxgk_xyghhddcg 脚本下架成功
+2022/05/24 13:40:28 handler.go:736: info  上下架： true <nil>
+2022/05/24 13:40:32 handler.go:423: info  下架脚本 sd_zgsdzfcgw_xxgk_xyghhddcg
+2022/05/24 13:40:32 handler.go:472: info  sd_zgsdzfcgw_xxgk_xyghhddcg 脚本下架成功
+2022/05/24 13:40:32 handler.go:736: info  上下架： true <nil>
+2022/05/24 13:40:32 handler.go:558: info  上架新增脚本,库中是否已存在该脚本: sd_zgsdzfcgw_xxgk_xyghhddcg false false
+2022/05/24 13:40:32 handler.go:736: info  上下架： false <nil>
+2022/05/24 13:42:43 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:42:43 spider.go:297: error  列表页采集报错 94 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:45:00 handler.go:413: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:45:13 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:45:13 spider.go:297: error  列表页采集报错 94 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:47:59 main.go:130: debug  7100
+2022/05/24 13:47:59 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:47:59 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:47:59 spider.go:182: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 13:47:59 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/24 13:47:59 handler.go:144: info  总共加载脚本数： 1
+2022/05/24 13:48:09 main.go:130: debug  7100
+2022/05/24 13:48:09 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:48:09 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 13:48:09 spider.go:182: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 13:48:09 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/24 13:48:09 handler.go:144: info  总共加载脚本数： 1
+2022/05/24 13:48:39 handler.go:1265: info  更新心跳个数： 1
+2022/05/24 13:51:10 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:51:10 spider.go:299: error  列表页采集报错 6 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:53:51 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:53:51 spider.go:299: error  列表页采集报错 8 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:56:21 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:56:21 spider.go:299: error  列表页采集报错 8 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 13:58:51 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 13:58:51 spider.go:299: error  列表页采集报错 8 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 14:01:21 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 14:01:21 spider.go:299: error  列表页采集报错 9 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/24 14:03:09 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 14:03:43 main.go:130: debug  7100
+2022/05/24 14:03:43 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 14:03:43 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 14:03:43 spider.go:182: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 14:03:43 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/24 14:03:43 handler.go:144: info  总共加载脚本数： 1
+2022/05/24 14:04:13 handler.go:1265: info  更新心跳个数： 1
+2022/05/24 14:07:52 main.go:130: debug  7100
+2022/05/24 14:07:52 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 14:07:52 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/24 14:07:52 spider.go:182: debug  hn_hnszfcgdzmc_ggdtlsbl 湖南省政府采购电子卖场 频率： 30 , 150
+2022/05/24 14:07:52 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/24 14:07:52 handler.go:144: info  总共加载脚本数： 1
+2022/05/24 14:08:22 handler.go:1265: info  更新心跳个数： 1
+2022/05/24 14:10:15 handler.go:424: info  下架脚本 ah_ahszfcgwxwz_sccggg
+2022/05/24 14:10:15 handler.go:473: info  ah_ahszfcgwxwz_sccggg 脚本下架成功
+2022/05/24 14:10:15 handler.go:738: info  上下架： true <nil>
+2022/05/24 14:10:16 handler.go:559: info  上架新增脚本,库中是否已存在该脚本: ah_ahszfcgwxwz_sccggg false false
+2022/05/24 14:10:16 handler.go:738: info  上下架： false <nil>
+2022/05/24 14:10:21 handler.go:424: info  下架脚本 ah_ahszfcgwxwz_sccggg
+2022/05/24 14:10:21 handler.go:473: info  ah_ahszfcgwxwz_sccggg 脚本下架成功
+2022/05/24 14:10:21 handler.go:738: info  上下架： true <nil>
+2022/05/24 14:10:24 handler.go:424: info  下架脚本 ah_ahszfcgwxwz_sccggg
+2022/05/24 14:10:24 handler.go:473: info  ah_ahszfcgwxwz_sccggg 脚本下架成功
+2022/05/24 14:10:24 handler.go:738: info  上下架： true <nil>
+2022/05/24 14:10:24 handler.go:559: info  上架新增脚本,库中是否已存在该脚本: ah_ahszfcgwxwz_sccggg false false
+2022/05/24 14:10:24 handler.go:738: info  上下架： false <nil>
+2022/05/24 14:12:59 download.go:129: error  hn_hnszfcgdzmc_ggdtlsbl方法DownloadAdv,url:https://hunan.zcygov.cn/announcement/lobby/queryPage,err:timeout 150
+2022/05/24 14:12:59 spider.go:300: error  列表页采集报错 36 hn_hnszfcgdzmc_ggdtlsbl,<string>:75: attempt to index a non-table object(nil)
+stack traceback:
+	<string>:75: in main chunk
+	[G]: ?
+2022/05/25 10:00:42 main.go:130: debug  7100
+2022/05/25 10:00:42 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 10:00:42 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 10:00:42 spider.go:181: debug  gd_gdswszjfwcs_zxgg_bu 广东省网上中介服务超市 频率： 30 , 150
+2022/05/25 10:00:42 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 10:00:42 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 10:00:59 handler.go:1233: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 10:01:12 handler.go:1265: info  更新心跳个数： 1
+2022/05/25 10:06:51 main.go:130: debug  7100
+2022/05/25 10:06:51 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 10:06:51 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 10:06:51 spider.go:181: debug  gd_gdswszjfwcs_zxgg_bu 广东省网上中介服务超市 频率： 30 , 150
+2022/05/25 10:06:51 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 10:06:51 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 10:07:08 handler.go:1233: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 10:07:21 handler.go:1265: info  更新心跳个数： 1
+2022/05/25 10:09:22 download.go:129: error  gd_gdswszjfwcs_zxgg_bu方法DownloadAdv,url:https://zjcs.gdggzy.org.cn/gd-zjcs-pub/bidResultNotice/rest,err:timeout 150
+2022/05/25 10:12:17 download.go:129: error  gd_gdswszjfwcs_zxgg_bu方法DownloadAdv,url:https://zjcs.gdggzy.org.cn/gd-zjcs-pub/bidResultNotice/rest,err:timeout 150
+2022/05/25 10:12:25 handler.go:1233: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 10:14:50 download.go:129: error  gd_gdswszjfwcs_zxgg_bu方法DownloadAdv,url:https://zjcs.gdggzy.org.cn/gd-zjcs-pub/bidResultNotice/rest,err:timeout 150
+2022/05/25 10:17:42 handler.go:1233: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 10:19:52 download.go:129: error  gd_gdswszjfwcs_zxgg_bu方法DownloadAdv,url:https://zjcs.gdggzy.org.cn/gd-zjcs-pub/bidResultNotice/rest,err:timeout 150
+2022/05/25 10:21:51 handler.go:414: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 10:22:40 download.go:129: error  gd_gdswszjfwcs_zxgg_bu方法DownloadAdv,url:https://zjcs.gdggzy.org.cn/gd-zjcs-pub/bidResultNotice/rest,err:timeout 150
+2022/05/25 10:23:00 handler.go:1233: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 10:25:19 download.go:129: error  gd_gdswszjfwcs_zxgg_bu方法DownloadAdv,url:https://zjcs.gdggzy.org.cn/gd-zjcs-pub/bidResultNotice/rest,err:timeout 150
+2022/05/25 10:27:49 download.go:129: error  gd_gdswszjfwcs_zxgg_bu方法DownloadAdv,url:https://zjcs.gdggzy.org.cn/gd-zjcs-pub/bidResultNotice/rest,err:timeout 150
+2022/05/25 10:27:51 handler.go:1265: info  更新心跳个数： 1
+2022/05/25 10:28:17 handler.go:1233: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:06:46 main.go:130: debug  7100
+2022/05/25 14:06:46 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:06:46 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:06:47 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:06:47 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:06:47 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:06:47 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:07:20 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:07:20 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:07:29 spider.go:880: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 0 	thread num: 0
+2022/05/25 14:08:58 main.go:130: debug  7100
+2022/05/25 14:08:58 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:08:58 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:08:58 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:08:58 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:08:58 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:08:58 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:10:13 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:10:13 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:10:15 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 14
+2022/05/25 14:11:40 main.go:130: debug  7100
+2022/05/25 14:11:40 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:11:40 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:11:40 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:11:40 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:11:40 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:11:40 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:12:29 main.go:130: debug  7100
+2022/05/25 14:12:29 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:12:29 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:12:29 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:12:29 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:12:29 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:12:29 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:12:45 spider.go:883: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:13:01 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:13:01 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:13:20 main.go:130: debug  7100
+2022/05/25 14:13:20 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:13:20 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:13:20 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:13:20 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:13:20 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:13:20 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:13:30 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:14:35 main.go:130: debug  7100
+2022/05/25 14:14:35 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:14:35 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:14:35 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:14:35 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:14:35 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:14:35 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:14:37 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:18:09 main.go:130: debug  7100
+2022/05/25 14:18:09 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:18:09 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:18:09 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:18:09 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:18:09 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:18:09 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:18:12 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:21:13 main.go:130: debug  7100
+2022/05/25 14:21:13 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:21:13 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:21:13 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:21:13 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:21:13 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:21:13 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:21:15 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:22:37 main.go:130: debug  7100
+2022/05/25 14:22:37 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:22:37 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:22:37 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:22:37 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:22:37 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:22:37 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:22:45 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:23:13 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:23:13 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:26:01 main.go:130: debug  7100
+2022/05/25 14:26:01 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:26:01 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:26:01 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:26:01 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:26:01 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:26:01 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:26:03 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:26:18 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:26:31 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:27:21 main.go:130: debug  7100
+2022/05/25 14:27:21 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:27:21 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:27:21 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:27:21 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:27:21 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:27:21 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:27:23 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:27:38 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:27:51 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:28:46 main.go:130: debug  7100
+2022/05/25 14:28:46 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:28:46 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:28:46 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:28:46 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:28:46 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:28:46 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:28:48 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:29:18 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:29:22 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:30:14 main.go:130: debug  7100
+2022/05/25 14:30:14 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:30:14 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:30:14 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:30:14 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:30:14 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:30:14 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:30:15 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:30:31 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:30:44 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:31:55 main.go:130: debug  7100
+2022/05/25 14:31:55 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:31:55 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:31:55 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:31:55 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:31:55 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:31:55 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:31:57 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:32:12 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:32:25 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:34:22 main.go:130: debug  7100
+2022/05/25 14:34:22 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:34:22 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:34:22 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:34:22 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:34:22 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:34:22 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:34:23 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:34:46 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:34:52 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:38:29 main.go:130: debug  7100
+2022/05/25 14:38:29 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:38:29 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:38:29 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:38:29 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:38:29 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:38:29 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:38:30 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:38:55 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:39:00 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:39:08 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:39:27 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:41:09 main.go:130: debug  7100
+2022/05/25 14:41:09 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:41:09 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:41:09 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:41:09 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:41:09 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:41:09 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:41:14 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:42:46 main.go:130: debug  7100
+2022/05/25 14:42:46 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:42:46 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:42:46 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:42:46 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:42:46 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:42:46 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:42:48 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:43:07 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:43:19 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:43:29 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:44:16 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:45:14 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:45:48 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:48:25 download.go:129: error  a_zgzfcgw_zygg_new方法DownloadAdv,url:http://www.ccgp.gov.cn/cggg/zygg/jzxtpgg/202205/t20220525_17965690.htm,err:timeout 150
+2022/05/25 14:48:26 download.go:129: error  a_zgzfcgw_zygg_new方法DownloadAdv,url:http://www.ccgp.gov.cn/cggg/zygg/zbgg/202205/t20220525_17965702.htm,err:timeout 150
+2022/05/25 14:53:35 main.go:130: debug  7100
+2022/05/25 14:53:35 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:53:35 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:53:35 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:53:35 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:53:35 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:53:35 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:53:43 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:54:02 main.go:130: debug  7100
+2022/05/25 14:54:02 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:54:02 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 14:54:03 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 14:54:03 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 14:54:03 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 14:54:03 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:54:24 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:54:26 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 14:54:33 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 14:55:08 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:55:37 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 14:58:27 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 14:59:50 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 15:00:06 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 15:00:34 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 15:00:49 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 15:01:02 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 15:02:41 main.go:130: debug  7100
+2022/05/25 15:02:41 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 15:02:41 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 15:02:41 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 15:02:41 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 15:02:41 spider.go:815: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 15:02:41 spider.go:828: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 15:02:43 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 16:39:41 main.go:132: debug  7100
+2022/05/25 16:39:41 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:39:41 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 16:39:41 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 16:39:41 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 16:39:41 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 16:39:41 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 16:39:41 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 16:39:41 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 16:39:46 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:39:51 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:39:56 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:39:58 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 16:40:01 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:06 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:11 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 16:40:11 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:16 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:21 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:26 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:31 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:36 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:41 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:46 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:51 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:40:56 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:01 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:06 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:11 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:16 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:21 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:26 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:31 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:36 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:41 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:46 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:51 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:41:56 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:01 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:06 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:11 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:16 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:21 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:26 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:31 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:36 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:41 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:46 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:51 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:42:56 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:01 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:06 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:11 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:16 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:21 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:26 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:31 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:36 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:41 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:46 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:51 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:43:56 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:01 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:06 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:11 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:16 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:21 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:26 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:31 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:36 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:41 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:46 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:51 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:44:56 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:01 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:06 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:11 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:15 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 16:45:16 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:21 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:26 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:31 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:36 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:41 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:46 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:51 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 16:45:56 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:01 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:06 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:11 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:16 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:21 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:26 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:31 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:36 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:41 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:42 upload.go:60: error  下载文件出错！ a_zgzfcgw_zygg_new  upload file 5007-16（2）报名登记表.docx http://www.ccgp.gov.cn/oss/download?uuid=847F88E7593EBF0910BFBDF5700D3D
+2022/05/25 16:46:46 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 16:46:51 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:46:56 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:01 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:06 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:11 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:16 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:21 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:26 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:31 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:36 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:41 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:46 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:48 download.go:129: error  a_zgzfcgw_zygg_new方法DownloadAdv,url:http://www.ccgp.gov.cn/cggg/zygg/cjgg/202205/t20220524_17959888.htm,err:timeout 150
+2022/05/25 16:47:50 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 16:47:50 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 14 	thread num: 0
+2022/05/25 16:47:51 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:47:56 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:01 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:06 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:11 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:16 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:22 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:27 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:32 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:37 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:42 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:47 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:52 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:48:57 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:02 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:07 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:12 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:17 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:22 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:27 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:32 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:37 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:42 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:47 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:52 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:49:57 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:02 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:07 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:12 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:17 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:22 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:27 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:32 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:32 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 16:50:37 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:42 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:47 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:52 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:50:57 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:02 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:07 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:12 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:17 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:22 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:27 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:32 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:37 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:42 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:47 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:52 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:51:57 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:02 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:07 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:12 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:17 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:22 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:27 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:32 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:37 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:42 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:47 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:52 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:52:57 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:02 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:07 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:12 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:17 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:22 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:27 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:32 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:37 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:42 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:47 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:52 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:53:57 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:02 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:07 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:12 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:17 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:22 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:27 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:32 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:37 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:41 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 16:54:42 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:47 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:52 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:54:57 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 16:55:00 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 16:55:00 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 0 	thread num: 0
+2022/05/25 16:55:02 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:07 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:12 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:17 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:22 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:27 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:32 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:37 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:42 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:47 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:49 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 16:55:52 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:55:57 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:56:02 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:56:07 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:56:12 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:56:17 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:56:22 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:56:27 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:56:32 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 16:56:37 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:06:10 main.go:132: debug  7100
+2022/05/25 17:06:10 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:06:10 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 17:06:10 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 17:06:10 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 17:06:10 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 17:06:10 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 17:06:10 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 17:06:10 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 0 	thread num: 0
+2022/05/25 17:09:16 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:09:16 main.go:132: debug  7100
+2022/05/25 17:09:16 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 17:09:16 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 17:09:17 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 17:09:17 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 17:09:17 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 17:09:17 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 17:09:17 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 17:09:17 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 17:09:17 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 14 	thread num: 0
+2022/05/25 17:09:17 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 17:09:17 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 0 	thread num: 0
+2022/05/25 17:09:21 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:09:26 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:09:58 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:09:58 main.go:132: debug  7100
+2022/05/25 17:09:58 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 17:09:58 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/25 17:09:58 handler.go:138: info  高性能模式：LUA加载完成
+2022/05/25 17:09:58 handler.go:144: info  总共加载脚本数： 1
+2022/05/25 17:09:58 spider.go:816: info  +++++++++++++++++++Download Detail+++++++++++++++++++
+2022/05/25 17:09:58 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 17:09:58 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 114 	thread num: 2
+2022/05/25 17:10:03 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:08 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:13 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:15 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 17:10:18 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:23 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:28 handler.go:1266: info  更新心跳个数： 1
+2022/05/25 17:10:28 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:33 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:38 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:43 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:48 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:53 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:10:58 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:03 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:08 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:13 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:18 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:23 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:28 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:33 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:38 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:43 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:48 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:53 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:11:58 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:03 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:08 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:13 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:18 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:23 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:28 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:33 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:38 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:43 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:44 download.go:129: error  a_zgzfcgw_zygg_new方法DownloadAdv,url:http://www.ccgp.gov.cn/cggg/zygg/gzgg/202205/t20220525_17965566.htm,err:timeout 150
+2022/05/25 17:12:48 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:53 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:12:58 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:03 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:08 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:13 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:18 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:23 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:28 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:34 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:39 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:44 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:49 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:54 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:13:59 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:04 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:09 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:14 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:19 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:24 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:29 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:34 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:39 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:44 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:49 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:54 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:14:59 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:04 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:09 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:14 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:15 download.go:129: error  a_zgzfcgw_zygg_new方法DownloadAdv,url:http://www.ccgp.gov.cn/cggg/zygg/cjgg/202205/t20220525_17964879.htm,err:timeout 150
+2022/05/25 17:15:19 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:24 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:29 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:32 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 17:15:34 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:39 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:44 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:49 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:54 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:15:59 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:04 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:09 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:14 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:19 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:24 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:29 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:34 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:39 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:44 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:49 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:54 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:16:59 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:04 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:09 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:14 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:19 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:24 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:29 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:34 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:39 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:44 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:49 spider.go:1094: info  当前三级页采集线程总数： 3
+2022/05/25 17:17:51 upload.go:111: debug  上传文件成功！ a_zgzfcgw_zygg_new 	 http://www.ccgp.gov.cn/oss/download?uuid=847F88E7593EBF0910BFBDF5700D3D 	 116cd7cdca0ea1f9a9b64371cbba7b376ab2928589492424f837107294c2a9e6.docx 	 5007-16（2）报名登记表.docx 13.8 KB
+2022/05/25 17:17:54 spider.go:1094: info  当前三级页采集线程总数： 2
+2022/05/25 17:17:59 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:04 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:09 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:13 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 17:18:13 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 14 	thread num: 0
+2022/05/25 17:18:14 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:19 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:24 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:29 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:34 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:39 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:44 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:49 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:54 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:18:59 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:04 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:09 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:14 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:19 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:24 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:29 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:34 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:39 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:44 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:49 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:54 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:19:59 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:04 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:09 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:14 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:19 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:24 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:29 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:34 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:39 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:44 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:49 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:49 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/25 17:20:54 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:20:59 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:04 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:09 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:14 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:19 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:24 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:29 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:34 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:39 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:43 download.go:129: error  a_zgzfcgw_zygg_new方法DownloadAdv,url:http://www.ccgp.gov.cn/cggg/zygg/cjgg/202205/t20220524_17958900.htm,err:timeout 150
+2022/05/25 17:21:44 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:49 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:54 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:21:59 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:22:04 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:22:09 upload.go:111: debug  上传文件成功！ a_zgzfcgw_zygg_new 	 http://www.ccgp.gov.cn/oss/download?uuid=7ABC5FE70F8B87F67A24DA622E4097 	 3cd1c5cea919636489a4d1f3a2b742815076e118cf8e2262bf76d553ee4f1f16.pdf 	 A129-磋商文件-区域空气质量监测站VOCs自动监测设备运维技术服务-20220510-发售稿.pdf 1.8 MB
+2022/05/25 17:22:09 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:22:14 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:22:19 spider.go:1094: info  当前三级页采集线程总数： 1
+2022/05/25 17:22:23 spider.go:829: info  Running Code： a_zgzfcgw_zygg_new Stop： false
+2022/05/25 17:22:23 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 0 	thread num: 0
+2022/05/25 17:22:24 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:22:29 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:22:34 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:22:39 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:22:44 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:22:49 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:22:54 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:22:59 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:23:04 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:23:09 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:23:15 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/25 17:23:20 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/26 13:24:35 main.go:132: debug  7100
+2022/05/26 13:24:35 spider.go:1095: info  当前三级页采集线程总数： 0
+2022/05/26 13:24:35 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:24:36 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:24:36 handler.go:248: info  节能模式三级页
+2022/05/26 13:24:42 handler.go:260: warn  2022-05-26 13:24:42 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 13:36:15 spider.go:1095: info  当前三级页采集线程总数： 0
+2022/05/26 13:36:15 main.go:132: debug  7100
+2022/05/26 13:36:15 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:36:15 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:36:15 handler.go:248: info  节能模式三级页
+2022/05/26 13:36:17 handler.go:260: warn  2022-05-26 13:36:17 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 13:36:26 handler.go:274: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 13:36:55 handler.go:1266: info  更新心跳个数： 0
+2022/05/26 13:37:04 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/26 13:37:12 handler.go:302: warn  2022-05-26 13:37:12 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 13:37:16 handler.go:260: warn  2022-05-26 13:37:16 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 13:37:21 handler.go:274: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: true
+2022/05/26 13:37:21 spider.go:1095: info  当前三级页采集线程总数： 0
+2022/05/26 13:37:23 handler.go:302: warn  2022-05-26 13:37:23 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 13:41:18 main.go:132: debug  7100
+2022/05/26 13:41:18 spider.go:1095: info  当前三级页采集线程总数： 0
+2022/05/26 13:41:18 handler.go:417: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:41:18 handler.go:417: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:41:18 handler.go:248: info  节能模式三级页
+2022/05/26 13:41:20 handler.go:260: warn  2022-05-26 13:41:20 :下载三级页执行死循环 初始化脚本数量: 3
+2022/05/26 13:41:24 handler.go:274: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 13:41:35 handler.go:274: info  Code： hn_hnszfcgdzmc_ggdtlsbl Is Downloading Detail: false
+2022/05/26 13:41:42 handler.go:1236: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/26 13:41:48 handler.go:1268: info  更新心跳个数： 0
+2022/05/26 13:42:26 main.go:132: debug  7100
+2022/05/26 13:42:26 spider.go:1095: info  当前三级页采集线程总数： 0
+2022/05/26 13:42:26 handler.go:417: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:42:26 handler.go:417: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:42:26 handler.go:248: info  节能模式三级页
+2022/05/26 13:42:28 handler.go:260: warn  2022-05-26 13:42:28 :下载三级页执行死循环 初始化脚本数量: 3
+2022/05/26 13:42:32 handler.go:274: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 13:42:36 handler.go:274: info  Code： hn_hnszfcgdzmc_ggdtlsbl Is Downloading Detail: false
+2022/05/26 13:42:43 handler.go:1236: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/26 13:43:09 main.go:132: debug  7100
+2022/05/26 13:43:09 spider.go:1096: info  当前三级页采集线程总数： 0
+2022/05/26 13:43:09 handler.go:417: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:43:09 handler.go:417: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:43:09 handler.go:248: info  节能模式三级页
+2022/05/26 13:43:11 handler.go:260: warn  2022-05-26 13:43:11 :下载三级页执行死循环 初始化脚本数量: 3
+2022/05/26 13:43:13 handler.go:274: info  Code： gd_gdswszjfwcs_zxgg_bu Is Downloading Detail: false
+2022/05/26 13:43:15 handler.go:274: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 13:43:26 handler.go:1236: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/26 13:43:39 handler.go:1268: info  更新心跳个数： 0
+2022/05/26 13:44:09 spider.go:1096: info  当前三级页采集线程总数： 0
+2022/05/26 13:44:20 handler.go:274: info  Code： hn_hnszfcgdzmc_ggdtlsbl Is Downloading Detail: false
+2022/05/26 13:45:09 spider.go:1096: info  当前三级页采集线程总数： 0
+2022/05/26 13:45:14 handler.go:304: warn  2022-05-26 13:45:14 :下载三级页执行死循环完毕,数量统计: 3 0
+2022/05/26 13:46:59 main.go:132: debug  7100
+2022/05/26 13:46:59 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/26 13:46:59 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:46:59 handler.go:415: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 13:46:59 handler.go:248: info  节能模式三级页
+2022/05/26 13:46:59 handler.go:260: warn  2022-05-26 13:46:59 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 13:46:59 handler.go:274: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 13:47:21 handler.go:1234: error  send to editor:  Post "http://127.0.0.1:6011/spider/infos": dial tcp 127.0.0.1:6011: connectex: No connection could be made because the target machine actively refused it.
+2022/05/26 13:47:34 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 1 	thread num: 0
+2022/05/26 13:47:38 handler.go:1266: info  更新心跳个数： 1
+2022/05/26 13:48:14 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/26 13:49:05 handler.go:302: warn  2022-05-26 13:49:05 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 13:49:07 handler.go:260: warn  2022-05-26 13:49:07 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 13:49:07 handler.go:274: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 13:49:16 spider.go:1094: info  当前三级页采集线程总数： 0
+2022/05/26 13:49:18 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 0 	thread num: 0
+2022/05/26 13:49:19 handler.go:302: warn  2022-05-26 13:49:19 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 13:49:19 handler.go:260: warn  2022-05-26 13:49:19 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 13:49:19 handler.go:274: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 13:49:34 spider.go:882: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 0 	thread num: 0
+2022/05/26 14:37:30 main.go:132: debug  7100
+2022/05/26 14:37:30 spider.go:1086: info  当前三级页采集线程总数： 0
+2022/05/26 14:37:30 handler.go:407: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 14:37:30 handler.go:407: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 14:37:30 handler.go:149: info  节能模式列表页
+2022/05/26 14:37:30 handler.go:244: info  节能模式三级页
+2022/05/26 14:37:30 handler.go:160: warn  2022-05-26 14:37:30 :下载列表页执行死循环 初始化脚本数量: 1
+2022/05/26 14:37:30 handler.go:173: info  Code： a_zgzfcgw_zygg_new Is Downloading List: false
+2022/05/26 14:37:30 handler.go:256: warn  2022-05-26 14:37:30 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 14:37:30 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 14:37:30 spider.go:182: debug  a_zgzfcgw_zygg_new 中国政府采购网 频率： 5 , 150
+2022/05/26 14:37:30 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 1 	thread num: 0
+2022/05/26 14:37:31 handler.go:238: warn  2022-05-26 14:37:31 :下载列表页执行死循环,列表长度, 1 0 删除数量 0 执行完毕后数量统计: 1 0
+2022/05/26 14:37:31 handler.go:160: warn  2022-05-26 14:37:31 :下载列表页执行死循环 初始化脚本数量: 1
+2022/05/26 14:37:31 handler.go:294: warn  2022-05-26 14:37:31 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 14:37:31 handler.go:173: info  Code： a_zgzfcgw_zygg_new Is Downloading List: true
+2022/05/26 14:37:31 handler.go:256: warn  2022-05-26 14:37:31 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 14:37:31 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: true
+2022/05/26 15:27:19 main.go:132: debug  7100
+2022/05/26 15:27:19 spider.go:1088: info  当前三级页采集线程总数： 0
+2022/05/26 15:27:19 handler.go:407: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 15:27:19 handler.go:407: info  节点 7100 脚本文件爬虫数 0
+2022/05/26 15:27:19 handler.go:244: info  节能模式三级页
+2022/05/26 15:27:19 handler.go:256: warn  2022-05-26 15:27:19 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 15:27:19 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 15:27:19 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 112 	thread num: 2
+2022/05/26 15:27:20 handler.go:294: warn  2022-05-26 15:27:20 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 15:27:20 handler.go:256: warn  2022-05-26 15:27:20 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 15:27:20 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 15:27:20 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 112 	thread num: 2
+2022/05/26 15:27:21 handler.go:294: warn  2022-05-26 15:27:21 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 15:27:21 handler.go:256: warn  2022-05-26 15:27:21 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 15:27:21 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 15:27:21 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 112 	thread num: 2
+2022/05/26 15:27:22 handler.go:294: warn  2022-05-26 15:27:22 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 15:27:22 handler.go:256: warn  2022-05-26 15:27:22 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 15:27:22 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 15:27:22 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 112 	thread num: 2
+2022/05/26 15:27:23 handler.go:294: warn  2022-05-26 15:27:23 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 15:27:23 handler.go:256: warn  2022-05-26 15:27:23 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 15:27:23 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 15:27:23 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 112 	thread num: 2
+2022/05/26 15:27:25 handler.go:294: warn  2022-05-26 15:27:25 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 15:27:25 handler.go:256: warn  2022-05-26 15:27:25 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 15:27:25 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 15:27:25 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 112 	thread num: 2
+2022/05/26 15:27:26 handler.go:294: warn  2022-05-26 15:27:26 :下载三级页执行死循环完毕,数量统计: 1 0
+2022/05/26 15:27:26 handler.go:256: warn  2022-05-26 15:27:26 :下载三级页执行死循环 初始化脚本数量: 1
+2022/05/26 15:27:26 handler.go:270: info  Code： a_zgzfcgw_zygg_new Is Downloading Detail: false
+2022/05/26 15:27:26 spider.go:881: info  Thread Info：	Code: a_zgzfcgw_zygg_new 	count: 112 	thread num: 2

src/main.go

@@ -103,6 +103,8 @@ func initConfig(addr, alias, db string, dbsize int) {
 
 //
 func main() {
+	//临时统计总的线程数
+	go spider.AllThreadLog()
 	//定时上传流量信息
 	//go spider.TimeTask()
 	//定时清理日志

src/spider/handler.go

@@ -98,6 +98,7 @@ func NoQueueScript() {
 					sp2.UserEmail = sp.UserEmail
 					sp2.MUserName = sp.MUserName
 					sp2.MUserEmail = sp.MUserEmail
+					sp2.IsMainThread = true //多线程采集时使用
 					Allspiders2.Store(sp.Code, sp2)
 				}
 				sp.StartJob()
@@ -176,12 +177,8 @@ func QueueUpScriptList() {
 					//logger.Info("初始化脚本是否成功：", sp != nil, e.Value)
 					if errstr == "" && sp != nil && sp.Code != "nil" { //初始化脚本成功
 						//sp.Index = qu.IntAll(key)
-						if info["createuser"] != "" {
-							sp.UserName = info["createuser"]
-						}
-						if info["createuseremail"] != "" {
-							sp.UserEmail = info["createuseremail"]
-						}
+						sp.UserName = info["createuser"]
+						sp.UserEmail = info["createuseremail"]
 						sp.MUserName = info["modifyuser"]
 						sp.MUserEmail = info["modifyemail"]
 						Allspiders.Store(code, sp)
@@ -224,7 +221,7 @@ func QueueUpScriptList() {
 				logger.Info("Code：", key, "Is Not Download List")
 				listNoLen++
 			}
-			time.Sleep(1 * time.Second)
+			time.Sleep(100 * time.Millisecond)
 			return true
 		})
 		time.Sleep(1 * time.Second)
@@ -276,23 +273,20 @@ func QueueUpScriptDetail() {
 					sp, errstr := NewSpider_New(code, script, true)
 					if errstr == "" && sp != nil && sp.Code != "nil" { //初始化脚本成功
 						//sp.Index = qu.IntAll(key)
-						if info["createuser"] != "" {
-							sp.UserName = info["createuser"]
-						}
-						if info["createuseremail"] != "" {
-							sp.UserEmail = info["createuseremail"]
-						}
+						sp.UserName = info["createuser"]
+						sp.UserEmail = info["createuseremail"]
 						sp.MUserName = info["modifyuser"]
 						sp.MUserEmail = info["modifyemail"]
+						sp.IsMainThread = true
 						Allspiders2.Store(code, sp)
-						go sp.DownloadListDetail() //下载三级页信息
+						go sp.DownloadListDetail("list") //下载三级页信息
 					}
 				}
 			} else {
 				logger.Info("Code：", key, "Is Not Download Detail")
 				count_no++
 			}
-			time.Sleep(1 * time.Second)
+			time.Sleep(100 * time.Millisecond)
 			return true
 		})
 		InitCount = count_ok
@@ -507,7 +501,7 @@ func UpdateSpiderByCodeState(code, state string) (bool, error) {
 					logger.Info("重采更新爬虫成功", code)
 				}
 			}
-		} else {
+		} else { //高性能模式
 			for k, v := range scriptMap {
 				if spd, ok := Allspiders.Load(k); ok { //对应脚本已存在，更新
 					sp := spd.(*Spider)
@@ -619,7 +613,7 @@ func UpdateSpiderByCodeState(code, state string) (bool, error) {
 				logger.Info("上架新增脚本", code)
 				up = true
 			}
-		} else {
+		} else { //高性能模式
 			for k, v := range scriptMap {
 				LoopListPath.Store(k, v)
 				//1、Allspiders对应7000、7100、7400脚本上架下载数据(列表页爬虫集合)
@@ -712,7 +706,8 @@ func UpdateSpiderByCodeState(code, state string) (bool, error) {
 							sp2.MUserName = v["modifyuser"]
 							sp2.MUserEmail = v["modifyemail"]
 							sp2.Stop = false
-							go sp2.DownloadHighDetail() //根据列表页数据下载三级页
+							sp2.IsMainThread = true               //多线程采集时使用
+							go sp2.DownloadHighDetail("highlist") //根据列表页数据下载三级页
 							Allspiders2.Store(k, sp2)
 							// up = true
 							// err = nil

src/spider/spider.go

@@ -87,6 +87,7 @@ type Spider struct {
 	IsHistoricalMend bool //是否是历史补漏爬虫
 	IsMustDownload   bool //是否强制下载
 	IsCompete        bool //区分新老爬虫
+	IsMainThread     bool //是否为主线程(多线程采集时区分是否为主线程)
 }
 
 var Es *es.Elastic
@@ -106,6 +107,7 @@ var RepDomainNameReg = regexp.MustCompile(`[:：/]+`)
 var DelaySites map[string]int //延迟采集站点集合
 var Today string
 var SpiderFlowMap = sync.Map{} //code:{"2022-05-16":SpiderFlow}
+var AllThreadNum int64
 
 //心跳
 func UpdateHeart(site, channel, code, user, t string) {
@@ -722,7 +724,6 @@ func (s *Spider) DownloadDetailByNames(p interface{}) {
 			util.TimeSleepFunc(2*time.Second, TimeSleepChan)
 		}
 	*/
-	//TODO 下载3级页，调用LUA分析；如果配置的不用下载3级页，就到此为止了，直接存储
 	data := map[string]interface{}{}
 	paramdata := p.(map[string]interface{})
 	for k, v := range paramdata {
@@ -815,56 +816,117 @@ func GetListDataDownloadDetail() {
 	logger.Info("+++++++++++++++++++Download Detail+++++++++++++++++++")
 	Allspiders2.Range(func(k, v interface{}) bool {
 		sp := v.(*Spider)
-		go sp.DownloadHighDetail()
+		go sp.DownloadHighDetail("highlist")
 		time.Sleep(2 * time.Second)
 		return true
 	})
 }
 
 //高性能模式根据列表页数据下载三级页
-func (s *Spider) DownloadHighDetail() {
+func (s *Spider) DownloadHighDetail(stype string) {
 	defer qu.Catch()
 	for {
 		logger.Info("Running Code：", s.Code, "Stop：", s.Stop)
 		if !s.Stop { //爬虫是运行状态
-			comeintimeQuery := map[string]interface{}{"$gte": GetTime(-util.Config.DayNum)} //采集一周内的数据，防止有数据一直采不下来，造成积累
-			isEsRepeat := false                                                             //是否进行es判重
-			if delayTime := DelaySites[s.Name]; delayTime > 0 {
-				isEsRepeat = true
-				if delayTime <= util.Config.DayNum*24 { //判断该爬虫是否属于要延迟采集的站点,数据延迟delayDay小时采集(由于7410、7500、7700为顺序采集，无法延时)
-					//comeintimeQuery["$lte"] = GetTime(-delayDay + 1)
-					comeintimeQuery["$lte"] = time.Now().Unix() - int64(3600*delayTime)
+			s.DownloadDetail(stype)
+		} else {
+			logger.Info("Running Code：", s.Code, "Stop：", s.Stop)
+			break
+		}
+	}
+}
+
+//队列模式根据列表页数据下载三级页
+func (s *Spider) DownloadListDetail(stype string) {
+	defer qu.Catch()
+	s.DownloadDetail(stype)
+	//队列模式爬虫下载完三级页数据或无下载数据，使用后close
+	s.Stop = true
+	if _, b := Allspiders2.Load(s.Code); b {
+		Allspiders2.Store(s.Code, s)
+	}
+	s.L.Close()
+	CC2 <- s.L
+}
+
+//下载详情页
+func (s *Spider) DownloadDetail(stype string) {
+	defer qu.Catch()
+	comeintimeQuery := map[string]interface{}{"$gte": GetTime(-util.Config.DayNum)} //采集一周内的数据，防止有数据一直采不下来，造成积累
+	isEsRepeat := false                                                             //是否进行es判重
+	if delayTime := DelaySites[s.Name]; delayTime > 0 {
+		isEsRepeat = true
+		if delayTime <= util.Config.DayNum*24 { //判断该爬虫是否属于要延迟采集的站点,数据延迟delayDay小时采集(由于7410、7500、7700为顺序采集，无法延时)
+			//comeintimeQuery["$lte"] = GetTime(-delayDay + 1)
+			comeintimeQuery["$lte"] = time.Now().Unix() - int64(3600*delayTime)
+		}
+	}
+	q := map[string]interface{}{
+		"spidercode": s.Code,
+		"state":      0, //0:入库状态；-1:采集失败；1:成功
+		"comeintime": comeintimeQuery,
+	}
+	o := map[string]interface{}{"_id": -1}
+	f := map[string]interface{}{
+		"state":      0,
+		"comeintime": 0,
+		"event":      0,
+	}
+	if !s.Stop { //在下载详情页时爬虫下架，此时不再存心跳信息
+		UpdateHeart(s.Name, s.Channel, s.Code, s.MUserName, "detail") //记录modal=1采集三级页心跳
+	}
+	countNum := Mgo.Count("spider_highlistdata", q) //统计util.Config.DayNum天内未下载爬虫个数
+	if countNum > 0 {
+		threadNum := countNum / util.Config.ThreadBaseNum //线程数
+		logger.Info("Thread Info：	Code:", s.SCode, "	count:", countNum, "	thread num:", threadNum)
+		list, _ := Mgo.Find("spider_highlistdata", q, o, f, false, 0, 200)
+		if list != nil && len(*list) > 0 {
+			spChan := make(chan *Spider, threadNum+1) //初始化线程通道(+1表示基本的线程数)
+			if threadNum > 1 {                        //初始化多个sp
+				if v, ok := LoopListPath.Load(s.Code); ok && v != nil {
+					if info, ok := v.(map[string]string); ok {
+						NewSpiderByScript(threadNum, s.Code, info, spChan)
+					} else {
+						logger.Debug("LoopListPath Not Has Code:", s.Code)
+						spChan = make(chan *Spider, 1) //不能创建其它sp只能用主线程的sp
+					}
+				} else {
+					logger.Debug("LoopListPath Not Has Code:", s.Code)
+					spChan = make(chan *Spider, 1) //不能创建其它sp只能用主线程的sp
 				}
 			}
-			q := map[string]interface{}{
-				"spidercode": s.Code,
-				"state":      0, //0:入库状态；-1:采集失败；1:成功
-				"comeintime": comeintimeQuery,
-			}
-			o := map[string]interface{}{"_id": -1}
-			f := map[string]interface{}{
-				"state":      0,
-				"comeintime": 0,
-				"event":      0,
-			}
-			if !s.Stop { //在下载详情页时爬虫下架，此时不再存心跳信息
-				UpdateHeart(s.Name, s.Channel, s.Code, s.MUserName, "detail") //记录modal=1采集三级页心跳
-			}
-			//countNum := Mgo.Count("spider_highlistdata", q) //统计util.Config.DayNum天内未下载爬虫个数
-			//threadNum := countNum % util.Config.ThreadBaseNum
-			list, _ := Mgo.Find("spider_highlistdata", q, o, f, false, 0, 100)
-			if list != nil && len(*list) > 0 {
-				for _, tmp := range *list {
+			spChan <- s //主线程sp放入通道
+			wg := &sync.WaitGroup{}
+			spLock := &sync.Mutex{}
+			updateArr := [][]map[string]interface{}{}
+			for _, tmp := range *list {
+				spTmp := <-spChan //通道中取出sp对象
+				wg.Add(1)
+				atomic.AddInt64(&AllThreadNum, 1)
+				go func(tmp map[string]interface{}, sp *Spider) {
+					defer func() {
+						spChan <- sp //处理完数据sp对象放回通道中
+						wg.Done()
+						atomic.AddInt64(&AllThreadNum, -1)
+					}()
+					if sp == nil { //初始化sp的时候sp可能为nil
+						return
+					}
 					_id := tmp["_id"]
 					query := map[string]interface{}{"_id": _id}
 					href := qu.ObjToString(tmp["href"])
+					update := []map[string]interface{}{}
 					//由于目前列表页redis判重是href+code可能导致同一条href有多条不同code采集的数据存在
 					//为了避免重复下载，进行增量redis判重
 					isExist, _ := util.ExistRedis("title_repeat_judgement", 0, "url_repeat_"+href)
 					if isExist {
 						set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "exist": true, "updatetime": time.Now().Unix()}} //已存在state置为1
-						Mgo.Update("spider_highlistdata", query, set, false, false)
-						continue
+						update = append(update, query)
+						update = append(update, set)
+						spLock.Lock()
+						updateArr = append(updateArr, update)
+						spLock.Unlock()
+						return
 					}
 					if isEsRepeat { //es数据title判重
 						title := qu.ObjToString(tmp["title"])
@@ -873,10 +935,14 @@ func (s *Spider) DownloadHighDetail() {
 						esQuery := `{"query": {"filtered": {"filter": {"bool": {"must": [{"range": {"comeintime": {"gte": "` + fmt.Sprint(sTime) + `","lte": "` + fmt.Sprint(eTime) + `"}}}]}},"query": {"bool": {"must": [{"multi_match": {"query": "` + title + `","type": "phrase","fields": ["title"]}}]}}}}}`
 						count := Es.Count(EsIndex, EsType, esQuery)
 						if count > 0 { //es中含本title数据，不再采集，更新list表数据状态
-							set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "exist": true, "updatetime": time.Now().Unix()}} //已存在state置为1
-							Mgo.Update("spider_highlistdata", query, set, false, false)
 							util.PutRedis("title_repeat_judgement", 0, "url_repeat_"+href, href, 3600*24*365)
-							continue
+							set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "exist": true, "updatetime": time.Now().Unix()}} //已存在state置为1
+							update = append(update, query)
+							update = append(update, set)
+							spLock.Lock()
+							updateArr = append(updateArr, update)
+							spLock.Unlock()
+							return
 						}
 					}
 					times := qu.IntAll(tmp["times"])
@@ -889,8 +955,8 @@ func (s *Spider) DownloadHighDetail() {
 						data[k] = v
 					}
 					//下载、解析、入库
-					data, err = s.DownloadDetailPage(tmp, data)
-					if !s.Stop { //在下载详情页时爬虫下架，此时不再存心跳信息
+					data, err = sp.DownloadDetailPage(tmp, data)
+					if sp.IsMainThread && !sp.Stop { //在下载详情页时爬虫下架，此时不再存心跳信息
 						UpdateHeart(s.Name, s.Channel, s.Code, s.MUserName, "detailexcute") //记录modal=1下载数据心跳
 					}
 					if err != nil || data == nil {
@@ -923,13 +989,31 @@ func (s *Spider) DownloadHighDetail() {
 							ss["state"] = -1
 						}
 						set := map[string]interface{}{"$set": ss}
-						Mgo.Update("spider_highlistdata", query, set, false, false)
-						continue
-					} else {
-						deleteData := FilterByDetail(href, query, data) //针对列表页无法过滤需要在详情页过滤的数据，进行过滤处理
-						if deleteData {
-							continue
-						}
+						update = append(update, query)
+						update = append(update, set)
+						spLock.Lock()
+						updateArr = append(updateArr, update)
+						spLock.Unlock()
+						return
+					} else if data["delete"] != nil { //三级页过滤
+						//增量
+						util.PutRedis("title_repeat_judgement", 0, "url_repeat_"+href, href, 3600*24*365)
+						//全量
+						db := HexToBigIntMod(href)
+						hashHref := HexText(href)
+						util.PutRedis("title_repeat_fulljudgement", db, hashHref, "", -1)
+						//更新mgo 要删除的数据更新spider_highlistdata state=1不再下载，更新redis
+						set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "delete": true, "updatetime": time.Now().Unix()}}
+						update = append(update, query)
+						update = append(update, set)
+						spLock.Lock()
+						updateArr = append(updateArr, update)
+						spLock.Unlock()
+						return
+						//deleteData := FilterByDetail(href, query, data) //针对列表页无法过滤需要在详情页过滤的数据，进行过滤处理
+						//if deleteData {
+						//	return
+						//}
 					}
 					t1 := util.ParseDate2Int64(qu.ObjToString(data["publishtime"]))
 					if t1 > time.Now().Unix() { //防止发布时间超前
@@ -939,188 +1023,70 @@ func (s *Spider) DownloadHighDetail() {
 					delete(data, "checkpublishtime")
 					data["comeintime"] = time.Now().Unix()
 					//计数
-					tmpsp1, b := Allspiders.Load(s.Code)
-					if b {
-						sp1, ok := tmpsp1.(*Spider)
-						if ok {
-							atomic.AddInt32(&sp1.LastDowncount, 1)
-							atomic.AddInt32(&sp1.TodayDowncount, 1)
-							atomic.AddInt32(&sp1.TotalDowncount, 1)
-						}
-					}
+					//tmpsp1, b := Allspiders.Load(s.Code)
+					//if b {
+					//	sp1, ok := tmpsp1.(*Spider)
+					//	if ok {
+					//		atomic.AddInt32(&sp1.LastDowncount, 1)
+					//		atomic.AddInt32(&sp1.TodayDowncount, 1)
+					//		atomic.AddInt32(&sp1.TotalDowncount, 1)
+					//	}
+					//}
 					data["spidercode"] = s.Code
 					data["dataging"] = 0
 					data["iscompete"] = s.IsCompete //2021-11-01以后新增的爬虫不在展示原文链接(保存服务判断)
-					Store(s.StoreMode, s.StoreToMsgEvent, s.Collection, s.CoverAttr, data, true)
-					set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "updatetime": time.Now().Unix()}} //下载成功state置为1
-					Mgo.Update("spider_highlistdata", query, set, false, false)
+					//Store(s.StoreMode, s.StoreToMsgEvent, s.Collection, s.CoverAttr, data, true)
+					set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "updatetime": time.Now().Unix(), "date": data}} //下载成功state置为1
+					update = append(update, query)
+					update = append(update, set)
+					spLock.Lock()
+					updateArr = append(updateArr, update)
+					spLock.Unlock()
+					//到此数据下载完成
+				}(tmp, spTmp)
+			}
+			wg.Wait()
+			//更新数据
+			if len(updateArr) > 0 {
+				Mgo.UpdateBulk("spider_highlistdata", updateArr...)
+			}
+			close(spChan) //关闭通道
+			//释放sp对象(保留主线程sp,IsMainThread=true)
+			for sp := range spChan {
+				if sp != nil && !sp.IsMainThread {
+					sp.L.Close()
 				}
-				//重载spider
+			}
+			if stype == "highlist" { //高性能模式下载完三级页数据，sp对象需要重载
+				//重载主线程sp
 				s.LoadScript(&s.Name, &s.Channel, &s.MUserName, s.Code, s.ScriptFile, true)
-			} else { //没有数据
-				time.Sleep(2 * time.Minute)
 			}
-			//s.GetListDataDownloadDetail() //开始下一轮
-		} else {
-			logger.Info("Running Code：", s.Code, "Stop：", s.Stop)
-			break
 		}
+	} else if stype == "highlist" { //高性能模式无数据sleep2分钟
+		time.Sleep(2 * time.Minute)
 	}
 }
 
-//队列模式根据列表页数据下载三级页
-func (s *Spider) DownloadListDetail() {
-	defer qu.Catch()
-	defer func() { //爬虫下载完三级页数据或无下载数据，使用后close
-		s.Stop = true
-		if _, b := Allspiders2.Load(s.Code); b {
-			Allspiders2.Store(s.Code, s)
-		}
-		s.L.Close()
-		CC2 <- s.L
-	}()
-	comeintimeQuery := map[string]interface{}{"$gte": GetTime(-util.Config.DayNum)} //采集一周内的数据，防止有数据一直采不下来，造成积累
-	isEsRepeat := false                                                             //是否进行es判重
-	if delayTime := DelaySites[s.Name]; delayTime > 0 {
-		isEsRepeat = true
-		if delayTime <= util.Config.DayNum*24 { //判断该爬虫是否属于要延迟采集的站点,数据延迟delayDay小时采集(由于7410、7500、7700为顺序采集，无法延时)
-			//comeintimeQuery["$lte"] = GetTime(-delayDay + 1)
-			comeintimeQuery["$lte"] = time.Now().Unix() - int64(3600*delayTime)
-		}
-	}
-	q := map[string]interface{}{
-		"spidercode": s.Code,
-		"state":      0, //0:入库状态；-1:采集失败；1:成功
-		"comeintime": comeintimeQuery,
-	}
-	o := map[string]interface{}{"_id": -1}
-	f := map[string]interface{}{
-		"state":      0,
-		"comeintime": 0,
-		"event":      0,
-	}
-	if !s.Stop { //在下载详情页时爬虫下架，此时不再存心跳信息
-		UpdateHeart(s.Name, s.Channel, s.Code, s.MUserName, "detail") //记录modal=1采集三级页心跳
-	}
-	list, _ := Mgo.Find("spider_highlistdata", q, o, f, false, 0, 100)
-	if list != nil && len(*list) > 0 {
-		for _, tmp := range *list {
-			_id := tmp["_id"]
-			query := map[string]interface{}{"_id": _id}
-			href := qu.ObjToString(tmp["href"])
-			//由于目前列表页redis判重是href+code可能导致同一条href有多条不同code采集的数据存在
-			//为了避免重复下载，进行增量redis判重
-			isExist, _ := util.ExistRedis("title_repeat_judgement", 0, "url_repeat_"+href)
-			if isExist {
-				set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "exist": true, "updatetime": time.Now().Unix()}} //已存在state置为1
-				Mgo.Update("spider_highlistdata", query, set, false, false)
-				continue
-			}
-			if isEsRepeat { //es数据title判重
-				title := qu.ObjToString(tmp["title"])
-				eTime := time.Now().Unix()
-				sTime := eTime - int64(7*86400)
-				esQuery := `{"query": {"filtered": {"filter": {"bool": {"must": [{"range": {"comeintime": {"gte": "` + fmt.Sprint(sTime) + `","lte": "` + fmt.Sprint(eTime) + `"}}}]}},"query": {"bool": {"must": [{"multi_match": {"query": "` + title + `","type": "phrase","fields": ["title"]}}]}}}}}`
-				count := Es.Count(EsIndex, EsType, esQuery)
-				if count > 0 { //es中含本title数据，不再采集，更新list表数据状态
-					set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "exist": true, "updatetime": time.Now().Unix()}} //已存在state置为1
-					Mgo.Update("spider_highlistdata", query, set, false, false)
-					util.PutRedis("title_repeat_judgement", 0, "url_repeat_"+href, href, 3600*24*365)
-					continue
-				}
-			}
-			times := qu.IntAll(tmp["times"])
-			success := true //数据是否下载成功的标志
-			delete(tmp, "_id")
-			delete(tmp, "times")
-			data := map[string]interface{}{}
-			var err interface{}
-			for k, v := range tmp {
-				data[k] = v
-			}
-			//下载、解析、入库
-			data, err = s.DownloadDetailPage(tmp, data)
-			if !s.Stop { //在下载详情页时爬虫下架，此时不再存心跳信息
-				UpdateHeart(s.Name, s.Channel, s.Code, s.MUserName, "detailexcute") //记录modal=1下载数据心跳
-			}
-			if err != nil || data == nil {
-				success = false
-				times++
-				if err != nil {
-					logger.Error(s.Code, err, tmp)
-					if len(tmp) > 0 {
-						SaveErrorData(s.MUserName, tmp, err) //保存错误信息
-					}
-				} /*else if data == nil && times >= 3 { //下载问题，建editor任务
-					DownloadErrorData(s.Code, tmp)
-				}*/
-			} else if tmphref := qu.ObjToString(data["href"]); tmphref != href { //三级页href替换导致前后href不同
-				log.Println("beforeHref:", href, "afterHref:", tmphref)
-				//增量
-				util.PutRedis("title_repeat_judgement", 0, "url_repeat_"+href, href, 3600*24*365)
-				//全量
-				db := HexToBigIntMod(href)
-				hashHref := HexText(href)
-				isExist, _ := util.ExistRedis("title_repeat_fulljudgement", db, hashHref)
-				if !isExist {
-					util.PutRedis("title_repeat_fulljudgement", db, hashHref, "", -1)
-				}
-			}
-			if !success { //下载失败更新次数和状态
-				ss := map[string]interface{}{"times": times, "updatetime": time.Now().Unix()}
-				if times >= 3 { //3次下载失败今天不再下载,state置为1
-					ss["state"] = -1
-				}
-				set := map[string]interface{}{"$set": ss}
-				Mgo.Update("spider_highlistdata", query, set, false, false)
-				continue
-			} else {
-				deleteData := FilterByDetail(href, query, data) //针对列表页无法过滤需要在详情页过滤的数据，进行过滤处理
-				if deleteData {
-					continue
-				}
-			}
-			t1 := util.ParseDate2Int64(qu.ObjToString(data["publishtime"]))
-			if t1 > time.Now().Unix() { //防止发布时间超前
-				data["publishtime"] = time.Now().Unix()
-			}
-			delete(data, "exit")
-			delete(data, "checkpublishtime")
-			data["comeintime"] = time.Now().Unix()
-			//计数
-			tmpsp1, b := Allspiders.Load(s.Code)
-			if b {
-				sp1, ok := tmpsp1.(*Spider)
-				if ok {
-					atomic.AddInt32(&sp1.LastDowncount, 1)
-					atomic.AddInt32(&sp1.TodayDowncount, 1)
-					atomic.AddInt32(&sp1.TotalDowncount, 1)
-				}
-			}
-			data["spidercode"] = s.Code
-			data["dataging"] = 0
-			data["iscompete"] = s.IsCompete //2021-11-01以后新增的爬虫不在展示原文链接(保存服务判断)
-			Store(s.StoreMode, s.StoreToMsgEvent, s.Collection, s.CoverAttr, data, true)
-			set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "updatetime": time.Now().Unix()}} //下载成功state置为1
-			Mgo.Update("spider_highlistdata", query, set, false, false)
+//初始化sp对象
+func NewSpiderByScript(num int, code string, info map[string]string, spChan chan *Spider) {
+	for i := 1; i <= num; i++ {
+		spTmp, errstr := NewSpider(code, info["script"])
+		if errstr == "" && spTmp != nil { //脚本加载成功
+			spTmp.UserName = info["createuser"]
+			spTmp.UserEmail = info["createuseremail"]
+			spTmp.MUserName = info["modifyuser"]
+			spTmp.MUserEmail = info["modifyemail"]
+			spChan <- spTmp
+		} else {
+			spChan <- nil
 		}
 	}
 }
 
-func FilterByDetail(href string, query, data map[string]interface{}) bool {
-	if data["delete"] != nil {
-		//增量
-		util.PutRedis("title_repeat_judgement", 0, "url_repeat_"+href, href, 3600*24*365)
-		//全量
-		db := HexToBigIntMod(href)
-		hashHref := HexText(href)
-		util.PutRedis("title_repeat_fulljudgement", db, hashHref, "", -1)
-		//更新mgo 要删除的数据更新spider_highlistdata state=1不再下载，更新redis
-		set := map[string]interface{}{"$set": map[string]interface{}{"state": 1, "delete": true, "updatetime": time.Now().Unix()}}
-		Mgo.Update("spider_highlistdata", query, set, false, false)
-		return true
-	}
-	return false
+//打印线程数
+func AllThreadLog() {
+	logger.Info("当前三级页采集线程总数：", AllThreadNum)
+	time.AfterFunc(1*time.Minute, AllThreadLog)
 }
 
 //获取随机数