xg

src/logs/task.log

@@ -702854,3 +702854,18 @@
 2022/07/04 10:57:02 task.go:736: debug  统计spider_listdata采集量完成...
 2022/07/04 10:57:02 task.go:1984: debug  CodeInfoMap: 3
 2022/07/04 10:57:02 task.go:2032: debug  爬虫基本信息生成完成...
+2022/07/06 08:55:07 task.go:175: debug  1656950400 1657036800 2022-07-05
+2022/07/06 08:55:08 task.go:257: debug  共加载线上爬虫个数: 3
+2022/07/06 08:55:08 task.go:302: debug  0
+2022/07/06 08:55:08 task.go:307: debug  爬虫基本信息准备完成... 3
+2022/07/06 08:55:08 task.go:327: debug  bidding采集数据量: 0
+2022/07/06 08:55:08 task.go:355: debug  Bidding数据量统计完成... 0 0
+2022/07/06 08:55:08 task.go:579: debug  统计采集量spider_highlistdata完成...
+2022/07/06 08:55:08 task.go:736: debug  统计spider_listdata采集量完成...
+2022/07/06 08:55:08 task.go:1261: debug  python列表页数据下载量统计开始...
+2022/07/06 08:55:08 task.go:1303: debug  python数据下载量统计完成...
+2022/07/06 08:55:08 task.go:1309: debug  python三级页数据下载量统计开始...
+2022/07/06 08:55:08 task.go:1366: debug  python数据下载量统计完成...
+2022/07/06 08:55:08 task.go:1535: debug  python下载异常数据统计完成...
+2022/07/06 08:55:08 task.go:1984: debug  CodeInfoMap: 3
+2022/07/06 08:55:08 task.go:2031: debug  爬虫基本信息生成完成...

src/luatask/sitecount.go

@@ -230,6 +230,7 @@ func GetSiteInfoExcel(allSpiderInfo map[string]*SiteInfo) {
 		}
 	}
 	util.MgoE.SaveBulk("site_datacount", arr...)
+	arr = []map[string]interface{}{}
 	//file.Save("res/tmp.xlsx")
 	SendSiteInfoToWxWork(file)
 }