新增基于页面渲染的下载方法

src/main.go

@@ -1,6 +1,7 @@
 package main
 
 import (
+	codegrpc "analysiscode"
 	_ "filter"
 	"fmt"
 	"io/ioutil"
@@ -40,7 +41,7 @@ func init() {
 	spider.Mgo.InitPool()
 	spider.InitOther() //加载其他信息
 	//验证码识别client
-	//codegrpc.InitCodeGrpcClient()
+	codegrpc.InitCodeGrpcClient()
 	//InitRedis(Config.Redisservers) //初始化Redis
 	//redis集群
 	InitRedisCluster(Config.RedisClusterAddrs)
@@ -118,14 +119,14 @@ func main() {
 	go heapprint()
 	//爬虫信息提交编辑器
 	go spider.SpiderInfoSend()
-	//处理心跳信息
-	go spider.SaveHeartInfo()
 	//查列表页信息采集三级页
 	go spider.DetailData()
 	//批量保存错误数据
 	go spider.UpdateErrDataMgo()
 	//保存爬虫采集非本站点数据
 	//go spider.SaveOtherSiteData()
+	//处理心跳信息
+	go spider.SaveHeartInfo()
 	//批量保存心跳信息
 	go spider.UpdateHeartInfo()
 	logger.Debug(Config.Webport)

src/spider/script.go

@@ -927,6 +927,13 @@ func (s *Script) LoadScript(site, channel, user *string, code, script_file strin
 		S.Push(lua.LString(fid))
 		return 5
 	}))
+	//渲染页面下载
+	s.L.SetGlobal("downloadByRender", s.L.NewFunction(func(S *lua.LState) int {
+		href := S.ToString(-1)
+		contentHtml := util.DownloadByRender(href)
+		S.Push(lua.LString(contentHtml))
+		return 1
+	}))
 	return ""
 }
 func dealHref(pageListUrl, href string) string {