xg

src/spiderutil/clearHtml.go

@@ -35,7 +35,7 @@ func NewCut() *Cut {
 	//sc, _ := regexp.Compile("\\<script[^\\>]*\\>*[^\\>]+\\</script\\>")
 	//ss, _ := regexp.Compile("\\<style[^\\>]*\\>*[^\\>]+\\</style\\>")
 	scs := regexp.MustCompile("(?s)<(script|style)[^>]*>.+?</(script|style)>")
-	at := regexp.MustCompile("(?s)<!%-%-.*?%-%->")
+	at := regexp.MustCompile("(?s)<(!%-%-|!--).*?(%-%-|--)>") //注释 css
 	hiddentag := regexp.MustCompile(`<\s*input[^<]*type=("|')hidden("|')[^<]*>`)
 	input := regexp.MustCompile(`<\s*input[^<]*value=("|')([^>"']*)[^<]*>`)
 	cols, _ := regexp.Compile(`colspan="\d+"`)

src/spiderutil/sysconfig.go

@@ -76,6 +76,8 @@ type config struct {
 	PassWord string `json:"password"`
 	//邮件
 	JkMail map[string]string `json:"jkmail"`
+	//es
+	Es map[string]interface{} `json:"es"`
 }
 
 var Config config