spider_creater/types.go

package main

type (
	//爬虫配置信息
	SpiderConfig struct {
		Site            string `json:"site"`
		Channel         string `json:"channel"`
		Author          string `json:"author"`
		Url             string `json:"url"`
		Code            string `json:"code"`
		ListItemCss     string `json:"listItemCss"`
		ListLinkCss     string `json:"listLinkCss"`
		ListPubtimeCss  string `json:"listPublishTimeCss"`
		ListNextPageCss string `json:"listNextPageCss"`
		TitleCss        string `json:"titleCss"`
		PublishUnitCss  string `json:"publishUnitCss"`
		PublishTimeCss  string `json:"publishTimeCss"`
		ContentCss      string `json:"contentCss"`
		AttachCss       string `json:"attachCss"`
		ListJSCode      string `json:"listJs"`
		ContentJSCode   string `json:"contentJs"`
		AttachJSCode    string `json:"attachJs"`
	}
	//附件链接
	AttachLink struct {
		Title string `json:"title"`
		Href  string `json:"href"`
	}
	//爬取结果信息
	ResultItem struct {
		No          int           `json:"no"`
		Href        string        `json:"href"`
		ListTitle   string        `json:"listTitle"`
		ListPubTime string        `json:"listPubishTime"`
		Title       string        `json:"title"`
		PublishUnit string        `json:"publishUnit"`
		PublishTime string        `json:"publishTime"`
		Content     string        `json:"content"`
		ContentHtml string        `json:"contentHtml"`
		AttachLinks []*AttachLink `json:"attachLinks"` //存放附件的标题，链接
		AttachJson  string        `json:"attachJson"`  //存放附件的OSS元信息
	}

	ResultItems    []*ResultItem
	SpiderConfiges []*SpiderConfig
)

func (sc SpiderConfiges) Len() int {
	return len(sc)
}
func (sc SpiderConfiges) Swap(i, j int) {
	sc[i], sc[j] = sc[j], sc[i]
}
func (sc SpiderConfiges) Less(i, j int) bool {
	return sc[i].Code > sc[j].Code
}