spider_util/src/spiderutil/sysconfig.go

/**
*读取基本配置到内存
**/
package spiderutil

//系统配置
type config struct {
	Webport           string                     `json:"webport"`
	Mongodb_spider    string                     `json:"mongodb_spider"`
	Spider_dbsize     int                        `json:"spider_dbsize"`
	Mongodb_editor    string                     `json:"mongodb_editor"`
	Editor_dbsize     int                        `json:"editor_dbsize"`
	Mongodb_dbsize    int                        `json:"mongodb_dbsize"`
	Msgname           string                     `json:"msgname"`
	Msgserveraddr     string                     `json:"msgserveraddr"`
	MsgserveraddrFile string                     `json:"msgserveraddrfile"`
	Editoraddr        string                     `json:"editoraddr"`
	Tesseractadd      string                     `json:"tesseractadd"`
	Testdir           string                     `json:"testdir"`
	Uploadevent       int                        `json:"uploadevent"`
	Redistype         string                     `json:"redistype"`
	Redisservers      string                     `json:"redisservers"`
	Redishosts        []string                   `json:"redishosts"`
	FileServer        string                     `json:"fileServer"`
	Luadisablelib     map[string]map[string]bool `json:"luadisablelib"`
	Working           int                        `json:"working"` //0高效模式，1节能模式
	Chansize          int                        `json:"chansize"`
	DetailChansize    int                        `json:"detailchansize"` //下载三级页的线程数
	LogLevel          int                        `json:"logLevel"`       //日志基本1debug 2info 3warn
	DayNum            int                        `json:"daynum"`
	Modal             int                        `json:"Modal"`          //1列表页三级页分开采集，0原始采完列表采三级页（7000,7700）
	IsHistoryEvent    bool                       `json:"ishistoryevent"` //只有7000为true
	//补漏
	Checkmaxpage  map[string]int `json:"checkmaxpage"`
	CheckHourTime int            `json:"checkhourtime"`
	HasDownload   int            `json:"pagedownload"`

	//编辑器
	Dbaddr       string                            `json:"dbaddr"`
	Dbname       string                            `json:"dbname"`
	Dbname2      string                            `json:"dbname2"`
	Msgservers   map[string]map[string]interface{} `json:"msgservers"`
	Uploadevents map[string]interface{}            `json:"uploadevents"`
	Model        map[string]map[string]interface{} `json:"model"`
	Smtp         map[string]string                 `json:"smtp"`

	JsVmUrl string `json:jsvmurl`
	IsDelay bool   `json:isdelay` //是否开启延迟策略

	//数据重采
	Mongodb_bidding string `json:"mongodb_bidding"`
	TmpDbAddr       string `json:"tmpmgoaddr"`
	TmpCollName     string `json:"tmpmgocoll"`
	TmpDbName       string `json:"tmpmgodb"`
	UdpAddr         string `json:"udpaddr"`
	UdpPort         int    `json:"udport"`
	LocalUdpPort    string `json:"localudport"`
	TmpDbSize       int    `json:"tmpmgosize"`
	SpiderChan      int    `json:"spiderchan"`

	//爬虫迁移
	Cron        string                 `json:"cron"`
	DownloadNum int                    `json:"downloadnum"`
	Email       map[string]interface{} `json:"mail"`

	//关键词过滤
	Word map[string]string `json:"word"`

	//oss
	OssInfo map[string]interface{} `json:"oss"`
	//招标库账号密码
	UserName string `json:"username"`
	PassWord string `json:"password"`
	//邮件
	JkMail map[string]string `json:"jkmail"`
}

var Config config