|
@@ -43,7 +43,7 @@ func init() {
|
|
|
}
|
|
|
}
|
|
|
|
|
|
-//var UdpSess *tools.MongodbSim
|
|
|
+// var UdpSess *tools.MongodbSim
|
|
|
var REG *regexp.Regexp
|
|
|
var REG1 *regexp.Regexp
|
|
|
var TaskLock = sync.Mutex{}
|
|
@@ -129,7 +129,7 @@ type DFA struct {
|
|
|
Link map[string]interface{}
|
|
|
}
|
|
|
|
|
|
-//初始化任务
|
|
|
+// 初始化任务
|
|
|
func InitTaskData(_id string) {
|
|
|
defer tools.Catch()
|
|
|
taskData, _ := tools.MgoClass.FindById(tools.COLL_TASK, _id, nil)
|
|
@@ -237,7 +237,7 @@ func InitTaskData(_id string) {
|
|
|
InitClassAndRuleData(_id, task)
|
|
|
}
|
|
|
|
|
|
-//InitClassAndRuleData 初始化任务下所有的分类和规则
|
|
|
+// InitClassAndRuleData 初始化任务下所有的分类和规则
|
|
|
func InitClassAndRuleData(_id string, task *TTask) {
|
|
|
defer tools.Catch()
|
|
|
classIdStr := task.S_class
|
|
@@ -342,7 +342,7 @@ func DealRules(rules []interface{}) (i_rule []interface{}) {
|
|
|
return
|
|
|
}
|
|
|
|
|
|
-//更新任务状态
|
|
|
+// 更新任务状态
|
|
|
func (tt *TTask) Sstatus() int {
|
|
|
if tt.I_status == 0 && tt.B_Running {
|
|
|
return 1
|
|
@@ -356,7 +356,7 @@ func (tt *TTask) Sstatus() int {
|
|
|
return -1
|
|
|
}
|
|
|
|
|
|
-//停止任务
|
|
|
+// 停止任务
|
|
|
func (tt *TTask) SStop() bool {
|
|
|
tt.Lock.Lock()
|
|
|
defer tt.Lock.Unlock()
|
|
@@ -370,7 +370,7 @@ func (tt *TTask) SStop() bool {
|
|
|
|
|
|
var NN = 400
|
|
|
|
|
|
-//存放测试的数据
|
|
|
+// 存放测试的数据
|
|
|
var TEST = &TestList{
|
|
|
Count: map[string][]int{},
|
|
|
}
|
|
@@ -408,7 +408,7 @@ func (tl *TestList) Del(id string) {
|
|
|
os.Remove("csv/" + id)
|
|
|
}
|
|
|
|
|
|
-//任务测试
|
|
|
+// 任务测试
|
|
|
func (tt *TTask) RRunTest(s_startid, s_endid, s_query, filename string) {
|
|
|
defer tools.Catch()
|
|
|
defer func() {
|
|
@@ -535,7 +535,7 @@ func newtaskrun(tt *TTask) {
|
|
|
NewTaskRunAll(tt, false, nil)
|
|
|
}
|
|
|
|
|
|
-//NewTaskRunAll 常规任务和udp非合并数据处理方法
|
|
|
+// NewTaskRunAll 常规任务和udp非合并数据处理方法
|
|
|
func NewTaskRunAll(tt *TTask, budp bool, mapInfo map[string]interface{}) int {
|
|
|
total := 0
|
|
|
tools.Try(func() { //不加这一层defer运行不了!!!
|
|
@@ -834,10 +834,8 @@ func NewTaskRunAll(tt *TTask, budp bool, mapInfo map[string]interface{}) int {
|
|
|
//res[tt.S_attr] = 1
|
|
|
res[tt.S_attr] = tt.AttrVal
|
|
|
}
|
|
|
- //通过时间 查询数据 分类时,添加分类更新时间;主要针对bidding_nomal bidding_file;
|
|
|
- if tt.S_querycon != "1" {
|
|
|
- res["classification_time"] = time.Now().Unix()
|
|
|
- }
|
|
|
+ // 添加分类时间
|
|
|
+ res["classification_time"] = time.Now().Unix()
|
|
|
|
|
|
if tt.I_fieldUpdate == 1 && tt.I_multiclass == 1 { //I_fieldUpdate 0:覆盖 1:追加
|
|
|
if len(ksmap) > 0 && len(res) > 0 {
|
|
@@ -967,7 +965,7 @@ func NewTaskRunAll(tt *TTask, budp bool, mapInfo map[string]interface{}) int {
|
|
|
return total
|
|
|
}
|
|
|
|
|
|
-//udp合并数据处理的方法
|
|
|
+// udp合并数据处理的方法
|
|
|
func UdpTaskRunAll(tt *TTask, budp bool, mapInfo map[string]interface{}, stype string) int {
|
|
|
|
|
|
total := 0
|
|
@@ -1344,7 +1342,7 @@ func FindId(coll string) (gtid, lteid string) {
|
|
|
return gtid, lteid
|
|
|
}
|
|
|
|
|
|
-//NewLoadTestTask 测试任务
|
|
|
+// NewLoadTestTask 测试任务
|
|
|
func NewLoadTestTask(_id, s_mgourl, s_mgodb, s_coll, i_poolsize, s_startid, s_endid, s_query string) (bs bool, filename string) {
|
|
|
defer tools.Catch()
|
|
|
r, t, _ := NewAnalyTask(_id, s_mgourl, s_mgodb, s_coll, tools.IntAllDef(i_poolsize, 5))
|
|
@@ -1357,7 +1355,7 @@ func NewLoadTestTask(_id, s_mgourl, s_mgodb, s_coll, i_poolsize, s_startid, s_en
|
|
|
return
|
|
|
}
|
|
|
|
|
|
-//加载任务
|
|
|
+// NewLoadTask 加载任务
|
|
|
func NewLoadTask(_id string, res *tools.JSON) {
|
|
|
defer tools.Catch()
|
|
|
//初始化任务信息
|
|
@@ -1375,7 +1373,7 @@ func NewLoadTask(_id string, res *tools.JSON) {
|
|
|
}
|
|
|
}
|
|
|
|
|
|
-//处理id的类型转换
|
|
|
+// 处理id的类型转换
|
|
|
func IdTypeConversion(q, r string) (string, string, string, string) {
|
|
|
qtp, rtp := "bson.ObjectId", "bson.ObjectId"
|
|
|
if strings.Contains(q, "ObjectId") || strings.Contains(q, "objectId") {
|
|
@@ -1393,7 +1391,7 @@ func IdTypeConversion(q, r string) (string, string, string, string) {
|
|
|
return q, r, qtp, rtp
|
|
|
}
|
|
|
|
|
|
-//获取匹配或不匹配的个数
|
|
|
+// 获取匹配或不匹配的个数
|
|
|
func GetNum(rule string) (int, bool) {
|
|
|
num := 1
|
|
|
isnum := strings.HasSuffix(rule, ")")
|
|
@@ -1405,7 +1403,7 @@ func GetNum(rule string) (int, bool) {
|
|
|
return num, isnum
|
|
|
}
|
|
|
|
|
|
-//获取规则
|
|
|
+// 获取规则
|
|
|
func GetRule(text string, isnum bool) (matchArr []string) {
|
|
|
if isnum { //最后一个不是数字
|
|
|
if strings.HasPrefix(text, "(") && strings.HasSuffix(text, ")") {
|
|
@@ -1501,6 +1499,8 @@ func (d *DFA) CheckSensitiveWordTest(src string, n int) (bool, []string) {
|
|
|
}
|
|
|
return len(tmpMap) >= n, res
|
|
|
}
|
|
|
+
|
|
|
+// UpdateTaskInfo 更新任务信息
|
|
|
func UpdateTaskInfo(flag bool, tid string) bool {
|
|
|
query := bson.M{
|
|
|
"_id": u.StringTOBsonId(tid),
|
|
@@ -1513,7 +1513,7 @@ func UpdateTaskInfo(flag bool, tid string) bool {
|
|
|
return tools.MgoClass.Update(tools.COLL_TASK, query, set, false, false)
|
|
|
}
|
|
|
|
|
|
-//o_projectinfo中数据分类定时任务
|
|
|
+// o_projectinfo中数据分类定时任务
|
|
|
func RunTask() {
|
|
|
if tools.IsStart { //是否开启定时任务
|
|
|
tt := InitTimeTask() //初始化任务
|
|
@@ -1526,7 +1526,7 @@ func RunTask() {
|
|
|
}
|
|
|
}
|
|
|
|
|
|
-//初始化任务
|
|
|
+// 初始化任务
|
|
|
func InitTimeTask() *TTask {
|
|
|
defer util.Catch()
|
|
|
timeTaskTT := &TTask{}
|
|
@@ -1541,7 +1541,7 @@ func InitTimeTask() *TTask {
|
|
|
return timeTaskTT
|
|
|
}
|
|
|
|
|
|
-//开始任务
|
|
|
+// StartTask 开始任务
|
|
|
func StartTask(t *TTask) {
|
|
|
defer util.Catch()
|
|
|
logger.Debug("开始执行定时任务")
|
|
@@ -1650,7 +1650,7 @@ func StartTask(t *TTask) {
|
|
|
logger.Debug("Udp通知项目预测执行完毕")
|
|
|
}
|
|
|
|
|
|
-//udp通知项目预测
|
|
|
+// udp通知项目预测
|
|
|
func UdpRunProjectForecast(sid, eid string) {
|
|
|
by, _ := json.Marshal(map[string]interface{}{
|
|
|
"gtid": sid,
|