|
|
@@ -39,26 +39,30 @@ func StartExtractTestTask(taskId, startId, num, resultcoll, trackcoll string) bo
|
|
|
ext.IsRun = true
|
|
|
ext.InitTestTaskInfo(resultcoll, trackcoll)
|
|
|
ext.TaskInfo.FDB = db.MgoFactory(1, 3, 120, ext.TaskInfo.FromDbAddr, ext.TaskInfo.FromDB)
|
|
|
- ext.InitRulePres()
|
|
|
- ext.InitRuleBacks()
|
|
|
- ext.InitRuleCore()
|
|
|
- ext.InitPkgCore()
|
|
|
- ext.InitTag()
|
|
|
- ext.InitClearFn()
|
|
|
- if ext.IsExtractCity { //版本上控制是否开始城市抽取
|
|
|
- //初始化城市DFA信息
|
|
|
- ext.InitDFA()
|
|
|
- }
|
|
|
- //质量审核
|
|
|
- ext.InitAuditFields()
|
|
|
- ext.InitAuditRule()
|
|
|
- ext.InitAuditClass()
|
|
|
- ext.InitAuditRecogField()
|
|
|
+ // ext.InitRulePres()
|
|
|
+ // ext.InitRuleBacks()
|
|
|
+ // ext.InitRuleCore()
|
|
|
+ // ext.InitPkgCore()
|
|
|
+ // ext.InitTag()
|
|
|
+ // ext.InitClearFn()
|
|
|
+ // if ext.IsExtractCity { //版本上控制是否开始城市抽取
|
|
|
+ // //初始化城市DFA信息
|
|
|
+ // ext.InitDFA()
|
|
|
+ // }
|
|
|
+ // //质量审核
|
|
|
+ // ext.InitAuditFields()
|
|
|
+ // ext.InitAuditRule()
|
|
|
+ // ext.InitAuditClass()
|
|
|
+ // ext.InitAuditRecogField()
|
|
|
|
|
|
//品牌抽取
|
|
|
- ext.InitBrand()
|
|
|
- ext.InitGoods()
|
|
|
- return RunExtractTestTask(ext, startId, num)
|
|
|
+ if ju.Config["brandgoods"].(bool) {
|
|
|
+ ext.InitBrand()
|
|
|
+ ext.InitGoods()
|
|
|
+ }
|
|
|
+
|
|
|
+ return true
|
|
|
+ //return RunExtractTestTask(ext, startId, num)
|
|
|
}
|
|
|
|
|
|
func IdTrans(startId string) bson.ObjectId {
|
|
|
@@ -74,6 +78,9 @@ func RunExtractTestTask(ext *ExtractTask, startId, num string) bool {
|
|
|
query := bson.M{"_id": bson.M{"$gte": bson.ObjectIdHex(startId)}}
|
|
|
list, _ := ext.TaskInfo.FDB.Find(ext.TaskInfo.FromColl, query, nil, Fields, false, 0, n)
|
|
|
for _, v := range *list {
|
|
|
+ if qu.ObjToString(v["sensitive"]) != "" { //去除含敏感词数据
|
|
|
+ continue
|
|
|
+ }
|
|
|
//log.Println(v["_id"])
|
|
|
j := PreInfo(v)
|
|
|
ext.TaskInfo.ProcessPool <- true
|
unknown