瀏覽代碼

任务测试过滤sensitive数据

unknown 6 年之前
父節點
當前提交
247d364697
共有 1 個文件被更改,包括 3 次插入0 次删除
  1. 3 0
      src/jy/extract/extract.go

+ 3 - 0
src/jy/extract/extract.go

@@ -68,6 +68,9 @@ func RunExtractTestTask(ext *ExtractTask, startId, num string) bool {
 		query := bson.M{"_id": bson.M{"$gte": bson.ObjectIdHex(startId)}}
 		list, _ := ext.TaskInfo.FDB.Find(ext.TaskInfo.FromColl, query, nil, Fields, false, 0, n)
 		for _, v := range *list {
+			if qu.ObjToString(v["sensitive"]) != "" { //去除含敏感词数据
+				continue
+			}
 			//log.Println(v["_id"])
 			j := PreInfo(v)
 			ext.TaskInfo.ProcessPool <- true