|
@@ -98,39 +98,39 @@ func SaveCltLog() {
|
|
|
time.AfterFunc(10*time.Second, SaveCltLog)
|
|
|
}
|
|
|
|
|
|
-//批量更新抽取结果的值
|
|
|
-//func (c *ClearTask) UpdateResultVal() {
|
|
|
-// defer qu.Catch()
|
|
|
-// e.ResultChanel = make(chan bool, 5)
|
|
|
-// e.ResultArr = [][]map[string]interface{}{}
|
|
|
-// for {
|
|
|
-// if len(e.ResultArr) > 500 {
|
|
|
-// e.ResultChanel <- true
|
|
|
-// arr := e.ResultArr[:500]
|
|
|
-// go func(tmp *[][]map[string]interface{}) {
|
|
|
-// qu.Try(func() {
|
|
|
-// db.Mgo.UpSertBulk("extract_result", *tmp...)
|
|
|
-// <-e.ResultChanel
|
|
|
-// }, func(err interface{}) {
|
|
|
-// log.Println(err)
|
|
|
-// <-e.ResultChanel
|
|
|
-// })
|
|
|
-// }(&arr)
|
|
|
-// e.ResultArr = e.ResultArr[500:]
|
|
|
-// } else {
|
|
|
-// e.ResultChanel <- true
|
|
|
-// arr := e.ResultArr
|
|
|
-// go func(tmp *[][]map[string]interface{}) {
|
|
|
-// qu.Try(func() {
|
|
|
-// db.Mgo.UpSertBulk("extract_result", *tmp...)
|
|
|
-// <-e.ResultChanel
|
|
|
-// }, func(err interface{}) {
|
|
|
-// log.Println(err)
|
|
|
-// <-e.ResultChanel
|
|
|
-// })
|
|
|
-// }(&arr)
|
|
|
-// e.ResultArr = [][]map[string]interface{}{}
|
|
|
-// time.Sleep(10 * time.Second)
|
|
|
-// }
|
|
|
-// }
|
|
|
-//}
|
|
|
+//批量更新抽取结果的值(todo)
|
|
|
+func (c *ClearTask) UpdateResultVal() {
|
|
|
+ // defer qu.Catch()
|
|
|
+ // e.ResultChanel = make(chan bool, 5)
|
|
|
+ // e.ResultArr = [][]map[string]interface{}{}
|
|
|
+ // for {
|
|
|
+ // if len(e.ResultArr) > 500 {
|
|
|
+ // e.ResultChanel <- true
|
|
|
+ // arr := e.ResultArr[:500]
|
|
|
+ // go func(tmp *[][]map[string]interface{}) {
|
|
|
+ // qu.Try(func() {
|
|
|
+ // db.Mgo.UpSertBulk("extract_result", *tmp...)
|
|
|
+ // <-e.ResultChanel
|
|
|
+ // }, func(err interface{}) {
|
|
|
+ // log.Println(err)
|
|
|
+ // <-e.ResultChanel
|
|
|
+ // })
|
|
|
+ // }(&arr)
|
|
|
+ // e.ResultArr = e.ResultArr[500:]
|
|
|
+ // } else {
|
|
|
+ // e.ResultChanel <- true
|
|
|
+ // arr := e.ResultArr
|
|
|
+ // go func(tmp *[][]map[string]interface{}) {
|
|
|
+ // qu.Try(func() {
|
|
|
+ // db.Mgo.UpSertBulk("extract_result", *tmp...)
|
|
|
+ // <-e.ResultChanel
|
|
|
+ // }, func(err interface{}) {
|
|
|
+ // log.Println(err)
|
|
|
+ // <-e.ResultChanel
|
|
|
+ // })
|
|
|
+ // }(&arr)
|
|
|
+ // e.ResultArr = [][]map[string]interface{}{}
|
|
|
+ // time.Sleep(10 * time.Second)
|
|
|
+ // }
|
|
|
+ // }
|
|
|
+}
|