This website works better with JavaScript
Acasă
Explorează
Ajutor
Autentificare
data_processing
/
timed_tasks
Urmărește
2
Stea
0
Bifurcare
0
Fisiere
Probleme
0
Trageți solicitările
0
Wiki
Arbore:
4f6aa448e4
Ramuri
Etichete
master
timed_tasks
/
pre_extract
wcc
4f6aa448e4
更新 预处理 索引存在判断
1 an în urmă
..
config.go
c0ebbd77cc
不同集群,支持不同分片
1 an în urmă
config.toml
69de9cf883
支持 按 小时处理预处理数据
1 an în urmă
es.go
4f6aa448e4
更新 预处理 索引存在判断
1 an în urmă
go.mod
0552d7de2a
更新 预处理,定时提前创建好索引
1 an în urmă
go.sum
0552d7de2a
更新 预处理,定时提前创建好索引
1 an în urmă
init.go
8f7e9d181b
日报统计,去除分发布时间是凌晨整点数据
1 an în urmă
main.go
69de9cf883
支持 按 小时处理预处理数据
1 an în urmă
pre_test.go
4f6aa448e4
更新 预处理 索引存在判断
1 an în urmă
readme.txt
0552d7de2a
更新 预处理,定时提前创建好索引
1 an în urmă
readme.txt
功能:
1. 读取 bidding_file bidding_nomal 数据表,然后拿到 分类好的数据段,传递抽取程序去处理。
2. 定时 创建索引结构;可以每天创建一个或者每月创建一个
目的:
数据处理流程添加了一个预处理阶段,需要把附件识别、标的物识别 过程先放弃,先生索引到一个临时索引,
为了 提高数据时效性。本程序主要实现上面二个功能,具体 `预处理数据生索引`,以及 `删除预处理数据`,
需要在索引程序 中 完成。