This website works better with JavaScript
Home
Esplora
Aiuto
Accedi
data_processing
/
timed_tasks
Segui
2
Vota
0
Forka
0
File
Problemi
0
Pull Requests
0
Wiki
Albero (Tree):
4a960305cc
Rami (Branch)
Tag
master
timed_tasks
/
pre_extract
wcc
a96839db72
添加 数据指标
1 anno fa
..
config.go
c0ebbd77cc
不同集群,支持不同分片
1 anno fa
config.toml
a96839db72
添加 数据指标
1 anno fa
es.go
3d42aa9823
更新 预处理 索引结构
1 anno fa
go.mod
0552d7de2a
更新 预处理,定时提前创建好索引
1 anno fa
go.sum
0552d7de2a
更新 预处理,定时提前创建好索引
1 anno fa
init.go
8f7e9d181b
日报统计,去除分发布时间是凌晨整点数据
1 anno fa
main.go
69de9cf883
支持 按 小时处理预处理数据
1 anno fa
pre_test.go
a96839db72
添加 数据指标
1 anno fa
readme.txt
0552d7de2a
更新 预处理,定时提前创建好索引
1 anno fa
readme.txt
功能:
1. 读取 bidding_file bidding_nomal 数据表,然后拿到 分类好的数据段,传递抽取程序去处理。
2. 定时 创建索引结构;可以每天创建一个或者每月创建一个
目的:
数据处理流程添加了一个预处理阶段,需要把附件识别、标的物识别 过程先放弃,先生索引到一个临时索引,
为了 提高数据时效性。本程序主要实现上面二个功能,具体 `预处理数据生索引`,以及 `删除预处理数据`,
需要在索引程序 中 完成。