This website works better with JavaScript
Эхлэл
Бүгдийг харах
Тусламж
Нэвтрэх
data_processing
/
timed_tasks
Үзэх жагсаалтад нэмэх
2
Онцлох жагсаалтад нэмэх
0
Салаа
0
Файлууд
Асуудлууд
0
Хуулах хүсэлтүүд
0
Мэдлэгийн сан
Мод:
3560d0d9ea
Салаанууд
Тагууд
master
timed_tasks
/
pre_extract
wcc
a96839db72
添加 数据指标
1 жил өмнө
..
config.go
c0ebbd77cc
不同集群,支持不同分片
1 жил өмнө
config.toml
a96839db72
添加 数据指标
1 жил өмнө
es.go
3d42aa9823
更新 预处理 索引结构
1 жил өмнө
go.mod
0552d7de2a
更新 预处理,定时提前创建好索引
1 жил өмнө
go.sum
0552d7de2a
更新 预处理,定时提前创建好索引
1 жил өмнө
init.go
8f7e9d181b
日报统计,去除分发布时间是凌晨整点数据
1 жил өмнө
main.go
69de9cf883
支持 按 小时处理预处理数据
1 жил өмнө
pre_test.go
a96839db72
添加 数据指标
1 жил өмнө
readme.txt
0552d7de2a
更新 预处理,定时提前创建好索引
1 жил өмнө
readme.txt
功能:
1. 读取 bidding_file bidding_nomal 数据表,然后拿到 分类好的数据段,传递抽取程序去处理。
2. 定时 创建索引结构;可以每天创建一个或者每月创建一个
目的:
数据处理流程添加了一个预处理阶段,需要把附件识别、标的物识别 过程先放弃,先生索引到一个临时索引,
为了 提高数据时效性。本程序主要实现上面二个功能,具体 `预处理数据生索引`,以及 `删除预处理数据`,
需要在索引程序 中 完成。