Jianghan
c0a0c9cfe5
数据融合
|
%!s(int64=2) %!d(string=hai) anos | |
|---|---|---|
| data_fusion | %!s(int64=2) %!d(string=hai) anos | |
| data_tidb | %!s(int64=2) %!d(string=hai) anos | |
| field_py | %!s(int64=2) %!d(string=hai) anos | |
| field_sync | %!s(int64=2) %!d(string=hai) anos | |
| monitor | %!s(int64=2) %!d(string=hai) anos | |
| processing_ids | %!s(int64=2) %!d(string=hai) anos | |
| .gitignore | %!s(int64=2) %!d(string=hai) anos | |
| README.md | %!s(int64=2) %!d(string=hai) anos |
README.md
field_py 数据处理流程-python服务处理字段
采购意向 procurementlist、purchasinglist
- rpc serve-name goods_service
评标专家 review_experts
- rpc serve-name extract_expert_service
field_sync 数据处理流程-数据索引之前字段同步及处理
- 抽取字段同步到bidding表
- 剑鱼关键词处理
- isValidFile 附件有效字段
- entidlist 中标单位id字段
processing_ids 数据处理流程-id段保存
- 定时5分钟，保存id段
- 保存id段(dataprocess=0,updatetime)—>
- 招标分类(dataprocess=1,updatetime)—>
- 标的物识别(dataprocess=2,updatetime)—>
- 抽取(dataprocess=3,updatetime)—>
- 字段清理(dataprocess=4,updatetime)—>
- 业主分类(dataprocess=5,updatetime)—>
- 判重(dataprocess=6,updatetime)—>
- bidding表字段同步(dataprocess=7,updatetime)
data_tidb 数据处理流程-数据同步到tidb库(bidding、proejctset)
- bidding数据
- 基本信息
- 扩展信息
- 标的物信息
- 附件信息
- 拟建数据信息
- 采购意向信息
- 采购单位、代理机构唯一标识
- projectset数据
- 基础信息
monitor 数据异常监控
- bidding_file数据累计异常监控（累计数据量>10000条）