zhengkun
f17a6ece8d
整理代码-优化判重
|
3 ani în urmă | |
|---|---|---|
| back | 4 ani în urmă | |
| data_monitoring | 3 ani în urmă | |
| data_quality | 3 ani în urmă | |
| domainameclear | 4 ani în urmă | |
| esmgocount | 3 ani în urmă | |
| fullproject | 3 ani în urmă | |
| monitor | 4 ani în urmă | |
| projectinfo | 4 ani în urmă | |
| qyxy | 3 ani în urmă | |
| qyxy_change | 4 ani în urmă | |
| src | 3 ani în urmă | |
| standardata | 3 ani în urmă | |
| udp_datacheck | 3 ani în urmă | |
| udpcreateindex | 3 ani în urmă | |
| udpdataclear | 3 ani în urmă | |
| udpextract | 3 ani în urmă | |
| udpfilterdup | 3 ani în urmă | |
| udpfusion | 4 ani în urmă | |
| udpprojectset | 5 ani în urmă | |
| udps | 3 ani în urmă | |
| util | 4 ani în urmă | |
| versioncomparison | 5 ani în urmă | |
| .gitignore | 5 ani în urmă | |
| README.md | 7 ani în urmă |
README.md
一、任务管理 任务支持
1、全局配置 包含连接配置、保存配置、并发配置、分布式抽取配置
2、前置逻辑 多条lua脚本的前置逻辑、支持按顺序执行或跳过后续逻辑，可以上下移动执行顺序（开关）
3、抽取逻辑 a、多条抽取逻辑（按lua脚本判断是否进入）和一条通用抽取逻辑、支持按顺序执行或跳过后续逻辑，可以上下移动执行顺序。
b、抽取逻辑中可以选择是否先处理分块解析、k/v解析、表格解析、分包解析(注：如果前面逻辑已经处理过kv/表格，则后续的逻辑中不在重复处理kv/表格，直接用即可)
c、抽取逻辑下可以新建 lua抽取和字段抽取
字段抽取 支持前置处理 抽取 后置处理 （开关）
4、后置逻辑 同前置逻辑
*抽取字段支持依赖关系
编辑 审核（版本迭代）
二、标签库管理
支持正则、字符串
三、开发管理
模块扩展（分块、kv、表格、分包、品牌）
人员
权限
四、统计管理
字段跟踪
字段抽取率统计（版本迭代）
抽取任务统计 （版本迭代）
前置逻辑统计
抽取逻辑统计
后置逻辑统计
五、中标单位库
根据规则验证中标单位
有新中标单位要审核入库
六、采购单位库
根据规则验证采购单位
有新采购单位要审核入库