data_processing/jy-data-extract: jy-data-extract @ 5647a1f16bfeb965fc3252aefde6b6e5272df2e9

jy-data-extract

maxiaoshan 5647a1f16b Merge branch 'dev3.3' of http://192.168.3.207:10080/qmx/jy-data-extract into dev3.3		vor 5 Jahren
.idea	8bad1a9135 处理了数据未更新	vor 6 Jahren
dataclean	c4715e91c7 xg	vor 5 Jahren
fullproject	d47e147215 修改	vor 5 Jahren
src	3ea8c1a106 站点lua测试	vor 5 Jahren
udp_ocr_conter	811d4fdbc7 添加字段	vor 5 Jahren
udpcreateindex	d372797e8b 整合新生索引程序	vor 5 Jahren
udpextractbuyer	083ce1e3e3 项目迁移	vor 6 Jahren
udpextractwinner	083ce1e3e3 项目迁移	vor 6 Jahren
udpfileocr	c6e788d49b 睡眠时间	vor 5 Jahren
udpfilterdup	58c09d2d5f 城市抽取更新分词	vor 6 Jahren
udpprojectset	09a7e52ad0 插入合并	vor 6 Jahren
udprepairdata	083ce1e3e3 项目迁移	vor 6 Jahren
udps	52f4e32e33 抽取优化	vor 6 Jahren
versioncomparison	c010655871 标注对比	vor 6 Jahren
.gitignore	73d3522e8f init	vor 7 Jahren
README.md	21e2a68249 init	vor 7 Jahren

一、任务管理任务支持

1、全局配置   包含连接配置、保存配置、并发配置、分布式抽取配置
2、前置逻辑   多条lua脚本的前置逻辑、支持按顺序执行或跳过后续逻辑，可以上下移动执行顺序（开关）
3、抽取逻辑   a、多条抽取逻辑（按lua脚本判断是否进入）和一条通用抽取逻辑、支持按顺序执行或跳过后续逻辑，可以上下移动执行顺序。
             b、抽取逻辑中可以选择是否先处理分块解析、k/v解析、表格解析、分包解析(注：如果前面逻辑已经处理过kv/表格，则后续的逻辑中不在重复处理kv/表格，直接用即可) 
             c、抽取逻辑下可以新建 lua抽取和字段抽取
             字段抽取 支持前置处理  抽取  后置处理  （开关）
4、后置逻辑   同前置逻辑
*抽取字段支持依赖关系

编辑审核（版本迭代）

二、标签库管理

支持正则、字符串

三、开发管理

模块扩展（分块、kv、表格、分包、品牌）
人员
权限

四、统计管理

字段跟踪
字段抽取率统计（版本迭代）
抽取任务统计  （版本迭代）
   前置逻辑统计
   抽取逻辑统计
   后置逻辑统计

五、中标单位库

根据规则验证中标单位
有新中标单位要审核入库

六、采购单位库

根据规则验证采购单位
有新采购单位要审核入库

README.md