data_processing/jy-data-extract: jy-data-extract @ e65bc3a7f5d791fcc9d1fbc3becda1cfeb9daa90

jy-data-extract

maxiaoshan e65bc3a7f5 Merge branch 'dev3.4' of http://39.105.157.10:10080/qmx/jy-data-extract into dev3.4		преди 5 години
dataclean	c4715e91c7 xg	преди 5 години
dataprocess	6d6606d1b7 逻辑管理	преди 5 години
dbutil	cdc0bf4d95 新增mongo、redis工具	преди 5 години
fullproject	a770cb99f6 1.18 项目合并，代码修改	преди 5 години
src	3f7f946f21 xg	преди 5 години
udp_ocr_conter	2d2a4abc72 1.数据库端口	преди 5 години
udp_winner	19d35b1360 udp	преди 5 години
udpcreateindex	13323a0c11 索引修改	преди 5 години
udpextractbuyer	083ce1e3e3 项目迁移	преди 6 години
udpextractwinner	083ce1e3e3 项目迁移	преди 6 години
udpfileocr	c6e788d49b 睡眠时间	преди 5 години
udpfilterdup	d3cbcc430a 备份	преди 5 години
udpprojectset	5ee7625038 修改时间等细节	преди 5 години
udprepairdata	083ce1e3e3 项目迁移	преди 6 години
udps	0281a81e04 备份	преди 5 години
versioncomparison	ceb6e71303 修改	преди 5 години
.gitignore	73d3522e8f init	преди 7 години
README.md	21e2a68249 init	преди 7 години

一、任务管理任务支持

1、全局配置   包含连接配置、保存配置、并发配置、分布式抽取配置
2、前置逻辑   多条lua脚本的前置逻辑、支持按顺序执行或跳过后续逻辑，可以上下移动执行顺序（开关）
3、抽取逻辑   a、多条抽取逻辑（按lua脚本判断是否进入）和一条通用抽取逻辑、支持按顺序执行或跳过后续逻辑，可以上下移动执行顺序。
             b、抽取逻辑中可以选择是否先处理分块解析、k/v解析、表格解析、分包解析(注：如果前面逻辑已经处理过kv/表格，则后续的逻辑中不在重复处理kv/表格，直接用即可) 
             c、抽取逻辑下可以新建 lua抽取和字段抽取
             字段抽取 支持前置处理  抽取  后置处理  （开关）
4、后置逻辑   同前置逻辑
*抽取字段支持依赖关系

编辑审核（版本迭代）

二、标签库管理

支持正则、字符串

三、开发管理

模块扩展（分块、kv、表格、分包、品牌）
人员
权限

四、统计管理

字段跟踪
字段抽取率统计（版本迭代）
抽取任务统计  （版本迭代）
   前置逻辑统计
   抽取逻辑统计
   后置逻辑统计

五、中标单位库

根据规则验证中标单位
有新中标单位要审核入库

六、采购单位库

根据规则验证采购单位
有新采购单位要审核入库

README.md