Halaman utama Jelajahi Bantuan
Masuk
data_processing
/
ent_dispose
2
0
Fork 0
Berkas Masalah 0 Permintaan Tarik 0 Wiki

凭安企业数据处理

Pohon: 9e1e437ce7
Ranting Tag
ent_dispose
ZIP TAR.GZ
wcc 9e1e437ce7 更新企业变更 2 tahun lalu
.idea 28306b016e 忽略 文件 2 tahun lalu
qyxy_change_new 9e1e437ce7 更新企业变更 2 tahun lalu
qyxy_es_new a3a39179e8 更新UDP 通知，inc_data通知change 走配置 2 tahun lalu
qyxy_inc_data_new a3a39179e8 更新UDP 通知，inc_data通知change 走配置 2 tahun lalu
qyxy_listen a3a39179e8 更新UDP 通知，inc_data通知change 走配置 2 tahun lalu
qyxy_std_new f2d3868aeb 更新 企业变更程序 2 tahun lalu
udp 9e1e437ce7 更新企业变更 2 tahun lalu
.gitignore 28306b016e 忽略 文件 2 tahun lalu
README.md 14844c4d36 完善配置文件 2 tahun lalu

README.md

新版程序

1.程序udp 端口占用

程序 端口 备注
qyxy_listen 18887 监听文件夹变化
qyxy_inc_data 18888 对应原来inx_data程序，更新所有数据表
qyxy_inc_std 18889 对应原来qyxy_std，读取新增数据更新到qyxy_std数据表
qyxy_es 18890 读取qyxy_std 新增数据存入es
qyxy_change 18891 更新企业变更数据

2.程序介绍

  1. qyxy_listen： 负责监听上传目录，获取最新的文件夹，然后传递路径给inc_data、inc_std程序。

  2. qyxy_inc_data: 读取目录下的所有文件夹，根据表名增量同步数据到各个表,操作的数据库为172.17.4.181； 程序执行完毕通知qyxy_change程序，更新company_change数据内容到 qyxy_change中，配置文件大致如下：

| local_port | udp 本地监听端口，本地监听端口需要保留: | | | ---------------- | ----------------------------------------- | ---- | | qyxy_change_port | qyxy_change_port 监听的udp 端口 | | | target_ip | udp 目标地址IP，默认本地 | | | mgoAddr | MongoDB 地址 | | | db_name | MongoDB 数据库 | |

  1. qyxy_std: 读取目录下所有文件，主要读取6个数据表的内容，然后更新到**172.17.145.163 **的mixdata数据库qyxy_std数据表.

  2. qyxy_es: 负责读取172.17.145.163的 qyxy_std数据表迭代数据，更新到 172.17.4.184:19800 es 索引中。

  3. qyxy_change：主要同步企业增量变更数据，从181的company_change表获取数据，然后更新到172.17.145.163:27083的数据表qyxy_change。获取数据大于配置文件_id_数据，如果配置文件配置了lastId,就使用配置文件的，否则使用udp 信号传递过来的last_id。