凭安企业数据处理

wcc 1641f0f6e1 es 添加 企业类型,国企、央企 há 2 meses atrás
.idea 28306b016e 忽略 文件 há 2 anos atrás
qyxy_change_new 9e1e437ce7 更新企业变更 há 2 anos atrás
qyxy_es_new 1641f0f6e1 es 添加 企业类型,国企、央企 há 2 meses atrás
qyxy_inc_data_new 1641f0f6e1 es 添加 企业类型,国企、央企 há 2 meses atrás
qyxy_listen 42b8456ad9 更新capital há 7 meses atrás
qyxy_std_new 6004ef13c3 update há 7 meses atrás
qyxy_zsl e153256201 更新 qyxy_std 时,添加 autoid ,nseo_id 字段,同时更新es 字段 há 1 ano atrás
udp 9e1e437ce7 更新企业变更 há 2 anos atrás
update_seo 7226c9ce8b 更新修复 nseo_id 覆盖bug há 1 ano atrás
.gitignore 28306b016e 忽略 文件 há 2 anos atrás
README.md 14844c4d36 完善配置文件 há 2 anos atrás

README.md

新版程序

1.程序udp 端口占用

程序 端口 备注
qyxy_listen 18887 监听文件夹变化
qyxy_inc_data 18888 对应原来inx_data程序,更新所有数据表
qyxy_inc_std 18889 对应原来qyxy_std,读取新增数据更新到qyxy_std数据表
qyxy_es 18890 读取qyxy_std 新增数据存入es
qyxy_change 18891 更新企业变更数据

2.程序介绍

  1. qyxy_listen: 负责监听上传目录,获取最新的文件夹,然后传递路径给inc_datainc_std程序。

  2. qyxy_inc_data: 读取目录下的所有文件夹,根据表名增量同步数据到各个表,操作的数据库为172.17.4.181; 程序执行完毕通知qyxy_change程序,更新company_change数据内容到 qyxy_change中,配置文件大致如下:

| local_port | udp 本地监听端口,本地监听端口需要保留: | | | ---------------- | ----------------------------------------- | ---- | | qyxy_change_port | qyxy_change_port 监听的udp 端口 | | | target_ip | udp 目标地址IP,默认本地 | | | mgoAddr | MongoDB 地址 | | | db_name | MongoDB 数据库 | |

  1. qyxy_std: 读取目录下所有文件,主要读取6个数据表的内容,然后更新到**172.17.145.163 **的mixdata数据库qyxy_std数据表.

  2. qyxy_es: 负责读取172.17.145.163qyxy_std数据表迭代数据,更新到 172.17.4.184:19800 es 索引中。

  3. qyxy_change:主要同步企业增量变更数据,从181company_change表获取数据,然后更新到172.17.145.163:27083的数据表qyxy_change。获取数据大于配置文件_id_数据,如果配置文件配置了lastId,就使用配置文件的,否则使用udp 信号传递过来的last_id