docs:科大讯飞统计步骤

kdxf/doc/增量.md

@@ -0,0 +1,129 @@
+统计步骤整理: 以下时间需手动替换为截止统计时间。
+科大讯飞-教育/科大讯飞-销委会：
+
+第一步：
+商机管理导出数据导入线下库。 
+
+qfw   entdataexport里面的数据  
+查询条件：开始时间调整为上次结束的时间，结束时间改为统计截止日期的时间戳。
+时间戳转换网址：https://tool.lu/timestamp/
+``` 
+{
+    "entid" : NumberInt(10511),
+    "createtime":{
+        "$gt":1646582400,  // 上次的结束时间
+        "$lte":1655049600  // 本次的截止时间  每次需要替换
+    }
+}
+
+
+```
+
+将查询的结果导入数据组的167服务器临时表。
+
+第二步：商机管理数据补充字段
+（商机管理导出的线上数据没有appid以及id）
+a. 需要取infoid的值新增一个id的字段
+b. 补充APPID字段， 2021-11-23之后的数据补教育的appid
+
+以下集合替换为第一步的临时表
+各用户appid :
+
+科大讯飞股份有限公司_卫健委jyKRZXQQEIBQRYSUJAFg9o 
+
+科大讯飞股份有限公司_医疗jyPBBXQQEFCQVbSUNAJCd8
+
+科大讯飞股份有限公司_教育jyOSxXQQECCA9dS0BPKjxH 
+
+科大讯飞股份有限公司_消委会jyHDhXQQIAAgdZQEBLERV2 
+
+补充字段执行sql
+
+由于是增量数据，所以本次不需要加查询时间的条件
+教育：
+```
+db.getCollection("20220613kdxfentdataexport_fu_inc").find({
+}).forEach(function(item){
+item.id=item.infoid
+item.appid="jyOSxXQQECCA9dS0BPKjxH"
+db.getCollection("20220613kdxfentdataexport_fu_inc").save(item)
+})
+```
+第三步：
+合并商机管理和线下数据
+
+三张表的数据统计到一起
+
+1.商机管理补充过字段的数据导入统计表
+
+2.教育的数据导入统计表：
+
+由于只导增量数据、所以此处查询条件的开始时间为上次统计的截止时间、结束时间为本次的截止时间
+科大讯飞-教育：192.168.3.167-jyqyfw_historyData-20211101Kdxf_jy；
+查询条件：
+```
+ {   createtime:{"$gt":NumberLong(1646582400), "$lte":NumberLong(1655049600),}}
+  ```
+
+
+3.消委会的数据导入到统计表：
+科大讯飞-销委会：192.168.3.167-jyqyfw_historyData-20201126Kdxf；
+```
+ {   createtime:{"$gt":NumberLong(1646582400), "$lte":NumberLong(1655049600),}}
+  ```
+
+第四步：聚合统计
+进行数据统计：
+按照公告id  教育和消委会，相同数据时间早的计数。 线下appid缺失的数据不参与统计。
+
+查询条件为当前统计的截止时间
+``` 
+db.getCollection("20220307kdxf_entexport_jy_xwh_fu_tj").aggregate([
+{$match:{"createtime":{"$lte":NumberLong(1655049600)}}},
+{$sort: { id: 1, createtime:1}},
+{$group:{
+_id:"$id",
+first:{$first: "$appid"},
+}},
+{$group:{
+_id:"$first",
+count:{$sum:1}
+}
+}
+],    {
+"allowDiskUse" : true
+})
+```
+
+
+
+
+科大讯飞-医疗/科大讯飞-卫健委
+
+1. 医疗增量数据导入统计表  
+` 192.168.3.167-jyqyfw_historyData-20211101Kdxf_yl`
+
+查询条件同上
+2. 卫健委增量数据导入统计表 `192.168.3.167-jyqyfw_historyData-2021Kdxf_wjw`
+查询条件同上
+
+3. 执行聚合查询, 按照公告id  医疗和卫健委，相同数据时间早的计数。
+```
+db.getCollection("20220307kdxf_yl_wjw_fu_tj").aggregate([
+{$match:{"createtime":{"$lte":NumberLong(1655049600)}}},
+{$sort: { id: 1, createtime:1}},
+{$group:{
+_id:"$id",
+first:{$first: "$appid"},
+}},
+{$group:{
+_id:"$first",
+count:{$sum:1}
+}
+}
+],    {
+"allowDiskUse" : true
+})
+
+```
+

kdxf/doc/科大讯飞统计步骤.md

@@ -58,9 +58,12 @@ db.getCollection("20220307kdxfentdataexport").save(item)
 })
 ```
 第三步：
-合并商机管理和线下数据
-三张表的数据统计到一起
-1.商机管理补充过字段的数据导入统计表
+合并商机管理和线下数据 
+
+三张表的数据统计到一起 
+
+1.商机管理补充过字段的数据导入统计表 
+
 2.教育的数据导入统计表：
 科大讯飞-教育：192.168.3.167-jyqyfw_historyData-20211101Kdxf_jy；
 查询条件：