doc:科大讯飞数据量统计逻辑调整

kdxf/doc/科大讯飞统计步骤.md

@@ -1,13 +1,25 @@
 由于不再是一个账号，现在科大讯飞为四个账户原统计方式不能再使用。
 
 ---
-新的科大讯飞的计费逻辑：
+~~新的科大讯飞的计费逻辑：
 1.科大讯飞-教育/科大讯飞-销委会，当前2个客户执行2个合同，另外客户购买的还有商机管理的导出，需要和下线导出、商机管理导出的数据去重再单独计费（按照公告唯一标识，谁先取记谁的费用）；
 数据存储表名：科大讯飞-教育：192.168.3.167-jyqyfw_historyData-20211101Kdxf_jy；
 科大讯飞-销委会：192.168.3.167-jyqyfw_historyData-20201126Kdxf；
 2.科大讯飞-医疗/科大讯飞-卫健委，当前2个客户执行1个合同（数据量平分），需要和这两家之前已取过的数据去重再单独计费（按照公告唯一标识，谁先取记谁的费用）
 数据存储表名：科大讯飞-医疗：192.168.3.167-jyqyfw_historyData-20211101Kdxf_yl；
-科大讯飞-卫健委：192.168.3.167-jyqyfw_historyData-2021Kdxf_wjw。
+科大讯飞-卫健委：192.168.3.167-jyqyfw_historyData-2021Kdxf_wjw。~~
+---
+2022-11-24 调整
+科大讯飞的计费逻辑： 
+1.科大讯飞-教育/科大讯飞-销委会，当前2个客户执行2个合同，另外客户购买的还有商机管理的导出，需要和下线导出、商机管理导出的数据去重再单独计费(记入销委会)； 数据存储表名：科大讯飞-教育：192.168.3.167-jyqyfw_historyData-20211101Kdxf_jy； 科大讯飞-销委会：192.168.3.167-jyqyfw_historyData-20201126Kdxf； 2.科大讯飞-医疗/科大讯飞-卫健委，当前2个客户执行1个合同（数据量平分），需要和这两家之前已取过的数据去重再单独计费（按照公告唯一标识，谁先取记谁的费用） 数据存储表名：科大讯飞-医疗：192.168.3.167-jyqyfw_historyData-20211101Kdxf_yl； 科大讯飞-卫健委：192.168.3.167-jyqyfw_historyData-2021Kdxf_wjw。
+
+处理方法: 科大讯飞-教育/科大讯飞-销委会：
+
+    商机管理导出的线上数据字段补充 a. 取infoid的值新增一个id的字段 b. 补充APPID字段，补销委会的appid
+
+    合并商机管理和线下数据进行数据统计： 按照公告id 教育和消委会，相同数据时间早的计数。 线下appid缺失的数据不参与统计。
+
+科大讯飞-医疗/科大讯飞-卫健委 按照公告id 医疗和卫健委，相同数据时间早的计数。
 
 ---
 
@@ -19,7 +31,7 @@
 查询条件：开始时间不用改，结束时间改为统计截止日期的时间戳。
 时间戳转换网址：https://tool.lu/timestamp/
 ``` 
-{    "entid" : NumberInt(10511),    "createtime":{    "$gt":1609212120,     "$lt":1635696000    }} 
+{    "entid" : NumberInt(10511),    "createtime":{    "$gt":1609212120,     "$lt":1669305600    }} 
 
 ```
 
@@ -27,7 +39,8 @@
 第二步：商机管理数据补充字段
 （商机管理导出的线上数据没有appid以及id）
 a. 需要取infoid的值新增一个id的字段
-b. 补充APPID字段，2021-11-23 之前的数据补消委会的appid,  2021-11-23之后的数据补教育的appid
+~~b. 补充APPID字段，2021-11-23 之前的数据补消委会的appid,  2021-11-23之后的数据补教育的appid~~
+b. 全部补充为消委会的appid
 
 各用户appid :
 
@@ -35,18 +48,13 @@ b. 补充APPID字段，2021-11-23 之前的数据补消委会的appid,  2021-11-
 补充字段执行sql
 消委会：
 ``` 
-db.getCollection("20220307kdxfentdataexport").find({
-"createtime":{
-"$lt":NumberLong(1637596800)
-}
-}).forEach(function(item){
+db.getCollection("20221125kdxfentdataexport").find({}).forEach(function(item){
 item.id=item.infoid
 item.appid="jyHDhXQQIAAgdZQEBLERV2"
-db.getCollection("20220307kdxfentdataexport").save(item)
+db.getCollection("20221125kdxfentdataexport").save(item)
 })
 ```
-教育：
-```
+~~教育：
 db.getCollection("20220307kdxfentdataexport").find({
 "createtime":{
 "$gte":NumberLong(1637596800)
@@ -55,8 +63,8 @@ db.getCollection("20220307kdxfentdataexport").find({
 item.id=item.infoid
 item.appid="jyOSxXQQECCA9dS0BPKjxH"
 db.getCollection("20220307kdxfentdataexport").save(item)
-})
-```
+})~~
+
 第三步：
 合并商机管理和线下数据 
 
@@ -68,22 +76,22 @@ db.getCollection("20220307kdxfentdataexport").save(item)
 科大讯飞-教育：192.168.3.167-jyqyfw_historyData-20211101Kdxf_jy；
 查询条件：
 ```
- {   createtime:{ "$lte":NumberLong(1646582400)}}
+ {   createtime:{ "$lte":NumberLong(1669305600)}}
   ```
 
 
 3.消委会的数据导入到统计表：
 科大讯飞-销委会：192.168.3.167-jyqyfw_historyData-20201126Kdxf；
 ```
- {   createtime:{ "$lte":NumberLong(1646582400)}}
+ {   createtime:{ "$lte":NumberLong(1669305600)}}
   ```
 
 第四步：聚合统计
 进行数据统计：
 按照公告id  教育和消委会，相同数据时间早的计数。 线下appid缺失的数据不参与统计。
 ``` 
-db.getCollection("20220307kdxf_entexport_jy_xwh_fu").aggregate([
-{$match:{"createtime":{"$lte":NumberLong(1646582400)}}},
+db.getCollection("20221125kdxf_entexport_jy_xwh_fu").aggregate([
+{$match:{"createtime":{"$lte":NumberLong(1669305600)}}},
 {$sort: { id: 1, createtime:1}},
 {$group:{
 _id:"$id",
@@ -106,8 +114,8 @@ count:{$sum:1}
 
 按照公告id  医疗和卫健委，相同数据时间早的计数。
 ```
-db.getCollection("20220307kdxf_yl_wjw_fu").aggregate([
-{$match:{"createtime":{"$lte":NumberLong(1646582400)}}},
+db.getCollection("20221125kdxf_yl_wjw_fu").aggregate([
+{$match:{"createtime":{"$lte":NumberLong(1669305600)}}},
 {$sort: { id: 1, createtime:1}},
 {$group:{
 _id:"$id",