liumiaomiao 6 ay önce
ebeveyn
işleme
e28b65f4ed
8 değiştirilmiş dosya ile 0 ekleme ve 138 silme
  1. 0 4
      clear.py
  2. 0 0
      last_processed_id
  3. 0 54
      update_data.py
  4. 0 0
      util/export_site.py
  5. 0 39
      util/mongo.py
  6. 0 0
      util/mysql_tool.py
  7. 0 20
      util/pressure.py
  8. 0 21
      util/subsequent.py

+ 0 - 4
clear.py

@@ -1,4 +0,0 @@
-with open("test.txt","w") as f:
-    for row in f.readlines():
-        if "工程" in row or "服务" in row or"新建" in row:
-            print(row)

+ 0 - 0
test.txt → last_processed_id


+ 0 - 54
update_data.py

@@ -1,54 +0,0 @@
-from pymongo import MongoClient
-from bson import ObjectId
-from util.mogodb_helper import MongoDBInterface
-
-MongodbConfig = {
-    "ip_port": "127.0.0.1:27092",
-    "user": "viewdata",
-    "password": "viewdata",
-    "db": "qfw",
-}
-mdb = MongoDBInterface(MongodbConfig)
-
-MongodbConfigInsert = {
-    "ip_port": "192.168.3.166:27082",
-    "db": "zhengluming_27082",
-}
-insertdb = MongoDBInterface(MongodbConfigInsert)
-
-# 连接MongoDB数据库
-with MongoClient('192.168.3.166', 27082) as client:
-    db = client.zhengluming
-    coll = db.f_sourceinfo_HP_channel_succes_data
-    for row in coll.find({"historyId": "655707de7f39550da1f59d3d"}, {"id": 1}).sort("_id", 1):
-        _id = row.get("id", "")
-        print(row["_id"])
-        if _id:
-            m_id = ObjectId(_id)
-            result=mdb.find_by_id("bidding",m_id)
-            result["id"]=str(row["_id"])
-            if result:
-                insertdb.insert2db("update_data",result)
-
-# 关闭数据库连接
-client.close()
-
-
-"""
-
-http://172.17.162.35:8880/search
-
-# 深圳分公司安检信息系统维护服务 0.0 南方航空物流股份有限公司 广东 深圳市 ['安检']  []
-# 运输事业发展中心信息系统运维-交通委北区机房、视频会议及运输中心终端运维管理技术服务项目 825250.0 北京市运输事业发展中心 北京 北京市 ['运输事业发展中心信息系统运维 交通委北>区机房 视频会议及运输中心终端运维管理技术服务项目', '运输事业发展中心信息系统运维 交通委北区机房 视频会议及运输中心终端运维管理技术服务项目'] 北京航天星桥科技股份有限公司 []
-# 软件开发项目(软件开发-拓信智防) 0.0 指定集成公司与河北拓信智防电子科技有限公司 河北 保定市 ['车辆管理平台']  []
-# 新乡高新技术产业开发区社会治理委员会“雪亮工程”维保项目 3410000.0 新乡高新技术产业开发区社会治理委员会 河南 新乡市 ['维保', '雪亮工程']  []
-# 山西省大同市第三人民医院新建医技、急诊楼配套项目(暂估价)医用箱式中型物流传输系统采购项目 20028500.0 山西省大同市第三人民医院 山西 大同市 ['箱式中型物流']  []
-# 山西省大同市第三人民医院新建医技、急诊楼配套项目(暂估价)医用箱式中型物流传输系统采购项目 20028500.0 山西省大同市第三人民医院 山西 大同市 ['物流系统']  []
-
-
-广州市白云区三元里群英大街13号加装电梯工程 0.0 广州市白云区三元里群英大街13号加装电梯工程 广东 广州市 ['电梯']  []
-软件开发服务(二次)软件开发服务 6500000.0 呼伦贝尔市住房和城乡建设局 内蒙古 呼伦贝尔市 ['软件', '软件开发服务 二次 软件开发服务']  []
-富顺县救灾物资储备库建设工程项目 2346407.0 富顺县应急管理指挥中心 四川 自贡市 ['备库建设', '救灾物资']  []
-中共成都市委党校明志楼多媒体教室LED屏采购项目 650000.0 中共成都市委党校 四川 成都市 ['LED一体机', '触控一体机'] 成都香草山信息技术有限责任公司 []
-吉木萨尔县大有镇村庄规划(2021-2035年)编制项目 150000.0 吉木萨尔县大有镇人民政府 新疆 昌吉回族自治州 ['建材']  []
-"""

+ 0 - 0
util/test.py → util/export_site.py


+ 0 - 39
util/mongo.py

@@ -1,39 +0,0 @@
-#!/usr/bin/env python
-# -*- coding:utf-8 -*-
-# author : liumiaomiao
-#从es库中导出数据到测试环境mongo库
-from util.es_tools import esutil
-from pymongo import MongoClient
-def ES_bidding(es_query):
-    """
-    操作样例:直接拉取数据
-    """
-    db_config = {
-        # es
-        'es_host': '127.0.0.1',
-        'es_port': 9800,
-        'es_http_auth': ('test_dataQuality','t9s3Ed0gBBowf5'),  # 重新申请
-        'timeout': 10000,
-        # 'index': "projectset",
-        'index': "bidding",
-        'size': 1000,
-        # mongo存的数据库表
-        'mg_host': '192.168.3.206',
-        'mg_port': 27080,
-        'database': 'data_quality',
-        'collection': 'bidding_20231221'
-    }
-    query = es_query
-    # 传入查询语句query 以及配置信息
-    esutil.es_query_save(query, **db_config)
-
-def run():
-    # 根据ES语句查找bidding
-    es_query = {"track_total_hits": True,
-                "query": {"bool": {"must": [{"range": {"publishtime": {"from": "1703001600", "to": "1703048399"}}}]}}}
-    # es_query = {"track_total_hits": True,
-    #             "query": {"bool": {"must": [{"range": {"publishtime": {"from": "1691337600", "to": "1691424000"}}},
-    #                                         {"terms": {"subtype": ["中标", "合同","成交"]}}]}}}
-    ES_bidding(es_query)
-
-run()

+ 0 - 0
util/mysql_tool.py


Dosya farkı çok büyük olduğundan ihmal edildi
+ 0 - 20
util/pressure.py


Dosya farkı çok büyük olduğundan ihmal edildi
+ 0 - 21
util/subsequent.py


Bu fark içinde çok fazla dosya değişikliği olduğu için bazı dosyalar gösterilmiyor