timed_tasks

定时任务程序

JyDatas

• 剑鱼首页数据
• 定时每月1号查询一次
• base_service/included_info

bidding_listen

• 1.查询bidding昨天全量数据，数据入库 ods_datamonitoring_bidding
• 2.重复数据 is_repeat = 1
• 3.定时任务，每天晚上八点执行一次

download_file

• 1.查询增量bidding非竞品，且无附件数据
• 2.筛选contenthtml中的a标签href链接
• 3.对href链接是附件的进行下载、补充，同时生成爬虫维护任务（附件异常）

wuhu_data

• 1.每天凌晨1点定时同步昨天的芜湖标讯数据到 163 mixdata下的 bidding_wuhu
• 2.每周六 凌晨同步 所有芜湖的企业数据到 163 mixdata 下 qyxy_wuhu

escheck

• 1.每天10点统计昨日 MongoDB和es 数据差值
• 2.每周六发送周报统计
• 3.es 数据异常 告警邮件发送

website_columns

• 1.定时给 标讯 bidding 数据以及拟建项目 projectset_proposed 打标签 nav_column

• 2.具体标签值参考文件夹下面

  涉及到的标签有： 标签名 标签顺序 标签数据表

  招标公告        1           bidding
  招标预告        2           bidding
  招标结果        3           bidding
  招标信用        4           bidding
  采购意向        5           bidding
  项目分包        6           bidding
  企业直采        7           bidding
  政府采购        8           bidding
  拟在建项目       9           projectset_proposed
  审批项目        10          projectset_proposed
  推荐项目        11          projectset_proposed
  业主委托项目     12          暂不处理
  热门项目        13          暂不处理
  新兴项目        14          bidding
  国家级项目      15           bidding
  省级项目        16           bidding
  
  利用二进制，比如 1101 就代表 第一位、第三位和第四位的字段打上了标签，即：招标公告、招标结果、招标信用 三个标签；
  以此类推；最终数据库只会存储一个数字，比如 1101 转换成 10进制数字 13 进行存储。
  

pre_extract

• 1. 读取 bidding_file bidding_nomal 数据表，然后拿到 分类好的数据段，传递抽取程序去处理。
• 2. 定时 创建索引结构；可以每天创建一个或者每月创建一个