timed_tasks/README.md

定时任务程序

JyDatas

• 剑鱼首页数据
• 定时每月1号查询一次
• base_service/included_info

bidding_listen

• 1.查询bidding昨天全量数据，数据入库 ods_datamonitoring_bidding
• 2.重复数据 is_repeat = 1
• 3.定时任务，每天晚上八点执行一次

download_file

• 1.查询增量bidding非竞品，且无附件数据
• 2.筛选contenthtml中的a标签href链接
• 3.对href链接是附件的进行下载、补充，同时生成爬虫维护任务（附件异常）

wuhu_data

• 1.每天凌晨1点定时同步昨天的芜湖标讯数据到 163 mixdata下的 bidding_wuhu
• 2.每周六 凌晨同步 所有芜湖的企业数据到 163 mixdata 下 qyxy_wuhu