wcc
1b030e4b2a
数据监控 ods_datamonitoring_bidding 添加更新时间字段
|
hai 1 ano | |
|---|---|---|
| JyDatas | %!s(int64=2) %!d(string=hai) anos | |
| bidding_listen | hai 1 ano | |
| download_file | %!s(int64=2) %!d(string=hai) anos | |
| wuhu_data | hai 1 ano | |
| .gitignore | %!s(int64=2) %!d(string=hai) anos | |
| README.md | %!s(int64=2) %!d(string=hai) anos |
README.md
定时任务程序
JyDatas
- 剑鱼首页数据
- 定时每月1号查询一次
- base_service/included_info
bidding_listen
- 1.查询bidding昨天全量数据，数据入库 ods_datamonitoring_bidding
- 2.重复数据 is_repeat = 1
- 3.定时任务，每天晚上八点执行一次
download_file
- 1.查询增量bidding非竞品，且无附件数据
- 2.筛选contenthtml中的a标签href链接
- 3.对href链接是附件的进行下载、补充，同时生成爬虫维护任务（附件异常）
wuhu_data
- 1.每天凌晨1点定时同步昨天的芜湖标讯数据到 163
mixdata下的bidding_wuhu - 2.每周六 凌晨同步 所有芜湖的企业数据到 163
mixdata下qyxy_wuhu