maxiaoshan
850f5cd1ff
新增附件下载程序
|
%!s(int64=2) %!d(string=hai) anos | |
|---|---|---|
| JyDatas | %!s(int64=2) %!d(string=hai) anos | |
| bidding_listen | %!s(int64=2) %!d(string=hai) anos | |
| download_file | %!s(int64=2) %!d(string=hai) anos | |
| .gitignore | %!s(int64=2) %!d(string=hai) anos | |
| README.md | %!s(int64=2) %!d(string=hai) anos |
README.md
定时任务程序
JyDatas
- 剑鱼首页数据
- 定时每月1号查询一次
- base_service/included_info
bidding_listen
- 1.查询bidding昨天全量数据，数据入库 ods_datamonitoring_bidding
- 2.重复数据 is_repeat = 1
- 3.定时任务，每天晚上八点执行一次
download_file
- 1.查询增量bidding非竞品，且无附件数据
- 2.筛选contenthtml中的a标签href链接
- 3.对href链接是附件的进行下载、补充，同时生成爬虫维护任务（附件异常）