|
|
@@ -1,20 +1,14 @@
|
|
|
# 中国招标投标公共服务平台
|
|
|
|
|
|
-## feapder框架 -- FworkSpider
|
|
|
-#### docker镜像构建
|
|
|
- $ docker build -t centos7_zgzb:v1.0 .
|
|
|
-#### docker容器启动
|
|
|
- $ docker-compose --compatibility up -d
|
|
|
-
|
|
|
-## 爬虫业务
|
|
|
-#### 快照页执行脚本
|
|
|
+## 爬虫
|
|
|
+#### 详情页采集爬虫启动脚本
|
|
|
$ ./start.sh
|
|
|
|
|
|
-#### 列表页执行脚本
|
|
|
+#### 列表页采集爬虫启动脚本
|
|
|
$ python3 zgzbtb_spider.py
|
|
|
|
|
|
-## crontab配置
|
|
|
- // 列表页采集爬虫
|
|
|
- 10 * * * * flock -xn /app/zgzbtb_spider.py -c 'cd /app && python3 zgzbtb_spider.py'
|
|
|
+#### cron服务定时配置
|
|
|
+ // 列表页爬虫
|
|
|
+ 10 * * * * flock -xn /mnt/zgzbtb_spider.py -c 'python3 /mnt/zgzbtb_spider.py'
|
|
|
// 详情页爬虫
|
|
|
- */5 * * * * bash /app/start.sh
|
|
|
+ */5 * * * * bash /mnt/start.sh
|
