data_spider/pytools: 采集代理池和其他采集相关基础服务 @ main

采集代理池和其他采集相关基础服务

1 Větve

dzr c67c884001 添加新的代理检测机制		před 4 měsíci
common	c67c884001 添加新的代理检测机制	před 4 měsíci
conf	dbed982383 更新配置	před 4 měsíci
services	c67c884001 添加新的代理检测机制	před 4 měsíci
.gitignore	463057f971 提交项目	před 1 rokem
Dockerfile	53213fc9d5 fix:更新yum源	před 8 měsíci
README.md	a73b9b77a7 更新文档	před 8 měsíci
base_server.py	3b96aac8c8 添加redis客户端模块	před 8 měsíci
docker-compose.yml	4fd167c495 添加代理服务配置	před 8 měsíci
gunicorn.conf.py	72ff4c329c fix:重构代理池	před 8 měsíci
produce_task.py	5e2c5f17b5 删除无用任务类	před 8 měsíci
py_proxy_linux	f7d10c5c6c 代理服务	před 8 měsíci
py_proxy_mac	8a790de2ca 其它平台版本代理服务	před 4 měsíci
py_proxy_win.exe	8a790de2ca 其它平台版本代理服务	před 4 měsíci
pytools_main.py	72ff4c329c fix:重构代理池	před 8 měsíci
requirements.txt	463057f971 提交项目	před 1 rokem
routes.py	78167e78f4 移除代理服务	před 8 měsíci
setting.py	318aa438f8 更新配置	před 4 měsíci

		
				README.md
			
				pyspider - 通用采集服务

创建docker容器

docker build -t pytools:latest .

创建容器并启动

docker-compose up -d

销毁容器并关闭

docker-compose down

重启全部容器服务

docker-compose restart

配置说明

conf/config.yaml - py_proxy_linux
conf/dev.yaml - pytools_main.py
conf/test.yaml - pytools_main.py